I conteggi di download di PyPi sembrano irrealistici

Question

Ho messo a package on PyPi per la prima volta ~ 2 mesi fa e ho apportato alcuni aggiornamenti di versione da allora. Ho notato questa settimana la registrazione del conteggio dei download e sono rimasto sorpreso nel vedere che era stato scaricato centinaia di volte. Nei giorni successivi, sono stato più sorpreso di vedere aumentare il conteggio dei download a volte centinaia di al giorno, anche se si tratta di una cassetta degli attrezzi di prova statistica di nicchia. In particolare, le versioni precedenti del pacchetto continuano a essere scaricate, a volte a tassi più elevati rispetto alla versione più recente.

Cosa sta succedendo qui?

C'è un errore nel conteggio scaricato di PyPi, o c'è abbondanza di crawler che acquisisce il codice open source (come il mio)?

Answer 1

Questa è una specie di vecchia domanda a questo punto, ma ho notato la stessa cosa di un pacchetto che ho su PyPI e studiato ulteriormente. Si scopre che PyPI mantiene ragionevolmente dettagliato download statistics, compresi i programmi utente (apparentemente leggermente anonimizzati). Da ciò, era evidente che la maggior parte delle persone che scaricavano il mio pacchetto erano cose come "z3c.pypimirror/1.0.15.1" e "pep381client/1.5". (PEP 381 descrive un'infrastruttura di mirroring per PyPI.)

ho scritto a quick script coincidere tutto, prima tra cui tutti loro e quindi lasciando fuori i bot più evidenti, e si scopre che letteralmente il 99% del download l'attività per il mio pacchetto è stata causata da mirrorbots: 14.335 download totali, rispetto a solo 146 download con i bot filtrati. E questo sta solo tralasciando quelli molto ovvi, quindi probabilmente è ancora una sopravvalutazione.

Sembra che la ragione principale per cui PyPI ha bisogno di mirror è perché ce l'ha.

Answer 2

Devi anche considerare che virtualenv sta diventando sempre più popolare. Se il tuo pacchetto è simile a una libreria di base che le persone usano in molti dei loro progetti, di solito lo scaricano più volte.

Si consideri che un singolo utente ha 5 progetti in cui utilizza il pacchetto e ognuno vive nella propria virtualizzazione. Utilizzando pip per soddisfare i requisiti, il pacchetto è già stato scaricato 5 volte in questo modo. Quindi questi progetti potrebbero essere configurati su macchine diverse, come lavoro, casa e computer portatili, inoltre potrebbe esserci una staging e un server live in caso di un'applicazione web. Riassumendo, si finisce con molti download da una sola persona.

Solo un pensiero ... forse il tuo pacchetto è semplicemente buono. ;)

Answer 3

A partire dalla dichiarazione di sintesi di Cairnarvon:

"Sembra che il motivo principale per PyPI ha bisogno di specchi è perché ha loro".

avrei modificare leggermente questo:

Potrebbe essere più il modo PyPI effettivamente funziona e quindi ha da ribaltare, che potrebbe contribuire un ulteriore bit (o due :-) al reale traffico.

Al momento penso che DEVI interagire con l'indice principale per sapere cosa aggiornare nel tuo repository. Lo stato non è semplicemente accessibile tramite timestamp su alcune gerarchie di cartelle accessibili pubblicamente.Quindi, la cosa brutta è che rsync è fuori dall'equazione. La cosa buona è che POTREI parlare con l'indice attraverso le interfacce JSON, OAuth, XML-RPC o HTTP.

Per XML-RPC:

$> python 
>>> import xmlrpclib 
>>> import pprint 
>>> client = xmlrpclib.ServerProxy('http://pypi.python.org/pypi') 
>>> client.package_releases('PartitionSets') 
['0.1.1'] 

Per JSON ad es .:

$> curl https://pypi.python.org/pypi/PartitionSets/0.1.1/json 

Se ci sono circa. 30.000 pacchetti ospitati [1] con alcuni scaricati da 50.000 a 300.000 volte alla settimana [2] (come distribuire, pip, richieste, paramiko, lxml, boto, paramike, redis e altri) avete davvero bisogno di specchi almeno da una prospettiva di accessibilità. Immagina cosa succede a un utente quando pip install NeedThisPackage non riesce: Attendi? Anche i mirror PyPI aziendali sono abbastanza comuni come proxy per reti altrimenti non rintracciabili. Infine, non dimenticare il meraviglioso controllo multi versione abilitato tramite virtualenv e amici. Questi sono tutti usi legittimi e potenzialmente meravigliosi IMO di pacchetti ...

Alla fine, non si sa mai quale agente fa veramente con un pacchetto scaricato: gli utenti N lo usano davvero o lo sovrascrivono appena la volta successiva. .. e dopo tutto, gli autori del pacchetto IMHO dovrebbero preoccuparsi di più per numero e la natura di usi, rispetto al puro numero di utenti potenziali ;-)

---

Refs: I numeri sono da guestimated https://pypi.python.org/pypi (29303 pacchetti) e http://pypi-ranking.info/week (per il nu mbers, richiesto il 23/03/2013).

Answer 4

Ipotesi: anche gli strumenti CI come Travis CI e Appveyor contribuiscono un po '. Potrebbe significare che ogni commit/push porta a una build di un pacchetto e all'installazione di tutto in requirements.txt

Answer 5

I risultati da PyPI-Stats.com sembrano ragionevoli.