Esiste un elenco di web crawler conosciuti?

Question

Sto cercando di ottenere numeri di download accurati per alcuni file su un server web. Guardo gli interpreti e alcuni sono chiaramente bot o web crawler, ma molti per molti non ne sono sicuro, potrebbero essere o meno un web crawler e stanno causando molti download quindi è importante per me sapere.

C'è un elenco di web crawler conosci con qualche documentazione come user agent, IP, comportamento, ecc.?

Non sono interessato a quelli ufficiali, come Google, Yahoo o Microsoft. Questi sono generalmente ben educati e autoindentati.

Answer 1

Sto usando http://www.user-agents.org/ di solito come riferimento, spero che questo ti aiuti.

Puoi anche provare http://www.robotstxt.org/db.html o http://www.botsvsbrowsers.com.

Answer 2

http://www.robotstxt.org/db.html è un buon punto di partenza. Hanno un feed raw automatico se ne hai bisogno anche tu. http://www.botsvsbrowsers.com/ è anche utile.

Answer 3

Purtroppo abbiamo scoperto che l'attività del bot è troppo numerosa e varia per poterla filtrare accuratamente. Se si desidera un conteggio accurato del download, la soluzione migliore è richiedere a javascript di attivare il download. Fondamentalmente è l'unica cosa che filtrerà in modo affidabile i robot. È anche il motivo per cui tutti i motori di analisi del traffico del sito in questi giorni sono basati su javascript.

Answer 4

Sto mantenendo un elenco di pattern user-agent del crawler al numero https://github.com/monperrus/crawler-user-agents/.

È collaborativo, puoi contribuire ad esso con richieste pull.