Proxy rotanti per scraping web

Question

Ho un web crawler python e voglio distribuire le richieste di download tra molti server proxy, probabilmente con il funzionamento di squid (anche se sono aperto alle alternative). Ad esempio, potrebbe funzionare in modalità round-robin, dove request1 passa a proxy1, request2 a proxy2 e alla fine torna indietro. Qualche idea su come impostare questo?

Per rendere più difficile, mi piacerebbe anche essere in grado di modificare dinamicamente l'elenco dei proxy disponibili, ridurli e aggiungerne altri.

Se è importante, gli indirizzi IP vengono assegnati dinamicamente.

Grazie :)

Answer 1

Fai la tua crawler hanno una lista di proxy e con ogni richiesta HTTP lasciarlo usare il proxy successivo dalla lista in un round robin. Tuttavia, ciò impedirà l'utilizzo delle connessioni persistenti HTTP/1.1. La modifica dell'elenco di proxy porterà infine a utilizzare un nuovo o non utilizzare un proxy.

Oppure avere più connessioni aperte in parallelo, una per ciascun proxy e distribuire le richieste di scansione a ciascuna delle connessioni aperte. La dinamica può essere implementata avendo il connetor che si registra con il dispatcher della richiesta.

Answer 2

Ho impostato i proxy di rotazione utilizzando HAProxy + DeleGate + Istanze multiple Tor. Con Tor non hai un buon controllo della larghezza di banda e della latenza, ma è utile per il web scraping. Ho appena pubblicato un articolo sul tema: Running Your Own Anonymous Rotating Proxies

Answer 3

Edit: C'è anche Python wrapper per gimmeproxy: https://github.com/ericfourrier/gimmeproxy-api

Se non ti dispiace nodo, è possibile utilizzare per raccogliere proxy-lists proxy pubblici e check-proxy a controllali. È esattamente il modo in cui funziona https://gimmeproxy.comhere