Come evitare l'errore HTTP 429 (troppe richieste) pitone

Question

Sto cercando di usare Python per accedere a un sito web e raccogliere informazioni da diverse pagine web e ottengo il seguente errore:

Traceback (most recent call last): 
    File "extract_test.py", line 43, in <module> 
    response=br.open(v) 
    File "/usr/local/lib/python2.7/dist-packages/mechanize/_mechanize.py", line 203, in open 
    return self._mech_open(url, data, timeout=timeout) 
    File "/usr/local/lib/python2.7/dist-packages/mechanize/_mechanize.py", line 255, in _mech_open 
    raise response 
mechanize._response.httperror_seek_wrapper: HTTP Error 429: Unknown Response Code 

ho usato time.sleep() e funziona, ma sembra non intelligente e inaffidabile, c'è qualche altro modo per evitare questo errore?

Ecco il mio codice:

import mechanize 
import cookielib 
import re 
first=("example.com/page1") 
second=("example.com/page2") 
third=("example.com/page3") 
fourth=("example.com/page4") 
## I have seven URL's I want to open 

urls_list=[first,second,third,fourth] 

br = mechanize.Browser() 
# Cookie Jar 
cj = cookielib.LWPCookieJar() 
br.set_cookiejar(cj) 

# Browser options 
br.set_handle_equiv(True) 
br.set_handle_redirect(True) 
br.set_handle_referer(True) 
br.set_handle_robots(False) 

# Log in credentials 
br.open("example.com") 
br.select_form(nr=0) 
br["username"] = "username" 
br["password"] = "password" 
br.submit() 

for url in urls_list: 
     br.open(url) 
     print re.findall("Some String") 

Answer 1

Un'altra soluzione potrebbe essere quella di falsificare il tuo IP utilizzando una sorta di VPN pubblica o la rete Tor. Ciò presupporrebbe la limitazione della velocità sul server a livello IP.

C'è una breve post sul blog dimostrazione di un modo per utilizzare Tor con urllib2:

http://blog.flip-edesign.com/?p=119

Answer 2

Ricevere uno status 429 è non un errore, è l'altro server "gentilmente" si chiede per favore smettere di richieste di spamming. Ovviamente, la tua percentuale di richieste è stata troppo alta e il server non è disposto ad accettarlo.

Non dovresti cercare di "schivare" questo, o anche cercare di eludere le impostazioni di sicurezza del server provando a falsificare il tuo IP, dovresti semplicemente rispettare la risposta del server non inviando troppe richieste.

Se tutto è impostato correttamente, si riceverà anche un'intestazione "Riprova dopo" insieme alla risposta 429. Questa intestazione specifica il numero di secondi che devi attendere prima di effettuare un'altra chiamata. Il modo corretto per affrontare questo "problema" è leggere questa intestazione e addormentare il processo per molti secondi.

È possibile trovare maggiori informazioni sullo stato 429 qui: http://tools.ietf.org/html/rfc6585#page-3

Answer 3

Scrivendo questo pezzo di codice fisso il mio problema:

requests.get(link, headers = {'User-agent': 'your bot 0.1'})