come time-out con grazia durante il download con Python

Question

Sto scaricando un enorme insieme di file con il codice riportato di seguito in un ciclo:

try: 
    urllib.urlretrieve(url2download, destination_on_local_filesystem) 
except KeyboardInterrupt: 
    break 
except: 
    print "Timed-out or got some other exception: "+url2download 

se il server di tempi-out url2download URL quando la connessione è solo avviando , l'ultima eccezione viene gestita correttamente. Ma a volte server ha risposto, e viene avviato il download, ma il server è così lento, che Sarà vogliono ore per anche un solo file, e alla fine restituisce qualcosa come:

Enter username for Clients Only at albrightandomalley.com: 
Enter password for in Clients Only at albrightandomalley.com: 

e si blocca proprio lì (anche se nessun nome utente/passworde viene richiesto se lo stesso collegamento viene scaricato tramite il browser).

La mia intenzione in questa situazione sarebbe: saltare questo file e passare a quello successivo. La domanda è: come si fa? C'è un modo in Python per specificare quanto tempo è OK per lavorare sul download di un file, e se più tempo è già trascorso, interrompere e andare avanti?

Answer 1

C'è una discussione su questo here. Avvertenze (oltre a quelle che citano): Non l'ho provato, e stanno usando urllib2, non urllib (sarebbe un problema per te?) (In realtà, ora che ci penso, questa tecnica sarebbe probabilmente funziona anche per urllib).

Answer 2

Se non si è limitato a ciò che è fornito con pitone fuori dalla scatola, allora il modulo urlgrabber potrebbe tornare utile:

import urlgrabber 
urlgrabber.urlgrab(url2download, destination_on_local_filesystem, 
        timeout=30.0) 

Answer 3

Questa domanda è più generale circa la sincronizzazione una funzione: How to limit execution time of a function call in Python

Ho usato il metodo descritto nella mia risposta per scrivere un'attesa per la funzione di testo che va in timeout per tentare un accesso automatico. Se vuoi una funzionalità simile è possibile fare riferimento il codice qui:

http://code.google.com/p/psftplib/source/browse/trunk/psftplib.py

Answer 4

Prova:

import socket

socket.setdefaulttimeout(30)