Come impostare il contrassegno TCP_NODELAY durante il caricamento dell'URL con urllib2?

Question

Sto usando urllib2 per il caricamento pagina web, il mio codice è:

httpRequest = urllib2.Request("http:/www....com") 
pageContent = urllib2.urlopen(httpRequest) 
pageContent.readline() 

Come posso entrare in possesso delle proprietà presa per impostare TCP_NODELAY?

In presa normale, mi sarebbe utilizzando la funzione:

socket.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1) 

Answer 1

Se avete bisogno di accedere a tali beni a basso livello sul socket utilizzato, si dovrà sovraccaricare alcuni oggetti.

In primo luogo, è necessario creare una sottoclasse di HTTPHandler, che nella libreria standard fare:

class HTTPHandler(AbstractHTTPHandler): 

    def http_open(self, req): 
     return self.do_open(httplib.HTTPConnection, req) 

    http_request = AbstractHTTPHandler.do_request_ 

Come si può vedere, si utilizza un HTTPConnection aprire la connessione ... Avrai per sovrascriverlo;) per aggiornare il metodo connect().

Qualcosa del genere dovrebbe essere un buon inizio:

class LowLevelHTTPConnection(httplib.HTTPConnection): 

    def connect(self): 
     httplib.HTTPConnection.connect(self) 
     self.sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1) 


class LowLevelHTTPHandler(HTTPHandler): 

    def http_open(self, req): 
     return self.do_open(LowLevelHTTPConnection, req) 

urllib2 è abbastanza intelligente per consentire di sottoclasse qualche gestore e poi usarlo, il urllib2.build_opener è fatto per questo:

urllib2.install_opener(urllib2.build_opener(LowLevelHTTPHandler)) # tell urllib2 to use your HTTPHandler in replacement of the standard HTTPHandler 
httpRequest = urllib2.Request("http:/www....com") 
pageContent = urllib2.urlopen(httpRequest) 
pageContent.readline() 

Answer 2

Per le richieste, le classi sembrano essere in request.packages.urllib3; ci sono 2 classi, HTTPConnection e HTTPSConnection. Essi dovrebbero essere monkeypatchable in atto al livello superiore del modulo:

from requests.packages.urllib3 import connectionpool 

_HTTPConnection = connectionpool.HTTPConnection 
_HTTPSConnection = connectionpool.HTTPSConnection 

class HTTPConnection(_HTTPConnection): 
    def connect(self): 
     _HTTPConnection.connect(self) 
     self.sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1) 

class HTTPSConnection(_HTTPSConnection): 
    def connect(self): 
     _HTTPSConnection.connect(self) 
     self.sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1) 

connectionpool.HTTPConnection = HTTPConnection 
connectionpool.HTTPSConnection = HTTPSConnection 

Answer 3

Avete usare urllib2?

In alternativa, è possibile utilizzare httplib2, che ha l'opzione TCP_NODELAY impostata.

https://code.google.com/p/httplib2/

Si aggiunge una dipendenza al progetto, ma sembra meno fragile rispetto scimmia patch.