Celery + Eventlet + richieste non bloccanti

Question

Sto usando Python requests nel sedano workers per effettuare un numero elevato di chiamate API (~ 10/sec) (include GET, POST, PUT, DELETE). Ogni richiesta richiede circa 5-10 secondi per essere completata.

Ho provato a gestire i lavoratori del sedano nel pool eventlet, con 1000 simultaneità.

Poiché requests sono processi di blocco, ogni connessione simultanea è in attesa su una richiesta.

Come si effettua requests in modo asincrono?

Answer 1

Utilizzare la patch di scimmia di eventlet [1] per rendere qualsiasi libreria Python pura non bloccante.

• patch singola libreria # import requests # instead do this: import eventlet requests = eventlet.import_patched('requests') pacchetti erequest e grequest potrebbero essere ridotti a queste due righe.
• cerotto tutto import eventlet eventlet.monkey_patch() # must execute as early as possible ... import requests, amqp, memcache, paramiko, redis # everything is non-blocking now

[1] http://eventlet.net/doc/patching.html

Update: c'è noto problema [2] con la scimmia patch richieste biblioteca. Se ottieni ImportError: cannot import name utils , modifica la riga di importazione in requests = eventlet.import_patched('requests.__init__') [2] https://github.com/eventlet/eventlet/issues/7

Answer 2

dal docs:

ci sono un sacco di progetti là fuori che combinano le richieste con uno dei quadri Asincronicità di Python. Due ottimi esempi sono grequests e requests-futures.

per eventlet specifico è possibile utilizzare erequests.