Celery: limiti di concorrenza per attività (numero di lavoratori per attività)?

Question

È possibile impostare la concorrenza (il numero di lavoratori simultanei) su un livello per attività in Celery? Sto cercando qualcosa di più raffinato che CELERYD_CONCURRENCY (che imposta la concorrenza per l'intero daemon).

Lo scenario di utilizzo è: ho un singolo celerlyd che esegue diversi tipi di attività con caratteristiche di prestazione molto diverse: alcune sono veloci, altre molto lente. Per alcuni vorrei fare il maggior numero possibile il più velocemente possibile, per altri vorrei assicurarsi che solo una istanza sia in esecuzione in qualsiasi momento (ad esempio, la concorrenza di 1).

Answer 1

È possibile utilizzare automatic routing per instradare le attività su code diverse che verranno elaborate da operatori di sedani con diversi livelli di concorrenza.

celeryd-multi inizio veloce lento -c: slow 3 -c: veloci 5

Questo comando avvia 2 lavoratori sedano ascolto veloce e lenti code con 3 e 5 livelli di concorrenza, rispettivamente, .

CELERY_ROUTES = { "tasks.a": { "coda": "lento"}, "tasks.b": { "coda": "veloce"}}

I compiti con tipo tasks.a verrà elaborato da lento code e tasks.b attività entro veloce coda, rispettivamente.