sedano - Attività che devono essere eseguite con priorità

Question

Nel mio sito Web gli utenti possono AGGIORNARE il loro profilo (manuale) ogni volta che lo desidera, o automatico una volta al giorno.

Questa attività viene distribuita con il sedano ora.

ma ho un "problema":

Ogni giorno, in aggiornamento automatico, un lavoro mettere tutti gli utenti (+ 6K utenti) in coda:

from celery import group 
from tasks import * 
import datetime 
from lastActivityDate.models import UserActivity 

today = datetime.datetime.today() 
one_day = datetime.timedelta(days=5) 
today -= one_day 

print datetime.datetime.today() 

user_list = UserActivity.objects.filter(last_activity_date__gte=today) 
g = group(update_user_profile.s(i.user.auth.username) for i in user_list) 

print datetime.datetime.today() 
print g(user_list.count()).get() 

Se qualcuno cerca di fare il aggiornamento manuale, entreranno in coda e dureranno per sempre per essere eseguiti.

C'è un modo per impostare questa attività manuale per l'esecuzione in modo più semplice? Oppure fai un dedicato per ogni coda separata: manuale e automatico?

Answer 1

Celery non supporta la priorità dell'attività. (V3.0)

http://docs.celeryproject.org/en/master/faq.html#does-celery-support-task-priorities

Si può risolvere il problema di routing compiti.

http://docs.celeryproject.org/en/latest/userguide/routing.html

Preparare predefinito e coda priority_high.

CELERY_DEFAULT_QUEUE = 'default' 
CELERY_QUEUES = (
    Queue('default'), 
    Queue('priority_high'), 
) 

Eseguire due daemon.

user@x:/$ celery worker -Q priority_high 
user@y:/$ celery worker -Q default,priority_high 

E itinerario compito.

your_task.apply_async(args=['...'], queue='priority_high')