Lavoro/Task Stealing ThreadPoolExecutor

Question

Nel mio progetto sto costruendo un framework di esecuzione Java che riceve richieste di lavoro da un client. Il lavoro (di dimensioni variabili) è suddiviso in un insieme di attività e quindi accodato per l'elaborazione. Esistono code separate per elaborare ogni tipo di attività e ogni coda è associata a un ThreadPool. ThreadPools è configurato in modo tale che le prestazioni generali del motore siano ottimali.

Questo progetto ci aiuta a bilanciare il carico delle richieste in modo efficace e le richieste di grandi dimensioni non finiscono per eseguire il hogging delle risorse di sistema. Tuttavia, a volte la soluzione diventa inefficace quando alcune delle code sono vuote e il rispettivo pool di thread rimane inattivo.

Per migliorarlo, stavo pensando di implementare una tecnica di furto di lavoro/attività in modo che la coda pesantemente caricata possa ottenere aiuto dagli altri ThreadPools. Tuttavia, ciò potrebbe richiedere l'implementazione del mio Executor poiché Java non consente l'associazione di più code a un ThreadPool e non supporta il concetto di furto del lavoro.

Leggi di Fork/Join ma non mi sembra adatto per le mie esigenze. Qualsiasi suggerimento o modo alternativo per costruire questa soluzione potrebbe essere molto utile.

Grazie Andy

Answer 1

si potrebbe implementare un'implementazione BlockingQueue personalizzato (penso che principalmente necessario implementare le offer() e take() metodi), che è sostenuto da una coda "primario" e 0 o più secondari code. take prende sempre dalla coda di backing principale se non vuota, altrimenti può tirare dalle code secondarie.

infatti, potrebbe essere meglio disporre di 1 pool in cui tutti i lavoratori hanno accesso a tutte le code, ma "preferiscono" una coda specifica. puoi trovare il tuo rapporto ottimale di lavoro assegnando priorità diverse a diversi lavoratori. in un sistema completamente caricato, i tuoi dipendenti dovrebbero lavorare con il rapporto ottimale. in un sistema sotto carico, i tuoi dipendenti dovrebbero essere in grado di dare una mano con altre code.

Answer 2

Avete considerato il ForkJoinPool? Il framework fork-join è stato implementato in un modo modulare, quindi è possibile utilizzare solo il pool di thread di work-stealing.

Answer 3

Java 8 ha metodi di fabbrica e di utilità per quello nella classe Executors. Esiste un'implementazione di un pool di thread di work-stealing (here) che, credo, sia esattamente ciò che si desidera.