Ricerca di un'implementazione scalabile "a"

Question

Sto cercando una sostituzione "a" scalabile, con disponibilità elevata. Deve supportare l'aggiunta e la rimozione di processi in fase di esecuzione.

Alcuni background: Ho un'applicazione in cui attingo milioni di eventi, ogni evento si verifica solo una volta. Non ho bisogno di meccanismi come cron (prima domenica del mese, ecc.), Semplicemente data, ora e contesto.

Attualmente sto usando lo Quartz scheduler e, sebbene sia un ottimo progetto, ha difficoltà a gestire la quantità di eventi che lanciamo su di esso, anche dopo un sacco di tweaking (sharding, aumento dell'intervallo di polling, ecc.) a causa del blocco di base eseguito sul database di sottolineatura. Inoltre, è un po 'eccessivo per noi, in quanto fondamentalmente abbiamo milioni di trigger una tantum e un numero relativamente piccolo di lavori.

Apprezzerei tutto suggerimento

Answer 1

Forse basta usare JGroupsshared tree con compiti ordinati per tempo di esecuzione. I nodi eseguiranno il primo compito e programmano il timer, che verrà eseguito in un dato momento. Il timer di rimozione dell'attività può essere annullato. Quindi in pratica puoi usare solo JGroups e semplici Timer/Esecutori java.

non l'ho letto tutto, ma qui è una certa proof of concept or maybe even solution

Answer 2

come circa il timer Java?

import java.util.*; 

public class MyTask extends TimerTask{ 
    public void run(){ 
     System.out.println("do it!"); 
    } 
} 

e poi

Timer timer = new Timer(); 

MyTask job1 = new MyTask(); 
// once after 2 seconds 
timer.schedule(job1, 2000); 

job1.cancel(); 

MyTask job2 = new MyTask(); 
// nach each 5 seconds after 1 second 
timer.schedule (job2, 1000, 5000); 

Answer 3

Se ero di fronte lo stesso scenario che vorrei fare le seguenti ...

Setup una coda cluster JMS (ad es RabbitMQ o ActiveMQ) utilizzando una replica di coda installazione su poche caselle.

Attivare tutti gli eventi nella mia bella coda JMS altamente disponibile.

Poi vorrei codificare un'applicazione agente che mi è venuta gli eventi della coda JMS, se necessario, ho potuto eseguire più agenti su più caselle e che hanno combinato con la corretta JMS failover url ecc

Si potrebbe anche usare lo stesso tipo di modello, se i lavori stanno sparando gli eventi ...

Cordiali saluti, un modo migliore di programmazione in Java di base è la seguente:

ScheduledExecutorService threadPool = Executors.newScheduledThreadPool(sensibleThreadCount); 
    threadPool.scheduleAtFixedRate(new Runnable() { 

    @Override 
    public void run() { 
     //Pop events from event queue. 
     //Do some stuff with them. 
    } 

    }, initialDelay, period, TimeUnit.X);