Sharding automatico di una mappa Java su più nodi

Question

Ho un problema in cui ho bisogno di assemblare una mappa la cui dimensione finale è in GB (passando oltre 64 GB) e non posso presumere che un utente del programma avrà questo tipo di macchina dei mostri in giro. Una buona soluzione sarebbe quella di distribuire questa mappa su un numero di macchine per creare un footprint di memoria molto più modesto per istanza.

Qualcuno sa di una libreria/suite di strumenti che possono eseguire questo sharding? Non mi interessa la replica o le transazioni; semplicemente diffondendo questo requisito di memoria.

Answer 1

io suggerisco di iniziare con Hazelcast:

http://www.hazelcast.com/

E 'open-source, e, a mio parere è molto facile da lavorare, quindi è il quadro migliore per la prototipazione rapida .

Per quanto ne so, si comporta più velocemente delle alternative commerciali, quindi non mi preoccuperei nemmeno delle prestazioni.
(non ho formalmente benchmark io stesso)

Answer 2

terracotta potrebbe essere utile dare un'occhiata qui

http://www.terracotta.org/

sua una JVM cluster dipenderà da quanto spesso si aggiorna la mappa immagino su quanto bene si svolge.

Answer 3

Deve essere open source? In caso contrario, lo può fare Oracle Coherence.

Answer 4

Si può essere in grado di risolvere il problema utilizzando un database invece, qualcosa di simile a http://hsqldb.org/ può fornire le funzionalità necessarie con la possibilità di scrivere i dati su disco piuttosto che tenere tutto in memoria.

Vorrei fare un passo indietro e chiedersi se una mappa è la giusta struttura dati per GB di dati.

Answer 5

Gigaspaces Datagrid suona come il tipo di cosa che stai cercando. (Non gratuito)