Riak vs GlusterFS

Question

Ho bisogno di impostare un'archiviazione dei dati in grado di memorizzare il livello PB dei file (i file sono per lo più piccoli json, immagini e file csv, ma alcuni di essi possono contenere ~ 100 file binari).

Sto cercando nella memoria di dati distribuita che è senza padrone e nessun singolo punto di errore.

E ho trovato Riak e GlusterFS.

Voglio chiedere a qualcuno di voi di averli usati entrambi prima?

So che l'interfaccia (DB/Mappa) è molto diversa. Ma mi sembra che entrambi usino l'hashing e una tecnologia distribuita simile. Avranno prestazioni, consistenza e disponibilità simili?

Answer 1

Stiamo eseguendo un cluster Riak a 17 nodi (24 GB di RAM, 2T disco) con un backend Bitcask, contenente circa 1 miliardo di oggetti 3k. Questa configurazione è performante ma richiede molte risorse. Stiamo valutando la possibilità di passare da Riak a GlusterFS poiché le prestazioni non sono che è importante per noi. Forse usare LevelDB come backend potrebbe anche mitigare le nostre preoccupazioni.

ATM le proprietà di autoguarigione di Riak sembrano più forti e la configurazione sembra un po 'più facile. Nel tuo caso sarei più a mio agio nel memorizzare file da 100MB su GlusterFS.

Answer 2

Memorizzare file di grandi dimensioni come i file da 100 MB che hai citato non sarebbe la scelta giusta per OSS Riak semplice.

Quello che dovresti davvero usare in quel caso è il nuovo RiakCS http://basho.com/products/riakcs/ di Basho.

Answer 3

La scelta dipende principalmente dai requisiti. In generale, raccomanderei Riak se non hai realmente bisogno di un vero filesystem (con punti di montaggio, gestione ACL e così via) e userò o servirò i file in modo programmatico, e GlusterFS in caso contrario.