Memorizza valore chiave persistente ad alte prestazioni per una quantità enorme di record

Question

Lo scenario è di circa 1 miliardo di record. Ogni record ha dimensioni di dati 1kb ed è memorizzato in SSD. Quale archivio kv può fornire le migliori prestazioni di lettura casuale? È necessario ridurre l'accesso al disco a una sola volta per query e tutto l'indice dei dati verrà archiviato in memoria.

Redis è veloce ma è troppo costoso per memorizzare 1 TB di dati in memoria. LevelDB legge il disco più volte per ogni query. Il più vicino che ho trovato è fatcache ma non è persistente. È un memcached con supporto SSD.

Qualche suggerimento?

Answer 1

RocksDB potrebbe essere la scelta giusta per te, che è ottimizzata per l'archiviazione veloce come memoria e flash-disk, ed è altamente personalizzabile. Se l'applicazione è di sola lettura dopo il caricamento di massa iniziale, è possibile configurare RocksDB per compattare tutto in un unico grande file. In questo modo, le letture sono garantite per avere al massimo I/O singolo. Tuttavia, se l'applicazione gestisce sia le letture che le scritture, al fine di avere al massimo un I/O per lettura, sarà necessario sacrificare le prestazioni di scrittura in quanto è necessario configare rocksdb per compattarlo molto spesso e ciò danneggia le prestazioni di scrittura.

La guida di regolazione per RocksDB si trova anche here.

Answer 2

Hai guardato aerospike? Non l'ho usato, ma affermano di avere buone prestazioni su SSD.

Answer 3

Si consiglia di provare RocksDB, è una libreria di Facebook ottimizzata per l'archiviazione SSD. Puoi anche provare Ardb, è un build DB NoSQL compatibile con protocollo redis su RockDB/LevelDB/LMDB.

Answer 4

LMDB è più veloce di RocksDB e utilizza 1/3 di memoria. Anche LMDb non richiede tuning; RocksDB richiede un'accurata ottimizzazione di oltre 40 parametri per ottenere prestazioni che si avvicinano agli LMDB.

http://www.lmdb.tech/bench/inmem/scaling.html

anche LMDB è pienamente transazionale e il 100% a prova di crash, RocksDB è nessuno dei due.