NoSQL e dati meteorologici

Question

Quindi c'è questa nuova cosa interessante, questi database NoSQL. E così ci sono i miei dati: righe di righe di file di dati meteorologici: valori, che rappresentano determinate misurazioni in una determinata stazione (identificate da un numero WMO, non coordinate), in un dato momento.

Non tutte le stazioni misurano tutti i parametri, non tutti i parametri vengono misurati continuamente.

Memorizzo questi dati (valore di 30 anni di valori orari, risultanti in ~ 1 miliardo di valori) attualmente in MySQL. La crescita continua e l'aggiunta prevedibile di ulteriori dati mi danno un po 'di mal di testa.

Leggendo i sistemi NoSQL basati su documenti che sembrano scalare piuttosto facilmente, mi chiedevo se NoSQL è un concetto di archiviazione dati fattibile anche per i dati meteorologici. Hai qualche esperienza con questo?

Aggiornamento: ha dimenticato le query tipiche: la maggior parte delle query richiede dati nell'asse temporale: I.e. Datemi le temperature della stazione 066310 dal 01.01.2010 alle 00:00 all'01/03/2010 alle 00:00.

Oppure: fornirmi i valori più recenti di tutti i parametri di una particolare stazione.

Answer 1

NoSQL può essere adatto quando la struttura dei dati è piuttosto semplice (ad esempio un semplice archivio di valori-chiave)/prevedibile e non è necessario l'integrità relazionale o la necessità di query ad-hoc e/o avanzate.

Ciò che si vince in una facile scalabilità si potrebbe perdere in flessibilità e coerenza però.

Il problema più grande sarebbe avere un mezzo semplice per comporre query complesse sui dati. Direi che i dati meterologici non sono i migliori candidati per NoSQL.

Personalmente preferisco PostgreSQL su MySQL e lo trovo molto scalabile (anche con milioni o addirittura miliardi di righe) quando configurato correttamente.

Answer 2

Penso che dovresti provare con un DBMS completo e maturo, prima di rinunciare a SQL.

si veda ad esempio:

http://www.yafla.com/dforbes/Getting_Real_about_NoSQL_and_the_SQL_Performance_Lie/

http://www.yafla.com/dforbes/The_Impact_of_SSDs_on_Database_Performance_and_the_Performance_Paradox_of_Data_Explodification/

Answer 3

mi è difficile creare una risposta coerente in questo momento, ma qui va.

1. I Suoi dati si adatterebbe senza problemi in un datastore "NoSQL", come Cassandra (e molti altri probabilmente)
2. Si potrebbe beneficiare della progettazione dello schema-less di molte soluzioni "NoSQL" (visto che non tutti le colonne (per usare un termine MySQL) sono sempre presenti)
3. Le domande basate sul tempo non sarebbero un problema in Cassandra (controlla le chiavi basate su TimeUUID)
4. Non sembra che tu stia approfittando della parte relazionale di MySQL, in modo da non farti male tanto quando lo perdi
5. Anche se potresti essere va bene con MySQL, dal momento che in realtà non stai descrivendo il tipo di problemi, ne hai davvero?(Il solo fatto di essere interessato è assolutamente fantastico)
6. Cose come gli indici e la ricerca sono cose che dovresti implementare manualmente in molti datastore nosql, se questo ti spaventa forse di stare con sql.

Grazie per l'ascolto;)