database in memoria in Python

Question

Sto facendo alcune query in Python su un database di grandi dimensioni per ottenere alcune statistiche dal database. Voglio che queste statistiche siano in memoria in modo che altri programmi possano usarle senza andare in un database.

Stavo pensando a come strutturarli, e dopo aver provato a impostare alcuni dizionari nidificati complicati, mi sono reso conto che una buona rappresentazione sarebbe stata una tabella SQL. Non voglio tuttavia archiviare i dati nel database persistente. Esistono implementazioni in memoria di un database SQL che supporta l'interrogazione dei dati con la sintassi SQL?

Answer 1

SQLite3 potrebbe funzionare. L'interfaccia Python does support l'implementazione in memoria offerta dall'API SQLite3 C.

Dal spec:

È inoltre possibile fornire il nome speciale : Memoria: per creare un database nella RAM.

È anche relativamente economico con le transazioni, a seconda di ciò che si sta facendo. Per iniziare, solo:

import sqlite3 
conn = sqlite3.connect(':memory:') 

È quindi possibile procedere come se si stesse utilizzando un normale database.

A seconda dei dati, se riesci a passare con la chiave/il valore (stringhe, hash, elenchi, set, serie ordinate, ecc.) - Redis potrebbe essere un'altra opzione da esplorare (come hai detto che volevi condividere con altri programmi).

Answer 2

Immagino che SQLite3 sia l'opzione migliore.

Se possibile, dare un'occhiata a memcached. (Per la coppia chiave-valore, illuminazione veloce!)

UPDATE 1:

HSQLDB per SQL come tavoli. (nessun supporto per python)

Answer 3

È possibile utilizzare un database come SQLite. Non è strettamente in memoria, ma è abbastanza leggero e sarebbe completamente separato dal tuo database principale.