Scaricare rapidamente un database in memoria nel file

Question

Desidero sfruttare i vantaggi della velocità di tenere un database SQLite (tramite SQLAlchemy) in memoria mentre eseguo una procedura unica di inserimento del contenuto, quindi lo scarico in un file , conservato per essere utilizzato in seguito.

Consideriamo un database bog-standard created in the usual way:

# in-memory database 
e = create_engine('sqlite://') 

C'è un modo più rapido di spostare i contenuti su disco, diverso da solo la creazione di un nuovo database del marchio e l'inserimento di ciascuna voce manualmente?

EDIT:

V'è qualche dubbio se o non avrei nemmeno vedere eventuali vantaggi di utilizzare un database in memoria. Purtroppo vedo già un'enorme differenza di tempo di circa 120x.

Questa confusione è probabilmente dovuta al fatto che mi mancano alcuni dettagli importanti nella domanda. Probabilmente anche a causa di una mancanza di comprensione da parte mia: cache/dimensioni di pagina/ecc. Consentitemi di elaborare:

Sono in esecuzione le simulazioni di un sistema che ho impostato, con ogni simulazione che passa attraverso le seguenti fasi:

1. Effettuare alcune query al database.
2. Effettua calcoli/esegue una simulazione in base ai risultati di tali query.
3. insert nuove voci nel database basate sulla simulazione più recente.
4. Assicurarsi che il database sia aggiornato con le nuove voci eseguendo commit().

Mentre ho sempre e solo fare una decina di inserzioni su ogni corsa di simulazione, io invece corro milioni di simulazioni, ed i risultati di ogni simulazione hanno bisogno essere disponibile per le simulazioni future di prendere posto. Come ho detto, questa lettura del processo di scrittura e richiede molto più tempo durante l'esecuzione di un database con backup di file; è la differenza tra 6 ore e un mese.

Speriamo che questo chiarisca le cose. Posso mettere insieme un semplice script python per delineare ulteriormente il mio processo un po 'più avanti se necessario.

Answer 1

SQLAlchemy e SQLite sanno come memorizzare e inserire gli inserimenti batch correttamente.

Non vi è alcun vantaggio nell'utilizzo di un database SQLite in memoria qui, poiché tale database utilizza pagine come la versione su disco, e l'unica differenza è che alla fine tali pagine vengono scritte sul disco per il database basato su disco . La differenza di prestazioni è solo 1,5 volte, vedere SQLite Performance Benchmark -- why is :memory: so slow...only 1.5X as fast as disk?

Non è inoltre possibile spostare il database in memoria su un database basato su disco in un secondo momento, a meno di eseguire query sul database in memoria ed eseguire inserimento batch nel database basato su disco su due connessioni separate.