C# Importazione di un grande volume di dati dal CSV al database

Question

Qual è il metodo più efficiente per caricare grandi volumi di dati da CSV (3 milioni + righe) in un database.

• I dati deve essere formattato (ad esempio colonna del nome deve essere diviso in nome e cognome, ecc)
• ho bisogno di fare questo in un modo più efficiente possibile ad esempio vincoli di tempo

Sono schierato con l'opzione di leggere, trasformare e caricare i dati utilizzando un'applicazione C# riga per fila? Questo è l'ideale, se no, quali sono le mie opzioni? Dovrei usare il multithreading?

Answer 1

Sarai vincolato all'I/O, quindi il multithreading non lo renderà necessariamente più veloce.

L'ultima volta che l'ho fatto, era circa una dozzina di righe di C#. In un thread ha eseguito il disco rigido il più velocemente possibile in grado di leggere i dati dai piatti. Ho letto una riga alla volta dal file sorgente.

Se non si è interessati a scrivere da soli, è possibile provare le librerie FileHelpers. Si potrebbe anche voler dare un'occhiata a Sébastien Lorion's work. Il suo lettore CSV è scritto appositamente per affrontare i problemi di prestazioni.

Answer 2

Sono d'accordo con la vostra soluzione. Leggere il file una riga alla volta dovrebbe evitare l'overhead di leggere l'intero file in memoria in una volta, il che dovrebbe rendere l'applicazione eseguita in modo rapido ed efficiente, principalmente prendendo tempo per leggere dal file (che è relativamente veloce) e analizzare le righe . L'unica nota di cautela che ho per te è quella di stare attento se hai nuove linee incorporate nel tuo CSV. Non so se il formato CSV specifico che stai utilizzando potrebbe effettivamente generare righe nuove tra virgolette nei dati, ma questo potrebbe confondere questo algoritmo, ovviamente.

Inoltre, suggerirei il batching delle istruzioni di inserimento (includere molte istruzioni di inserimento in una stringa) prima di inviarle al database se questo non presenta problemi nel recupero dei valori chiave generati che è necessario utilizzare per le chiavi esterne successive (si spera che non sia necessario recuperare alcun valore chiave generato). Tenere presente che SQL Server (se è quello che si sta utilizzando) può gestire solo 2200 parametri per batch, quindi limitare le dimensioni del batch per tenerne conto. E vorrei raccomandare l'uso di istruzioni TSQL parametrizzate per eseguire gli inserti. Sospetto che verrà impiegato più tempo per inserire record anziché leggerli dal file.

Answer 3

Non si indica quale database si sta utilizzando, ma data la lingua che si cita è C# assumerò SQL Server.

Se i dati non possono essere importati usando BCP (che suona come se non fosse possibile se ha bisogno di un'elaborazione significativa) allora SSIS sarà probabilmente la prossima opzione più veloce. Non è la piattaforma di sviluppo più bella del mondo, ma è estremamente veloce. Certamente più veloce di qualsiasi applicazione tu possa scrivere da te in qualsiasi ragionevole lasso di tempo.

Answer 4

È possibile utilizzare csvreader per leggere rapidamente il CSV.

Supponendo che si stia utilizzando SQL Server, si utilizza il csvreader CachedCsvReader per leggere i dati in un DataTable che è possibile utilizzare con SqlBulkCopy da caricare in SQL Server.

Answer 5

BCP è piuttosto veloce, quindi lo userei per caricare i dati. Per la manipolazione delle stringhe andrei con una funzione CLR su SQL una volta che i dati sono lì. La multi-threading non aiuta in questo scenario se non per aggiungere complessità e prestazioni dannose.

Answer 6

leggere il contenuto del file CSV riga per riga in un DataTable in memoria. È possibile manipolare i dati (ad esempio: dividere il nome e il cognome) ecc. Mentre il DataTable viene popolato.

Una volta che i dati CSV sono stati caricati in memoria, utilizzare SqlBulkCopy per inviare i dati al database.

Vedere http://msdn.microsoft.com/en-us/library/system.data.sqlclient.sqlbulkcopy.writetoserver.aspx per la documentazione.

Answer 7

Se si desidera veramente farlo in C#, creare & compilare un DataTable, troncare la tabella db di destinazione, quindi utilizzare System.Data.SqlClient.SqlBulkCopy.WriteToServer (DataTable dt).