panda python to_sql con sqlalchemy: come velocizzare l'esportazione in MS SQL?

Question

Ho un dataframe con circa 155.000 righe e 12 colonne. Se lo esporto in csv con dataframe.to_csv, l'output è un file da 11 MB (che viene prodotto immediatamente).

Se, tuttavia, esporto su un Microsoft SQL Server con il metodo to_sql, sono necessari tra 5 e 6 minuti! Nessuna colonna è testo: solo int, float, bool e date. Ho visto casi in cui i driver ODBC impostano nvarchar (max) e questo rallenta il trasferimento dei dati, ma non può essere il caso qui.

Qualche suggerimento su come velocizzare il processo di esportazione? Prendendo 6 minuti per esportare 11 MB di dati, la connessione ODBC diventa praticamente inutilizzabile.

Grazie!

Il mio codice è:

import pandas as pd 
from sqlalchemy import create_engine, MetaData, Table, select 
ServerName = "myserver" 
Database = "mydatabase" 
TableName = "mytable" 

engine = create_engine('mssql+pyodbc://' + ServerName + '/' + Database) 
conn = engine.connect() 

metadata = MetaData(conn) 

my_data_frame.to_sql(TableName,engine) 

Answer 1

Il metodo DataFrame.to_sql genera le istruzioni INSERT per il connettore ODBC che poi viene trattato dal connettore ODBC come inserti regolari.

Quando questo è lento, non è colpa dei panda.

Salvare l'output del metodo DataFrame.to_sql in un file, quindi la riproduzione di quel file su un connettore ODBC richiederà lo stesso tempo.

Il modo corretto di massa importare i dati in un database è quello di generare un file CSV e quindi utilizzare un comando di caricamento, che nel sapore MS di database SQL si chiama BULK INSERT

Ad esempio:

BULK INSERT mydatabase.myschema.mytable 
FROM 'mydatadump.csv'; 

il riferimento sintassi è la seguente:

BULK INSERT 
    [ database_name . [ schema_name ] . | schema_name . ] [ table_name | view_name ] 
     FROM 'data_file' 
    [ WITH 
    ( 
    [ [ , ] BATCHSIZE = batch_size ] 
    [ [ , ] CHECK_CONSTRAINTS ] 
    [ [ , ] CODEPAGE = { 'ACP' | 'OEM' | 'RAW' | 'code_page' } ] 
    [ [ , ] DATAFILETYPE = 
     { 'char' | 'native'| 'widechar' | 'widenative' } ] 
    [ [ , ] FIELDTERMINATOR = 'field_terminator' ] 
    [ [ , ] FIRSTROW = first_row ] 
    [ [ , ] FIRE_TRIGGERS ] 
    [ [ , ] FORMATFILE = 'format_file_path' ] 
    [ [ , ] KEEPIDENTITY ] 
    [ [ , ] KEEPNULLS ] 
    [ [ , ] KILOBYTES_PER_BATCH = kilobytes_per_batch ] 
    [ [ , ] LASTROW = last_row ] 
    [ [ , ] MAXERRORS = max_errors ] 
    [ [ , ] ORDER ({ column [ ASC | DESC ] } [ ,...n ]) ] 
    [ [ , ] ROWS_PER_BATCH = rows_per_batch ] 
    [ [ , ] ROWTERMINATOR = 'row_terminator' ] 
    [ [ , ] TABLOCK ] 
    [ [ , ] ERRORFILE = 'file_name' ] 
    )]