Come ottimizzare MySQL per inserire milioni di righe?

Question

Ho bisogno di inserire milioni di righe nel database MySQL (motore InnoDB). Ho un problema con il tempo quando i tavoli hanno grandi dimensioni. Quasi tutto il tempo è speso per inserire query. Forse qualcuno sa come ottimizzarlo?

Answer 1

Per importare grande massa di dati in InnoDB:

1. set in MySQL configurazione

   • innodb_doublewrite = 0
   • innodb_buffer_pool_size = 50% + sistema di memoria
   • innodb_log_file_size = 512M
   • log-bin = 0
   • innodb_support_xa = 0
   • innodb_flush_log_at_trx_commit = 0

2. Aggiungi a destra dopo l'inizio dell'operazione:

   FOREIGN_KEY_CHECKS SET = 0;

   SET UNIQUE_CHECKS = 0;

   SET AUTOCOMMIT = 0;

3. Situato proprio prima della fine dell'operazione:

   SET UNIQUE_CHECKS = 1;

   SET FOREIGN_KEY_CHECKS = 1;

Answer 2

Se si parla di un gran numero di istruzioni INSERT, esaminare le transazioni denominate. Sono abbastanza sicuro che la maggior parte (se non tutte) le lingue che eseguono le transazioni di supporto SQL. Accelereranno tutto ciò che riguarda la scrittura sul DB. Un ulteriore vantaggio è che se qualcosa va storto puoi eseguire il rollback delle modifiche.