Quanto è lungo l'importazione del mio dump MySQL?

Question

Nella mia azienda occasionalmente importiamo database MySQL di grandi dimensioni (40 GB +) che possono essere caricati in un giorno sulle nostre macchine sviluppatore. Mentre accettiamo questo tempo di caricamento dal momento che è fatto in background, ci manca qualsiasi solida capacità di stimare quando le importazioni finiranno. Questo ci impedisce di programmare un momento appropriato per agire su di esso. È come aspettare che arrivi il ragazzo dei cavi.

In questo momento la mia strategia migliore è un comando rapido show tables per vedere quale percentuale delle tabelle sono state caricate. Tuttavia, poiché le dimensioni delle tabelle variano notevolmente sia tra loro che con ciascun cliente, questo non è nemmeno vicino all'affidabilità.

Qualcuno ha una buona tecnica o uno strumento che può essere utilizzato per ottenere una percentuale affidabile di quanto è lungo l'importazione di MySQL?

Answer 1

È possibile farlo con il comando pv collegando il dump a mysql.

pv -i 1 -p -t -e /path/to/sql/dump | mysql -u USERNAME -p DATABASE_NAME 

Verrà visualizzata una barra di avanzamento durante l'avanzamento dell'importazione in base al throughput di IO. (Come visto here.)

Answer 2

HeidiSql ti dirà quanti GB hanno caricato fino a quel momento, il che è piuttosto utile quando si cerca di capire quanto deve ancora essere caricato.

Answer 3

È anche possibile fare un show processlist nel database di origine per vedere fino a che punto (con l'ID di incremento automatico) in una tabella specifica è l'esportazione. Eric fa un buon punto in quanto è possibile monitorare la dimensione della directory dei dati del database rispetto alle dimensioni della fonte.

Qualcosa che ho trovato utile nell'accelerare i dump/import, è farlo da tabelle e quindi eseguire più mysqldump contemporaneamente essenzialmente multi-threading del tuo processo. Di solito facevo circa 4 discariche/ripristini separati alla volta. L'importo ottimale dipenderà dalle capacità dell'hardware e del disco.

Un esempio molto semplicistico per darvi un'idea:

mysqldump dbname table1 table2 table3 | mysql -h host & 
mysqldump dbname table4 table5 table6 | mysql -h host & 
mysqldump dbname table7 table8 table9 | mysql -h host &