C'è un modo più veloce per caricare mysqldumps?

Question

Eventuali duplicati:
Speeding up mysql dumps and imports

mysqldump è ragionevolmente veloce, ma discariche di un database di medie dimensioni (20-30 mega) necessari diversi minuti per caricare utilizzando mysql my_database < my_dump_file.sql

Ci sono alcune impostazioni di mysql che posso regolare per accelerare il carico? C'è un modo migliore per caricare i dati salvati?

Ho sperimentato l'utilizzo dell'utilità mysqlimport con i dump basati su CSV. Questi caricano leggermente, ma non in modo sensibile, più velocemente. Sono tentato di copiare solo i file di database grezzi, ma sembra una cattiva idea.

Answer 1

maatkit - parallel dump

e

maatkit - parallel restore

molto veloce.

Answer 2

Assicurarsi di utilizzare l'opzione --opt su mysqldump durante il dumping. In questo modo utilizzare la sintassi inserimento di massa, ritardare gli aggiornamenti chiave, ecc ...

---

Se si utilizzano solo le tabelle MyISAM, si può tranquillamente copiarli arrestando il server, copiandoli in un server fermato, e iniziando quello.

Se non si vuole fermare il server di origine, è possibile seguire questa:

1. Prendi un blocco di lettura su tutti i tavoli
2. Lavare tutte le tabelle
3. Copiare i file
4. Unlock i tavoli

Ma sono abbastanza sicuro che il server di copia su server deve essere fermato quando li metti in posizione.

Answer 3

Esiste un metodo per l'utilizzo di snapshot LVM per il backup e il ripristino che potrebbe essere un'opzione interessante per l'utente.

Invece di fare un mysqldump, considerare l'utilizzo di LVM per scattare istantanee delle directory di dati MySQL. L'utilizzo di snapshot LVM consente di disporre di funzionalità di backup quasi in tempo reale, supporto per tutti i motori di archiviazione e recupero incredibilmente veloce. Per citare il link sottostante,

"Il tempo di recupero è veloce quanto il ripristino dei dati e il recupero degli arresti anomali di MySQL standard, e può essere ulteriormente ridotto."

http://www.mysqlperformanceblog.com/2006/08/21/using-lvm-for-mysql-backup-and-replication-setup/

Answer 4

Sei sicuro i dati è sano di mente, e non ci sono problemi di prestazioni del file system o di sistema? Diversi minuti per un database di 20-30 megabyte sono lunghi. Sono su un MacBook con 2 GB di RAM, un HD da 320 GB e il processore standard da 2,1 GHz. Ho preso uno dei miei database per un rapido benchmark:

gavinlaking$ du -sm 2009-07-12.glis 
74 2009-07-12.glis 
gavinlaking$ mysql -pxxx -e "drop database glis" 
gavinlaking$ mysql -pxxx -e "create database glis" 
gavinlaking$ time mysql -pxxx glis < 2009-07-12.glis 

real 0m17.009s 
user 0m2.021s 
sys 0m0.301s 

17 secondi per un file da 74 megabyte. Mi sembra piuttosto scattante. Anche se è 4 volte più grande (facendo appena 300 megabyte), finisce in poco meno di 70 secondi.

Answer 5

Supponendo che si sta utilizzando InnoDB ...

ero nella situazione di avere un mucchio di file di output mysqldump esistenti che ho voluto importare in un tempo ragionevole. Le tabelle (una per file) erano circa 500 MB e contenevano circa 5.000.000 di righe di dati ciascuna. Utilizzando i seguenti parametri sono riuscito a ridurre il tempo di inserimento da 32 minuti a meno di 3 minuti.

innodb_flush_log_at_trx_commit = 2
innodb_log_file_size = 256M
innodb_flush_method = O_DIRECT

Avrete anche bisogno di avere una ragionevolmente grande ambiente innodb_buffer_pool_size.

Poiché i miei inserti sono stati una tantum ho ripristinato le impostazioni in seguito. Se continuerai a usarli a lungo termine, assicurati di sapere cosa stanno facendo.

Ho trovato il suggerimento di utilizzare queste impostazioni su Cedric Nilly's blog e la spiegazione dettagliata per ciascuna delle impostazioni può essere trovata nel MySQL documentation.

Answer 6

Provate https://launchpad.net/mydumper - backup multi-threaded mysql/ripristino che è 3x a 10x volte più velocemente di mysqldump http://vbtechsupport.com/1695/