Come reindex ElasticSearch rapidamente?

Question

Ho un indice ElasticSearch con circa 200 milioni di documenti, una dimensione totale dell'indice di 90 GB.

Ho modificato la mappatura, quindi vorrei che ElasticSearch indicizzasse nuovamente tutti i documenti.

Ho scritto uno script che crea un nuovo indice (con la nuova mappatura), quindi passa tutti i documenti nel vecchio indice e lo inserisce nel nuovo.

Sembra funzionare, ma il problema è che funziona estremamente lentamente. È iniziato con 300 documenti/minuto due giorni fa, e ora la velocità è di 150 documenti/minuto.

lo script viene eseguito su un computer all'interno della stessa rete le macchine di ricerca elastiche in.

Con tale velocità sarà necessario un mese per la ri-index per terminare.

Qualcuno conosce una tecnica più veloce per reindicizzare un indice di ricerca elastico?

Answer 1

risolta in gruppi di Google:.

Opzione A: utilizzare le operazioni di indice di massa.

Opzione B: Utilizzare la ri-index plug-in che viene eseguito all'interno ES macchina: https://github.com/karussell/elasticsearch-reindex

Answer 2

Il modo corretto per reindicizzare con Elasticsearch è utilizzare le API scan e scroll, che devono essere supportate da Pyes.

Sembra che la libreria Pyes abbia un metodo reindex, ma non ho esperienza con esso.

(Se si otterrebbe rispetto all'uso di Rubino su Python :), il Tyre cliente Ruby ha un metodo Index#reindex: https://github.com/karmi/tire/blob/master/test/integration/reindex_test.rb. Dovrebbe essere abbastanza veloce per i dati)