Annullamento di lavori senza dataloss su DataFlow

Question

Sto cercando di trovare un modo per terminare con grazia i miei lavori, in modo da non perdere dati, lo streaming da PubSub e la scrittura su BigQuery.

Un possibile approccio che posso immaginare è che il lavoro interrompa l'estrazione di nuovi dati e quindi viene eseguito finché non ha elaborato tutto, ma non so se/come sia possibile implementarlo.

Answer 1

Sembra che questa funzione sia stata aggiunta nell'ultima versione.

Tutto ciò che dovete fare ora è selezionare drain option quando si annulla un lavoro.

Grazie.

Answer 2

Credo che sarebbe difficile (se non impossibile) farlo da solo. Noi (il team di Google Cloud Dataflow) siamo consapevoli di questa esigenza e stiamo lavorando per affrontarla con una nuova funzionalità nei prossimi mesi.