google-cloud-dataflow

5calore

2risposta

Lettura da PubsubIO scrittura su DatastoreIO

È possibile creare una pipeline che legge dati da Pub/Sub e scrive su Datastore? Nel mio codice specificherò PubsubIO come input e applicherò la windowing per ottenere una PColection limitata, ma semb

5calore

1risposta

Autorizzazione Dataflow per leggere una tabella BigQuery che punta a Drive?

BigQuery può leggere da Google Drive come fonte federata. Vedi here. Voglio poter leggere una tabella in BigQuery nella mia pipeline Dataflow che punta a un documento di Drive. Aggancio BigQuery al fi

5calore

1risposta

Come ottenere il prodotto cartesiano di due PC:

Sono molto nuovo nell'usare Google Cloud Dataflow. Vorrei ottenere il prodotto cartesiano di due PC. Ad esempio, se ho due PColections (1, 2) e ("hello", "world"), il loro prodotto cartesiano è ((1, "

5calore

1risposta

Google Cloud Platform Lavoratori DataFlow Indirizzi IP

È possibile sapere quale intervallo di IP esterno vengono utilizzati dagli operatori DataFlow su GCP? L'obiettivo è impostare un tipo di filtro IP su un servizio esterno, in modo che solo i nostri pro

5calore

1risposta

Complesso join con google dataflow

Sono un principiante, cercando di capire come potremmo riscrivere un processo ETL in batch in Google Dataflow. Ho letto alcuni documenti, faccio alcuni esempi. Sto proponendo che il nuovo processo ETL

5calore

4risposta

Creazione/scrittura nella tabella BigQuery parititoned tramite Google Cloud Dataflow

Volevo sfruttare la nuova funzionalità BigQuery delle tabelle partizionate nel tempo, ma non sono sicuro che ciò sia attualmente possibile nella versione 1.6 dell'SDK Dataflow. Guardando il BigQuery J

7calore

2risposta

Annullamento di lavori senza dataloss su DataFlow

Sto cercando di trovare un modo per terminare con grazia i miei lavori, in modo da non perdere dati, lo streaming da PubSub e la scrittura su BigQuery. Un possibile approccio che posso immaginare è ch

6calore

1risposta

Stato iniziale per un processo di flusso di dati

Sto cercando di capire come "inizializzare" lo stato della finestra per alcuni dei nostri lavori di flusso di dati di flusso. Scenario è un flusso di messaggi del forum, vogliamo emettere un conteggio

13calore

2risposta

Scrittura su Google Cloud Storage da PubSub utilizzando Cloud Dataflow tramite DoFn

Sto tentando di scrivere messaggi Google PubSub su Google Cloud Storage utilizzando Google Cloud Dataflow. So che TextIO/AvroIO non supportano le condotte di streaming. Tuttavia, ho letto in [1] che è

5calore

2risposta

Le credenziali predefinite dell'applicazione non funzionano localmente con App Engine

Avere difficoltà a caricare le credenziali dell'applicazione predefinite nell'SDK del flusso di dati quando si esegue localmente in un progetto del motore di app Java che si sviluppa su OS X. Funziona