google-cloud-dataflow

5calore

2risposta

Come si esegue un'unione nel flusso di dati?

Sto cercando di eseguire un'operazione unione in Dataflow. Esiste un codice di esempio per l'unione di due PCollections in Dataflow?

6calore

3risposta

Come eseguire il lavoro di Google Cloud Dataflow da App Engine?

Dopo aver letto i documenti di Cloud Dataflow, non sono ancora sicuro di come posso eseguire il mio lavoro di flusso di dati da App Engine. È possibile? È rilevante se il mio back-end è scritto in Pyt

6calore

2risposta

Inserire messaggi PubSub in BigQuery tramite Google Cloud Dataflow

Vorrei inserire i dati dei messaggi PubSub provenienti da un argomento in una tabella BigQuery utilizzando Google Cloud Dataflow. Tutto funziona alla grande ma nella tabella di BigQuery posso vedere s

5calore

1risposta

Dataflow miscelazione Integer e tipi lunghi

Nel mio cantiere flusso di dati, sto impostando il campo impressions_raw come Long in un oggetto com.google.api.services.bigquery.model.TableRow: Più avanti nel mio cantiere, ho letto la TableRow indi

7calore

2risposta

Google Cloud Dataflow ETL (Datastore -> Transform -> BigQuery)

Abbiamo un'applicazione in esecuzione su Google App Engine che utilizza Datastore come back-end di persistenza. Attualmente l'applicazione ha per lo più funzionalità "OLTP" e alcuni rapporti rudimenta

5calore

2risposta

Stato longevo con Google Dataflow

Sto solo cercando di capire come funziona il modello di programmazione. Scenario sto utilizzando Pub/Sub + Dataflow per l'analisi degli strumenti per un forum web. Ho un flusso di dati provenienti da

8calore

1risposta

Come calcolare il costo di un flusso di dati di Google?

La mia azienda sta valutando se siamo in grado di utilizzare Google Dataflow. Ho eseguito un flusso di dati su Google Cloud Platform. La console mostra 5 ore e 25 minuti nel campo "Tempo CPU riservato

6calore

1risposta

Leggi i file da una raccolta di nomi di file GCS in Pipeline?

Ho una pipeline di streaming collegata a pub/sub che pubblica nomi di file GCS. Da lì voglio leggere ogni file e analizzare gli eventi su ciascuna riga (gli eventi sono ciò che in definitiva voglio el

11calore

2risposta

Google Dataflow vs Apache Storm

Leggendo l'API di Dataflow di Google, ho l'impressione che sia molto simile a ciò che fa Apache Storm. Elaborazione dati in tempo reale tramite flusso di pipeline. A meno che non mi sfugga completamen