Come ottenere il prodotto cartesiano di due PC:

Question

Sono molto nuovo nell'usare Google Cloud Dataflow. Vorrei ottenere il prodotto cartesiano di due PC. Ad esempio, se ho due PColections (1, 2) e ("hello", "world"), il loro prodotto cartesiano è ((1, "hello"), (1, "world"), (2, "hello"), (2, "world")).

Qualche idea su come potrei farlo? Inoltre, poiché il prodotto cartesiano potrebbe essere grande, spero che la soluzione crei pigramente il prodotto, evitando così un enorme consumo di memoria.

Grazie!

Answer 1

In generale, il calcolo del prodotto cartesiano sarà costoso. Se una o entrambe le collezioni sono in memoria, è possibile utilizzare side-inputs per trasmettere i dati a tutti i lavoratori. Quindi, per il tuo esempio, devi convertire lo PCollection<String> in un input laterale, e quindi avresti un ParDo che lo ha preso come input principale. Per ogni stringa sull'input principale, è possibile accedere all'input laterale che aveva uno Iterable<String> di tutti i valori, e si sarebbero emesse le coppie (o si poteva in questo DoFn scegliere di emettere solo le coppie che si allineano).

Questa volontà di ripetere l'intera serie di parole ogni volta - se si inserisce nella memoria questo dovrebbe andare bene. Se deve recuperare i dati di input laterali ogni volta che potrebbe essere problematico.

Un altro approccio sarebbe affidarsi a mischiare e chiavi. Supponi di voler trovare le parole con una sovrapposizione di 3 lettere. È possibile elaborare il dizionario e produrre uno PCollection valori con i prefissi a 3 lettere. È anche possibile creare lo stesso PCollection con suffissi di 3 lettere. Quindi è possibile GroupByKey (o CoGroupByKey). Dopodiché, hai per ogni tasto di 3 lettere tutte le parole con quel prefisso e quello come suffisso.