rdd

24calore

3risposta

Come ottenere elemento per Indice in Spark RDD (Java)

Conosco il metodo rdd.first() che mi dà il primo elemento in un RDD. Inoltre esiste il metodo rdd.take (num) che mi dà i primi elementi "num". Ma non c'è la possibilità di ottenere un elemento per ind

17calore

2risposta

Quale funzione nella scintilla viene usata per combinare due RDD con i tasti

Diciamo che ho i seguenti due RDD, con i seguenti valori di coppie di chiavi. rdd1 = [ (key1, [value1, value2]), (key2, [value3, value4]) ] e rdd2 = [ (key1, [value5, value6]), (key2, [value7]) ]

6calore

2risposta

Come ottenere l'ennesima riga di Spark RDD?

Supponiamo di avere un RDD di oggetti arbitrari. Desidero ottenere la decima riga (dire) del RDD. Come potrei farlo? Un modo è usare rdd.take (n) e quindi accedere all'elemento nesimo è l'oggetto, ma

17calore

2risposta

Come si ottiene un numero di riga SQL equivalente per un RDD Spark?

Devo generare un elenco completo di numero riga per una tabella dati con molte colonne. In SQL, questo sarebbe simile a questa: select key_value, col1, col2, col3, row_number(

7calore

3risposta

Come condividere Spark RDD tra 2 contesti Spark?

Ho un cluster RMI. Ogni server RMI ha un contesto Spark. C'è un modo per condividere un RDD tra diversi contesti Spark?

8calore

1risposta

Errore RDD operativo durante l'impostazione del delimitatore di record Spark con org.apache.hadoop.conf.Configuration

Desidero elaborare un file di testo di grandi dimensioni "mydata.txt" (la dimensione del file effettivo è circa 30 GB) con Spark. Il delimitatore di record è "\ |" seguito da "\ n". Poiché il separato

12calore

2risposta

Come annullare l'ordine per RDD.take Order()?

Qual è la sintassi per invertire l'ordine per il metodo takeOrdered() di un RDD in Spark? Per i punti bonus, qual è la sintassi per l'ordinazione personalizzata per un RDD in Spark?

32calore

2risposta

Concatenazione di serie di dati di diversi RDD nella scintilla di Apache utilizzando scala

Esiste un modo per concatenare set di dati di due diversi RDD s nella scintilla? Il requisito è: creo due RDD intermedi utilizzando scala con gli stessi nomi di colonna, è necessario combinare questi

18calore

4risposta

Unire due ordinari RDD con/senza Spark SQL

Ho bisogno di unire due ordinari RDDs su una o più colonne. Logicamente questa operazione è equivalente all'operazione di unione del database di due tabelle. Mi chiedo se questo sia possibile solo att

20calore

2risposta

Spark RDD's - come funzionano

Ho un piccolo programma Scala che gira bene su un nodo singolo. Tuttavia, lo sto ridimensionando in modo che venga eseguito su più nodi. Questo è il mio primo tentativo del genere. Sto solo cercando d