scala

8calore

2risposta

come convertire la stringa json in dataframe sulla scintilla

Voglio convertire la variabile di stringa in basso in dataframe su spark. val jsonStr = "{ "metadata": { "key": 84896, "value": 54 }}" so come creare dataframe da file JSON. sqlContext.read.json("fi

5calore

1risposta

Algebra dinamica dinamica su Spark

Considerare il seguente problema. Dato: Una collezione di set un'espressione booleana su di loro che si riceve in modo dinamico Ritorna l'insieme risultante. Spark dispone di algoritmi o librerie effi

6calore

2risposta

Converti JsDefined in stringa

Uso la libreria json per elaborare oggetti json in Scala. Al fine di ottenere un campo id dall'oggetto JSON, ho eseguito questo codice: val id = json \ "id" allora voglio convertire id in una stringa.

10calore

1risposta

Un modo corretto per arrestare i flussi di Akka a condizione

Ho utilizzato con successo FileIO per trasmettere il contenuto di un file, calcolare alcune trasformazioni per ogni riga e aggregare/ridurre i risultati. Ora ho un caso d'uso piuttosto specifico, in c

5calore

5risposta

Convertire l'opzione Scala in Java Opzionale

Ho bisogno di convertire l'opzione Scala in Java Opzionale. Sono riuscito a scrivere questo: public <T> Optional<T> convertOption2Optional(Option<T> option) { return option.isDefined() ? Optional

9calore

2risposta

come convertire un Java Stream per una Scala flusso

Come parte di uno sforzo di conversione del codice Java per codice Scala, ho bisogno di convertire il flusso di Java Files.walk(Paths.get(ROOT)) alla Scala. Non riesco a trovare una soluzione googling

5calore

2risposta

Spark SQL fallisce perché "pool costante è cresciuto passato limite JVM di 0xFFFF"

Sto facendo funzionare questo codice su EMR 4.6.0 + Spark 1.6.1: val sqlContext = SQLContext.getOrCreate(sc) val inputRDD = sqlContext.read.json(input) try { inputRDD.filter("`first_field` is

5calore

1risposta

Come eseguire una query sul frame di dati in cui 1 campo di StringType ha valore json in Spark SQL

Sto cercando di utilizzare SQL su un frame di dati spark. Ma il frame di dati ha 1 valore ha stringa (che è JSON come la struttura): ho salvato il mio telaio dati alla tabella temporanea: TestTable Qu

6calore

3risposta

Divisione sorgente streaming Akka in due

Ho un flusso Akka Source che voglio suddividere in due fonti in base a un predicato. E.g. avendo una sorgente (tipi sono semplificate intenzionalmente): val source: Source[Either[Throwable, String], N

10calore

1risposta

Utilizzare le impostazioni comuni in SBT `RootProject`

La risposta allo https://stackoverflow.com/a/21605652/1737727 mostra come sovrascrivere un'impostazione per un sottoprogetto definito con RootProject dal progetto principale. Mi stavo chiedendo se c'è