sparkr

5calore

3risposta

Come caricare il file csv in SparkR su RStudio?

Come si carica il file csv in SparkR su RStudio? Di seguito sono riportati i passaggi che dovevo eseguire per eseguire SparkR su RStudio. Ho usato read.df per leggere .csv non so in quale altro modo s

5calore

2risposta

Colonne duplicate in Spark Dataframe

Ho un file csv da 10 GB in cluster hadoop con colonne duplicate. Ho cercare di analizzare in SparkR in modo da uso spark-csv pacchetto per analizzare come DataFrame: df <- read.df( sqlContext,

5calore

1risposta

Collo di bottiglia SparkR in createDataFrame?

Sono nuovo di Spark, SparkR e in generale tutte le tecnologie relative a HDFS. Ho installato di recente Spark 1.5.0 ed eseguire alcune semplici righe di codice con SparkR: Sys.setenv(SPARK_HOME="/priv

7calore

4risposta

Errore SparkR in sparkR.init (master = "local") in RStudio

Ho installato il pacchetto SparkR dalla distribuzione Spark nella libreria R. Posso chiamare il seguente comando e sembra funzionare correttamente: library(SparkR) Tuttavia, quando cerco di ottenere i

13calore

3risposta

Come leggo un Parquet in R e lo converto in un R DataFrame?

Vorrei elaborare i file Apache Parquet (nel mio caso, generato in Spark) nel linguaggio di programmazione R. È disponibile un lettore R? O il lavoro viene svolto su uno? In caso contrario, quale sareb

7calore

1risposta

Utilizzo delle funzioni di applicazione in SparkR

Attualmente sto cercando di implementare alcune funzioni utilizzando sparkR versione 1.5.1. Ho visto esempi più vecchi (versione 1.3), in cui le persone hanno usato la funzione apply su DataFrames, ma

6calore

2risposta

Come gestire voci nulle in SparkR

Ho un DataFrame SparkSQL. Alcune voci in questi dati sono vuote ma non si comportano come NULL o NA. Come posso rimuoverli? Qualche idea? In R posso facilmente rimuoverli ma in sparkR si dice che c'è

10calore

1risposta

Aggiungi colonna a DataFrame in sparkR

Vorrei aggiungere una colonna riempita con un carattere N in un DataFrame in SparkR. Lo farei così con il codice non SparkR: df$new_column <- "N" Ma con SparkR, ottengo il seguente errore: Error: cl

5calore

2risposta

Opzioni per leggere file di grandi dimensioni (puro testo, xml, json, csv) da hdfs in RStudio con SparkR 1.5

Sono nuovo a Spark e vorrei sapere se ci sono altre opzioni oltre a quelle sotto per leggere i dati memorizzati in un hdf da RStudio usando SparkR o se li uso correttamente. I dati potrebbero essere d