apache-spark-mllib

5calore

1risposta

RandomForestClassifier ha ricevuto input con errore di colonna dell'etichetta non valido in Apache Spark

Sto cercando di trovare Precisione utilizzando la convalida incrociata 5 volte utilizzando il modello di classificatore di foresta casuale in SCALA. Ma sto ottenendo il seguente errore durante l'esecu

5calore

2risposta

Correlazione calcolo Pyspark

Desidero utilizzare la funzione pyspark.mllib.stat.Statistics.corr per calcolare la correlazione tra due colonne dell'oggetto pyspark.sql.dataframe.DataFrame. La funzione corr si aspetta di prendere u

5calore

1risposta

Spark Matrix moltiplicazione con python

Sto provando a fare la moltiplicazione della matrice usando Apache Spark e Python. Ecco i miei dati from pyspark.mllib.linalg.distributed import RowMatrix mio RDD di vettori rows_1 = sc.parallelize(

6calore

1risposta

Spark K-fold Cross Validation

Ho qualche problema a capire la convalida incrociata di Spark. Qualsiasi esempio che ho visto lo usa per la sintonizzazione dei parametri, ma ho pensato che avrebbe fatto anche la normale convalida in

7calore

1risposta

Come convertire spark DataFrame in RDD mllib LabeledPoints?

Ho provato ad applicare PCA ai miei dati e quindi applicare RandomForest ai dati trasformati. Tuttavia, PCA.transform (data) mi ha fornito un DataFrame ma ho bisogno di un mllib LabeledPoints per alim

5calore

1risposta

Spark DataFrame che non rispetta lo schema e considera tutto come String

Sto affrontando un problema che non riesco a superare da anni. 1) Sono su Spark 1.4 e Scala 2.10. Non posso aggiornare in questo momento (grande infrastruttura distribuita) 2) Ho un file con poche cen

5calore

1risposta

Spark ML - Save OneVsRestModel

Sono nel mezzo del refactoring del mio codice per sfruttare il DataFrames, Estimators, and Pipelines. Inizialmente utilizzavo MLlib Multiclass LogisticRegressionWithLBFGS su RDD[LabeledPoint]. Mi piac

15calore

4risposta

Apache Spark: StackOverflowError durante il tentativo di indicizzare colonne stringa

Ho file csv con circa 5000 righe e 950 colonne. In primo luogo lo carico a dataframe: val data = sqlContext.read .format(csvFormat) .option("header", "true") .option("inferSchema", "tru

5calore

4risposta

Previsione delle probabilità delle classi in caso di alberi di incremento graduale in Spark utilizzando l'output dell'albero

È noto che GBT in Spark fornisce le etichette previste sin d'ora. stavo pensando di provare a calcolare le probabilità previste per una classe (ad esempio tutte le istanze che rientrano sotto una cert

5calore

3risposta

Calcolo della similarità di Spark Jaccard per hashing min lento rispetto all'approccio banale

Dato 2 elenco enorme di valori, sto provando a calcolare jaccard similarity tra di loro in Spark usando Scala. Si supponga che colHashed1 contenga il primo elenco di valori e colHashed2 contenga il se