apache-spark-ml

13calore

3risposta

Come salvare i modelli da ML Pipeline a S3 o HDFS?

Sto cercando di salvare migliaia di modelli prodotti da ML Pipeline. Come indicato nella risposta here, i modelli possono essere salvati come segue: import java.io._ def saveModel(name: String, mode

11calore

1risposta

È possibile accedere agli attributi dello stimatore nelle pipeline spark.ml?

Ho una pipeline spark.ml in Spark 1.5.1 che consiste in una serie di trasformatori seguita da uno stimatore k-means. Voglio essere in grado di accedere allo KMeansModel .clusterCenters dopo aver insta

10calore

1risposta

Risultati intermedi nella cache nella pipeline Spark ML

Ultimamente sto pianificando di migrare il mio codice ML Python standalone per accendere. La pipeline ML nel numero spark.ml risulta piuttosto a portata di mano, con un'API semplificata per concatenar

10calore

1risposta

Creare il vettore di funzionalità a livello di programmazione in Spark ML/pyspark

Mi chiedo se esiste un modo conciso per eseguire ML (ad esempio KMean) su un DataFrame in pyspark se ho le funzionalità in più colonne numeriche. I.e. come nel Iris dati.Infatti (a1=5.1, a2=3.5, a3=1.

8calore

2risposta

Apache Spark lancia NullPointerException quando si incontra la funzione mancante

Ho un bizzarro problema con PySpark durante l'indicizzazione della colonna di stringhe nelle funzionalità. Ecco il mio file tmp.csv: x0,x1,x2,x3 asd2s,1e1e,1.1,0 asd2s,1e1e,0.1,0 ,1e3e,1.2,0 bd34t

9calore

1risposta

Conserva l'indicizzatore di stringhe di indici stringa di corrispondenza

Spark's StringIndexer è piuttosto utile, ma è normale che sia necessario recuperare le corrispondenze tra i valori dell'indice generato e le stringhe originali e sembra che ci debba essere un modo inc

17calore

2risposta

Come convalidare il modello RandomForest?

Voglio valutare una foresta casuale che viene addestrata su alcuni dati. C'è qualche utilità in Apache Spark per fare lo stesso o devo eseguire la convalida incrociata manualmente?

5calore

1risposta

righe Raggruppamento/Concatenazione dataframe in Spark

ho un dataframe che assomiglia a questo: scala> data.show +-----+---+---------+ |label| id| features| +-----+---+---------+ | 1.0| 1|[1.0,2.0]| | 0.0| 2|[5.0,6.0]| | 1.0| 1|[3.0,4.0]| | 0.0| 2|

11calore

1risposta

Creare un trasformatore personalizzato in PySpark ML

Sono nuovo su Spark SQL DataFrame e ML su di essi (PySpark). Come posso creare un tokenizzatore costume, che ad esempio rimuove le parole di arresto e utilizza alcune librerie da nltk? Posso estendere

14calore

4risposta

Eliminazione di una colonna nidificata Spark dataframe