apache-spark-mllib

17calore

2risposta

Come convalidare il modello RandomForest?

Voglio valutare una foresta casuale che viene addestrata su alcuni dati. C'è qualche utilità in Apache Spark per fare lo stesso o devo eseguire la convalida incrociata manualmente?

5calore

1risposta

Come migliorare il risultato della mia raccomandazione? Sto usando la scintilla ALS implicita

In primo luogo, ho un po 'di storia d'uso dell'app utente. Ad esempio: user1, app1, 3 (i tempi di lancio) utente2, app2, 2 (i tempi di lancio) user3, App1 1 (tempi di lancio) ho praticamente due richi

7calore

1risposta

Come utilizzare l'importanza della funzione di Spark sulla foresta casuale?

documentation per Random Forests non include le importazioni di funzionalità. Tuttavia, è elencato su Jira come risolto ed è nello source code. HERE dice anche "Le principali differenze tra questa API

5calore

2risposta

eccezione NumPy quando si utilizza MLlib anche se Numpy è installato

Ecco il codice che sto cercando di eseguire: from pyspark.mllib.recommendation import ALS iterations=5 lambdaALS=0.1 seed=5L rank=8 model=ALS.train(trainingRDD,rank,iterations, lambda_=lambdaALS,

11calore

3risposta

Spark Word2vec matematica vettoriale

stavo guardando la example del sito Spark per Word2Vec: val input = sc.textFile("text8").map(line => line.split(" ").toSeq) val word2vec = new Word2Vec() val model = word2vec.fit(input) val syno

11calore

3risposta

Qual è la differenza tra HashingTF e CountVectorizer in Spark?

Cercando di fare la classificazione del doc in Spark. Non sono sicuro di cosa faccia l'hashing in HashingTF; sacrifica ogni precisione? Ne dubito, ma non lo so. La scintilla doc dice che usa il "trucc

13calore

1risposta

Spark MLlib LDA, come dedurre la distribuzione degli argomenti di un nuovo documento invisibile?

Sono interessato ad applicare la modellazione dell'argomento LDA usando Spark MLlib. Ho controllato il codice e le spiegazioni in here ma non sono riuscito a trovare come utilizzare il modello per tro

5calore

1risposta

Spark, dataframe: applicare trasformatore/stimatore sui gruppi

Ho un dataframe che assomiglia segue: +-----------+-----+------------+ | userID|group| features| +-----------+-----+------------+ |12462563356| 1| [5.0,43.0]| |12462563701| 2| [1.0,8.0]| |124625

6calore

1risposta

Creazione di un RDD per raccogliere i risultati di un calcolo iterativo

Vorrei creare un RDD per raccogliere i risultati di un calcolo iterativo. Come posso utilizzare un ciclo (o alternativo) per sostituire il codice seguente: import org.apache.spark.mllib.random.RandomR

8calore

2risposta

SPARK, ML, Tuning, CrossValidator: accedere alle metriche

Al fine di costruire un classificatore multiclasse NaiveBayes, sto usando un CrossValidator per selezionare i migliori parametri della mia condotta: val cv = new CrossValidator() .setEstimator(p