pyspark

6calore

1risposta

Funzioni dai pacchetti Python per udf() di Spark dataframe

Per dataframe Spark tramite pyspark, è possibile utilizzare pyspark.sql.functions.udf per creare un user defined function (UDF). Mi chiedo se posso utilizzare qualsiasi funzione dai pacchetti Python i

8calore

4risposta

PySpark & MLLib: Probabilità di classe di previsioni di foresta casuale

Sto tentando di estrarre le probabilità di classe di un oggetto foresta casuale che ho formato utilizzando PySpark. Tuttavia, non vedo un esempio in alcun punto della documentazione, né è un metodo di

38calore

2risposta

Come convertire un DataFrame in normale RDD in pyspark?

Ho bisogno di utilizzare il metodo (rdd.)partitionBy(npartitions, custom_partitioner) che non è disponibile sul dataframe. Tutti i metodi DataFrame si riferiscono solo ai risultati DataFrame. Allora

6calore

1risposta

Mostra partizioni su un pyspark RDD

Il pyspark RDD documentazione http://spark.apache.org/docs/1.2.1/api/python/pyspark.html#pyspark.RDD non mostra alcun metodo (s) per visualizzare le informazioni di partizione per un RDD. C'è un modo

11calore

4risposta

Qual è il modo giusto per salvare \ caricare i modelli in Spark \ PySpark

Sto lavorando con Spark 1.3.0 usando PySpark e MLlib e ho bisogno di salvare e caricare i miei modelli. Io uso il codice come questo (preso dal sito ufficiale documentation) from pyspark.mllib.recomme

7calore

2risposta

Come raggruppare con più chiavi in scintilla?

Ho un gruppo di tuple che sono in forma di chiavi e valori compositi. Ad esempio, tfile.collect() = [(('id1','pd1','t1'),5.0), (('id2','pd2','t2'),6.0), (('id1','pd1','t2'),7.5), (('id1

5calore

3risposta

No module named NumPy quando scintilla della presentazione

Sono scintilla presentazione di un file python che le importazioni NumPy ma sto ottenendo un errore di no module named numpy. $ spark-submit --py-files projects/other_requirements.egg projects/jobs/my

9calore

4risposta

Creazione di un dataframe Spark da un RDD di liste

ho un RDD (possiamo chiamarla myrdd) in cui ogni record nel RDD è nella forma: [('column 1',value), ('column 2',value), ('column 3',value), ... , ('column 100',value)] vorrei convertire questo in un

16calore

5risposta

riceve il numero di nodi visibili in PySpark

Sto eseguendo alcune operazioni in PySpark e recentemente ho aumentato il numero di nodi nella mia configurazione (che è su Amazon EMR). Tuttavia, anche se ho triplicato il numero di nodi (da 4 a 12),

5calore

1risposta

Come ottenere URI WebUI da SparkContext

Sto eseguendo pySpark in un notebook IPython. Ogni notebook ha il proprio sparkContext e ognuno ha una webUI associata sulla propria porta, a partire dal 4040. Vorrei estrarre e stampare la porta o l'