bigdata

20calore

3risposta

Sono un nuovo studente che studia Kafka e mi sono imbattuto in alcuni problemi fondamentali con la comprensione di più consumatori che articoli, documentazioni, ecc. Non sono stati troppo utili finora

6calore

1risposta

Come installare Apache Zeppelin sul cluster autonomo Apache Spark

Ho un cluster autonomo Apache Spark (versione 1.3) su AWS e vorrei installare Apache Zeppelin. Ho una domanda molto semplice, devo installare Zeppelin sul master di Spark? Se la risposta è sì, potrei

6calore

4risposta

Come trasformare una variabile categoriale in Spark in un insieme di colonne codificate come {0,1}?

Sto tentando di eseguire una regressione logistica (LogisticRegressionWithLBFGS) con Spark MLlib (con Scala) su un set di dati che contiene variabili categoriali. Scopro che Spark non è stato in grado

10calore

2risposta

SolrException Plugin init fallimento per [schema.xml] fieldType "pint": Errore di caricamento delle classi 'solr.IntField'

sto ottenendo questo errore collection1: org.apache.solr.common.SolrException: org.apache.solr.common.SolrException: Impossibile caricare conf per core collection1: Errore di init init per [schema.xml

5calore

2risposta

Come posso eseguire il debug di uno script su un maiale

Se durante l'esecuzione di un gruppo semplice tramite script in maiale per grandi terabyte di dati, lo script rimane bloccato al 70%, quindi cosa è possibile fare per diagnosticare il problema?

5calore

2risposta

multiprocessing di python, big data turn process in sleep

Sto usando python 2.7.10. Ho letto molti file, li ho archiviati in una grande lista, poi ho provato a chiamare multiprocessing e passare la lista grande a quei multiprocessi in modo che ogni processo

6calore

2risposta

Implementazione di Spark RDD personalizzato in Java

Ho un'origine dati personalizzata e voglio caricare i dati nel mio cluster Spark per eseguire alcuni calcoli. Per questo vedo che potrei aver bisogno di implementare un nuovo RDD per la mia fonte di d

7calore

1risposta

PCA incrementale su big data

Ho appena provato ad utilizzare l'IncrementalPCA da sklearn.decomposition, ma ha gettato un MemoryError proprio come il PCA e il RandomizedPCA in precedenza. Il mio problema è che la matrice che sto c

5calore

1risposta

montaggio di un modello lineare misto su un set di dati molto grande

Voglio eseguire un modello misto (utilizzando lme4::lmer) su 60M osservazioni del seguente formato; tutte le variabili predittore/dipendenti sono categoriali (fattori) a parte la variabile dipendente

5calore

1risposta

Qual è la differenza tra broadcast_address e broadcast_rpc_address in cassandra.yaml?

GOAL: Sto cercando di capire il modo migliore per configurare il mio cluster Cassandra in modo che diversi driver diversi in diversi scenari di rete possano comunicare correttamente con esso. problema