bigdata

13calore

6risposta

Errore di timeout dell'operazione nella console cqlsh di cassandra

Ho un cluster di tre nodi Cassandra e ho creato una tabella con oltre 2.000.000 di righe. Quando eseguo questo (select count(*) from userdetails) query in cqlsh, ho ottenuto questo errore: OperationTi

10calore

3risposta

Il modo più veloce per confrontare riga e riga precedente in dataframe panda con milioni di righe

Sto cercando soluzioni per accelerare una funzione che ho scritto per scorrere un dataframe panda e confrontare i valori delle colonne tra la riga corrente e la riga precedente . Ad esempio, questa è

8calore

1risposta

In spark join, l'ordine del tavolo è come nel maiale?

Relativi a Spark - Joining 2 PairRDD elements Quando si effettua un regolare join nel maiale, l'ultima tabella nel join non viene portato in memoria, ma in streaming attraverso, invece, quindi se A ha

11calore

3risposta

Come determinare la dimensione delle mie tabelle HBase ?. C'è qualche comando per farlo?

Ho più tabelle sulla mia shell Hbase che vorrei copiare sul mio file system. Alcuni tavoli superano i 100 GB. Tuttavia, ho solo 55 GB di spazio libero nel mio file system locale. Pertanto, vorrei cono

9calore

1risposta

Apache Drill vs Spark

Ho un po 'di expirience con Apache Spark e Spark-SQL. Recentemente ho trovato il progetto Apache Drill. Potresti descrivermi quali sono i vantaggi/differenze più significativi tra loro? Ho già letto F

6calore

1risposta

Per impostazione predefinita, Tachyon è implementato dagli RDD in Apache Spark?

Sto cercando di capire la funzione di memoria di Spark. In questo processo mi sono imbattuto in Tachyon che è fondamentalmente nel livello dei dati di memoria che fornisce tolleranza agli errori senza

6calore

1risposta

Come si invia un contenitore Spark a un cluster EMR?

Ho usato la console AWS online per avviare il mio cluster insieme ad Apache Spark. Ho un barattolo di grasso basato sulla mia app Spark e l'ho caricato su un S3 Bucket. Quando provo a inviarlo come St

10calore

2risposta

Come viene gestita la memoria durante la sovrascrittura degli oggetti R?

Sto gestendo alcuni set di dati di grandi dimensioni e sto facendo tutto il possibile per rispettare i limiti di memoria di R. Una domanda riguarda la sovrascrittura di oggetti R. Ho un grande data.ta

8calore

2risposta

Spostamento del bucket di Google Cloud Storage su un altro progetto

Qual è il modo migliore per spostare un bucket di Google Cloud Storage esistente in un altro progetto? Non voglio copiarlo all'esterno di Google Cloud Storage per il trasferimento, avere due copie dei

7calore

1risposta

Apache Spark ALS raccomandazioni approccio

Cercando di costruire sistema di raccomandazione utilizzando ALS di Spark MLLib. Attualmente, stiamo provando a pre-creare consigli per tutti gli utenti su base giornaliera. Stiamo usando semplici fee