bigdata

5calore

7risposta

Utilizzo di Python per analizzare un CSV da 12 GB

Ho un file CSV da 12 GB. Spero di estrarre solo alcune colonne da questi dati e quindi scrivere un nuovo CSV che spero di poter caricare in R per l'analisi. Il problema è che viene visualizzato un err

13calore

4risposta

Qual è la differenza effettiva tra Data Warehouse e Big Data?

So cosa è il Data Warehouse & che cosa sono i Big Data. Ma sono confuso con Data Warehouse Vs Big Data. Entrambi sono uguali con nomi diversi o entrambi sono diversi (Concettualmente & Fisicamente). G

5calore

1risposta

Database di grafici che utilizzano la località

DAG = grafico aciclico diretto; radici = vertici senza bordi in entrata. Ho un DAG più grande della RAM disponibile, quindi ho bisogno di un database grafico basato su disco per lavorare con esso. Il

270calore

1risposta

Apache Spark vs. Apache Storm

Quali sono le differenze tra Apache Spark e Apache Storm? Quali sono i casi d'uso adatti per ognuno?

5calore

1risposta

Come posso leggere le righe selezionate da un file di grandi dimensioni utilizzando il comando R "readLines" e scriverle su un frame di dati?

Sono occupato nella pulizia dei dati. Ho una funzione che identifica le righe danneggiate in un file di input di grandi dimensioni (troppo grande per essere letto in una volta sola, data la dimensione

13calore

1risposta

È hadoop l'unico framework nello spazio Big data?

Attualmente sto imparando il hadoop, ma spesso mi chiedo se Hadoop sia l'unico framework software che supporta applicazioni distribuite. Voglio capire se esiste un altro framework diverso da Hadoop ne

6calore

2risposta

Moltiplicazione grande matrice numpy efficiente

Per memorizzare una matrice grande su disco uso numpy.memmap. Ecco un codice di esempio per testare grande moltiplicazione di matrici: import numpy as np import time rows= 10000 # it can be large f

5calore

3risposta

R: chiarimenti sulla gestione della memoria

Supponiamo di avere una matrice bigm. Ho bisogno di usare un sottoinsieme casuale di questa matrice e darlo ad un algoritmo di apprendimento automatico come ad esempio svm. Il sottoinsieme casuale del

18calore

1risposta

Chiavi di raggruppamento in Cassandra

Su un dato nodo fisico, le righe per una determinata chiave di partizione vengono memorizzate nell'ordine indotto dalle chiavi di clustering, rendendo particolarmente efficiente il recupero di righe i

5calore

1risposta

r - viterbi RHmm Errore protezione stack overflow

Stavo cercando un'implementazione HMM in R per analizzare gli stati in una stringa di caratteri e la libreria HMM sembra funzionare lentamente, quindi sto usando la libreria RHmm. miei dati è una stri