bigdata

5calore

2risposta

facendo PCA su un set di dati molto grande in R

Ho un set di allenamento molto grande (~ 2 Gb) in un file CSV. Il file è troppo grande per leggere direttamente nella memoria (read.csv() interrompe il computer) e vorrei ridurre la dimensione del fil

5calore

1risposta

Il modo migliore per preparare domande di progettazione e architettura relative ai big data

Recentemente, ho partecipato a un'intervista in loco per un'azienda e mi sono state rivolte domande progettuali relative a big data come ad esempio: ottenere l'elenco degli utenti a cui è stato effett

5calore

1risposta

Hadoop - Hive: Elimina i dati più vecchi del no specificato dei giorni

Sto lavorando a un progetto di telecomunicazione, che utilizza Hadoop - hive per l'analisi dei dati. Per un giorno, otterremo milioni di record. Dopo aver specificato no di giorni, dobbiamo eliminare

5calore

3risposta

NumPy: tipi a 3 byte, a 6 byte (aka uint24, uint48)

NumPy sembra privo di supporto integrato per i tipi a 3 e 6 byte, ovvero uint24 e uint48. Ho un grande set di dati usando questi tipi e voglio dargli da mangiare in numpy. Quello che attualmente facci

7calore

1risposta

Akka per simulazioni

Sono nuovo di Akka e il modello dell'attore, quindi non sono sicuro se si adatta alle mie esigenze. Voglio creare una simulazione con akka e milioni di entità (pensare come oggetti di dominio - attori

36calore

1risposta

Come posso sapere quando il set di dati in R sta per essere troppo grande?

Sto per eseguire alcune analisi dei file di log in R (a meno che non riesca a farlo in R) e capisco che i miei dati devono essere inseriti nella RAM (a meno che non utilizzi qualche tipo di correzione

17calore

5risposta

Come restituire una grande quantità di righe da mongodb usando il server http node.js?

Ho un database utente in mongodb che vorrei esportare tramite un'interfaccia REST in JSON. Il problema è che, nel peggiore dei casi, la quantità di righe restituite è di oltre 2 milioni. Prima ho prov

5calore

2risposta

100 TB di dati su Mongo DB? Possibile?

Che tipo di architettura è necessaria per memorizzare 100 TB di dati e interrogarli con l'aggregazione? Quanti nodi? Dimensione del disco per nodo? Quale può essere la migliore pratica? Ogni giorno ve

5calore

1risposta

utilizzando RavenDB per inserimenti Bulk di dati

Sto cercando di importare grandi quantità di dati (flusso Twitter a circa 20-25 tweet al secondo) in RavenDB per test e test di dati su larga scala. Ho qualche codice che sta scrivendo i dati abbastan

19calore

2risposta

Haskell: Posso eseguire più piegamenti sullo stesso elenco pigro senza tenere un elenco in memoria?

Il mio contesto è bioinformatico, in particolare il sequenziamento della prossima generazione, ma il problema è generico; quindi userò un file di log come esempio. Il file è molto grande (Gigabyte di