bigdata

5calore

1risposta

Come elaborare i file S3 incrementali in Spark

Ho effettuato la seguente pipeline: Task manager -> SQS -> worker raschietto (la mia app) -> AWS Firehose -> S3 file -> Spark -> (?) Redshift. Alcune cose che sto cercando di risolvere/migliorare e sa

5calore

3risposta

Salvataggio di query hive

Ho bisogno di sapere come possiamo memorizzare una query che ho scritto in una riga di comando proprio come facciamo in sql (usiamo ctrl + S in sql server). Ho ascoltato query QL con l'uso di estensio

8calore

1risposta

Panda di Python: convertire 2.000.000 di righe DataFrame in Matrix binario (pd.get_dummies()) senza errori di memoria?

Sto elaborando un grande file di record con le righe 2,000,000. Ogni riga contiene funzionalità relative alle e-mail e un'etichetta binaria [0,1] rispettivamente per non-spam o spam. Voglio convertire

6calore

2risposta

Quale struttura dati per memorizzare stringhe binarie e interrogare con hamming distane

Sto cercando una struttura dati per gestire miliardi di stringhe binarie che contiene 512 valori binari. Il mio obiettivo è inviare i querys alla struttura e ottenere un set di risultati che contenga

9calore

2risposta

Come Apache Apex è diverso da Apache Storm?

Apache Apex è simile a Apache Storm. Gli utenti creano applicazione/topologia come Grafico Aciclico Diretto (DAG) su entrambe le piattaforme. Apex utilizza operatori/flussi e Storm utilizza beccucci/f

5calore

1risposta

come eseguire lo streaming dei dati da una tabella cassandra?

Desidero trasmettere i dati da una tabella cassandra che viene aggiornata in tempo reale. Sì, è un database ma esiste un modo per farlo? In tal caso, mantenendo un offset o quali query CQL posso usare

13calore

1risposta

programma Spark dà risultati strani quando correva sul gruppo autonomo

ho questo programma di accensione e cercherò di limitarla ad una delle parti pertinenti # Split by delimiter , # If the file is in unicode, we need to convert each value to a float in order to be abl

7calore

1risposta

Funzionamento dei checkpoint del ricevitore di scintilla Kinesis

Stiamo utilizzando Spark Streaming connesso allo stream di AWS Kinesis per aggregare (al minuto) le metriche che stiamo ricevendo e scrivere le aggregazioni su influxdb per renderle disponibili per un

6calore

3risposta

Python. Pandas. BigData. File TSV disordinato. Come sballare i dati?

Così. Abbiamo un disordinato dati memorizzati in un file TSV che ho bisogno di analizzare. Questo è come appare status=200 protocol=http region_name=Podolsk datetime=2016-03-10 15:51:58 user_ip=0.120.

5calore

2risposta

Grandi set di dati web in Python: come gestire array molto grandi?

Attualmente stiamo utilizzando Cassandra (http://cassandra.apache.org/) per i dati della serie storica. Cassandra è molto veloce sulle letture, ma dobbiamo eseguire una serie di calcoli sui nostri dat