bigdata

6calore

1risposta

In che modo Apache Flink implementa le iterazioni?

DAG (grafico aciclico diretto) esecuzione di big data è comune. Mi chiedo come Apache Flink implementa le iterazioni. Perché può essere un grafico ciclico.

5calore

2risposta

modifica query hive per forzare più di 1 riduttore

WRT un cluster a 3 nodi composto da istanze c3.2xlarge. Ho due tabelle. La tabella U ha circa 65 milioni di record e contiene tra gli altri campi di latitudine e longitudine. La tabella L ha circa 1 m

8calore

1risposta

Esiste la dimensione massima del tipo di dati stringa in Hive?

Google a tonnellata ma non l'ho trovato da nessuna parte. Oppure vuol dire che Hive può supportare un tipo di dati stringa arbitrario di grandi dimensioni finché è consentito il cluster? In tal caso,

6calore

2risposta

Limite dimensione vettore R: "i vettori lunghi (argomento 5) non sono supportati in .C"

Ho una matrice molto grande che sto cercando di eseguire su glmnet su un server con molta memoria. Funziona bene anche su molto grandi insiemi di dati fino a un certo punto, dopo che ottengo il seguen

13calore

1risposta

Flink Streaming: come generare un flusso di dati su diverse uscite a seconda dei dati?

In Apache Flink ho un flusso di tuple. Supponiamo che sia davvero semplice Tuple1<String>. La tupla può avere un valore arbitrario nel suo campo valore (ad esempio "P1", "P2", ecc.). L'insieme di valo

5calore

2risposta

Timeout di Azure 4 min nell'app Web

Il mio progetto è un progetto ASP.NET MVC 4. Mentre in localhost funziona bene quando lo ospita in Azure Ricevo un timeout in chiamate Ajax che richiedono più di 4 minuti. Sono sicuro che il problema

5calore

3risposta

Come estrarre righe univoche nel file> 10 GB con 4 GB di RAM

Ho un PC con 4 GB di RAM e un file con 10 GB di memoria. Ora voglio verificare, se ogni riga del file è unica così ho scritto il seguente codice: import java.io.BufferedReader; import java.io.File;

10calore

2risposta

Test di integrazione Big Data best practice

Sto cercando alcune risorse su quali sono le migliori pratiche per una pipeline di acquisizione dati basata su AWS che utilizza Kafka, storm, spark (streaming e batch) che legge e scrive su Hbase util

12calore

3risposta

PySpark DataFrames - modo per enumerare senza convertire in Panda?

Ho un grandissimo pyspark.sql.dataframe.DataFrame denominato df. Ho bisogno di un modo per enumerare i record, quindi, essere in grado di accedere al record con un certo indice. (O gruppo selezionato

7calore

2risposta

Come archiviare e interrogare in modo efficiente un miliardo di righe di dati del sensore

Situazione: Ho iniziato un nuovo lavoro e mi è stato assegnato il compito di capire cosa fare con la tabella dei dati del sensore. Ha 1,3 miliardi di file di dati del sensore. I dati sono piuttosto se