flume

7calore

3risposta

Configura sink elasticsearch apache-flume

Questa è la mia prima volta qui, quindi scusa se non postare bene, e mi dispiace per il mio pessimo inglese. Sto provando a configurare i sink Apache Flume e Elasticsearch. Tutto è ok, sembra che funz

5calore

1risposta

Flume HDFS affondare: Rimuovere timestamp dal nome del file

Ho configurato agente canale artificiale per la mia domanda, in cui origine è Spooldir e lavandino è HDFS sono in grado di raccogliere i file in HDFS. configurazione dell'agente è: agent.sources = src

5calore

4risposta

non riesco a caricare log4j2 mentre eseguo fatjar

sto lavorando su un progetto in cui utilizzo log4j2 logging. durante lo sviluppo in intellij, tutto funziona correttamente e la registrazione viene eseguita come previsto. log4j2.xml è collegato trami

5calore

1risposta

Utilizzo del file system locale come sorgente Flume

Ho appena iniziato a imparare i Big Data e, attualmente, sto lavorando a Flume. L'esempio comune che ho riscontrato è per l'elaborazione di tweet (l'esempio di Cloudera) usando un po 'di Java. Solo pe

5calore

1risposta

Spazio utilizzabile esaurito nel canale utilizzando il canale file

Sto lavorando su Flume con Directory di spool come sorgente, HDFS come sink e File come canale. Quando si esegue il lavoro flume. Sto ricevendo sotto il problema. Il canale di memoria funziona corrett

13calore

1risposta

come spostare in modo efficiente i dati da Kafka a un tavolo Impala?

Ecco i passi per il processo in corso: Flafka scrive registri in un 'zona di atterraggio' su HDFS. Un lavoro, pianificato da Oozie, copia i file completi dalla zona di atterraggio a un'area di gestion

7calore

1risposta

File di testo Avro generato da Flume L'agente Twitter non viene letto in Java

Non è possibile leggere e analizzare il file creato dallo streaming dei dati di Twitter tramite l'agente Flume di Twitter, né utilizzando Java né Avro Tools. Il mio requisito è quello di convertire il

5calore

1risposta

Impala - file non trovato errore

Sto usando impala con flume come filestream. Il problema è flume è l'aggiunta di file temporanei con estensione tmp, e poi quando vengono cancellati query impala non riescono con il seguente messaggio

8calore

3risposta

elaborazione del log in tempo reale utilizzando lo streaming spark di apache

Voglio creare un sistema in cui sia possibile leggere i registri in tempo reale e utilizzare la scintilla di apache per elaborarli. Sono confuso se dovrei usare qualcosa come kafka o flume per passare

6calore

3risposta

Come inserire JSON in HDFS utilizzando Flume correttamente

Sto usando il HTTPSource in Flume per ricevere POST eventi in formato json come segue: {"username":"xyz","password":"123"} La mia domanda è: Devo modificare la fonte di gli eventi (intendo quella ch