avro

7calore

1risposta

Unisci due schemi avro in modo programmatico

Ho due schemi simili in cui cambia solo un campo nidificato (è chiamato onefield nello schema1 e anotherfield nello schema2). schema1 { "type": "record", "name": "event", "namespace": "

java avro 2016-04-10

---

12calore

1risposta

Evoluzione dello schema in formato parquet

Attualmente stiamo utilizzando il formato dati Avro in produzione. Fuori da N punti positivi di Avro, sappiamo che è buono nell'evoluzione dello schema. Ora stiamo valutando Formato parquet a causa de

hadoop apache-spark avro parquet dataformat 2016-06-05

---

7calore

1risposta

La decodifica Avro fornisce java.io.EOFException

Uso lo schema avro Apache con Kafka 0.0.8V. I Usa lo stesso schema ai fini del produttore/consumatore. C'è NESSUNA modifica nello schema. Ma ottengo qualche eccezione al consumatore, quando cerco di c

apache-kafka avro kafka-consumer-api 2016-04-18

---

6calore

3risposta

schema Avro non onora compatibilità all'indietro

ho questo schema avro { "namespace": "xx.xxxx.xxxxx.xxxxx", "type": "record", "name": "MyPayLoad", "fields": [ {"name": "filed1", "type": "string"}, {"name": "filed2", "type": "long"},

java serialization avro 2016-01-12

---

5calore

1risposta

Problemi con la serializzazione Avro di documenti json campi mancanti

Sto tentando di utilizzare Apache Avro per applicare uno schema sui dati esportati da Elastic Search in molti documenti Avro in HDFS (da interrogare con Drill). Sto avendo qualche problema con le impo

hadoop serialization schema avro 2016-03-03

---

5calore

1risposta

file Concat Avro utilizzando Avro-tools

nel tentativo di unire file Avro in un unico file, il problema è concat comando non accetta il carattere jolly hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avro ottengo: Exception i

hadoop hdfs avro avro-tools 2016-01-18

---

7calore

1risposta

Problemi di Kafka Avro Consumer with Decoder

Quando ho tentato di eseguire Kafka Consumer with Avro sui dati con il mio schema rispettivo, restituisce un errore di "AvroRuntimeException: dati non validi. La lunghezza è negativa: -40". Vedo che a

java apache-kafka avro kafka-consumer-api apache-nifi 2016-03-15

---

7calore

1risposta

File di testo Avro generato da Flume L'agente Twitter non viene letto in Java

Non è possibile leggere e analizzare il file creato dallo streaming dei dati di Twitter tramite l'agente Flume di Twitter, né utilizzando Java né Avro Tools. Il mio requisito è quello di convertire il

java flume avro flume-ng flume-twitter 2015-12-10

---

5calore

1risposta

Metriche delle prestazioni per Avro vs Protobuf

Utilizziamo kafka per archiviare messaggi e per inviare un numero estremamente elevato di messaggi (> 30k in un minuto). Non sono sicuro che sia pertinente, ma il codice che è il produttore del messag

performance serialization apache-kafka protocol-buffers avro 2016-07-03

---

9calore

1risposta

Spark SQL: Convertire RDD [GenericData.Record] per dataframe

Forse questa domanda può sembrare un po 'astratto, qui è: val originalAvroSchema : Schema = // read from a file val rdd : RDD[GenericData.Record] = // From some streaming source // Looking for a ha

scala apache-spark avro spark-dataframe 2016-03-29

---