avro

6calore

1risposta

Come definire lo schema avro per il documento JSON complesso?

Ho un documento JSON che vorrei convertire in Avro e ho bisogno di uno schema per essere specificato a tale scopo. Ecco il documento JSON per la quale vorrei definire lo schema avro: { "uid": 2915333

9calore

1risposta

Confluent Piattaforma: Soggetti schema Registro

Lavorare con Confluent Platform, la piattaforma offerta dai creatori di Apache Kafka, e ho una domanda: Nella documentazione del Schema Registry API Reference, accennano l'astrazione di un "Oggetto" .

7calore

3risposta

Oggetto JSON da stringa a Java Avro

Sto provando a convertire una stringa Json in un oggetto Java generico, con uno schema Avro. Di seguito è riportato il mio codice. String json = "{\"foo\": 30.1, \"bar\": 60.2}"; String schemaLines =

10calore

2risposta

La codifica binaria di AVRO comprime i dati?

In uno dei nostri progetti utilizziamo Kafka con AVRO per trasferire i dati tra le applicazioni. I dati vengono aggiunti a un oggetto AVRO e l'oggetto è codificato in binario per scrivere su Kafka. Us

5calore

2risposta

Interfaccia trovata org.apache.hadoop.mapreduce.TaskAttemptContext

Non ho ancora visto una soluzione al mio particolare problema. Non funziona almeno. Mi sta facendo diventare pazzo. Questa particolare combo non sembra avere molto nello spazio di google. Il mio error

8calore

1risposta

Come codificare avro in binario la mia stringa json in un array di byte?

Ho una stringa JSON effettiva che ho bisogno di codificare in binario avro su un array di byte. Dopo aver esaminato lo Apache Avro specification, ho trovato il codice seguente. Non sono sicuro se ques

13calore

2risposta

Come leggere e scrivere la mappa <String, Object> da/al file parquet in Java o Scala?

Cerchi un esempio conciso su come leggere e scrivere Map<String, Object> da/su file parquet in Java o Scala? Qui è prevista la struttura, utilizzando com.fasterxml.jackson.databind.ObjectMapper come s

6calore

3risposta

Conversione JSON in avro

Sto convertendo Json in avro. Ho dati json in JSONArray. Quindi mentre lo convertiamo in array di byte, sto affrontando il problema. sotto è il mio codice: static byte [] fromJsonToAvro(JSONArray json

7calore

2risposta

Come leggere il file Avro in PySpark

Sto scrivendo un lavoro spark usando python. Tuttavia, ho bisogno di leggere un sacco di file avro. This è la soluzione più vicina che ho trovato nella cartella di esempio di Spark. Tuttavia, devi inv

6calore

2risposta

Come generare file avro senza schema utilizzando avro apache?

Sto usando Apache avro per la serializzazione dei dati. Poiché i dati hanno uno schema fisso, non voglio che lo schema faccia parte dei dati serializzati. Nell'esempio seguente, lo schema è una parte