bigdata

12calore

1risposta

I server di configurazione di Mongo hanno diversi privilegi dell'utente in ognuno di essi?

Ho scoperto di recente che l'insieme dei privilegi che gli utenti hanno non sono gli stessi in tutti e 3 i server di configurazione. Alcuni utenti non esistono nemmeno in uno dei server di configurazi

8calore

1risposta

Invia KafkaProducer dalla macchina locale alla sandbox di hortonworks su virtualbox

Ho un produttore molto semplice che sto eseguendo eclipse sulla mia macchina locale Windows ... Quello che voglio veramente è far passare un messaggio a kafka, quindi sarò in grado di visualizzare il

5calore

1risposta

Posso eseguire un database di serie temporali (TSDB) su Apache Spark?

Sto iniziando a conoscere i big data e Apache Spark e ho un dubbio. In futuro avrò bisogno di raccogliere dati dall'IoT e questi dati verranno da me come time series data. Stavo leggendo su database d

9calore

1risposta

Alternative API di ricerca Freebase di Google?

Google deprecato loro Freebase Search API, e sta trasferendo le cose a Wikidata, tuttavia non sembra esserci alcuna sostituzione per il loro Freebase Search API (https://developers.google.com/freebase

5calore

2risposta

Come configare il punto di controllo per ridistribuire l'applicazione spark streaming?

Uso lo streaming di Spark per contare utenti unici. Io uso updateStateByKey, quindi ho bisogno di configurare una directory di checkpoint. Ho anche caricare i dati da posto di blocco mentre si avvia l

21calore

2risposta

Spark potrebbe sparpagliare lo stesso RDD quando si rende conto che non verrà più utilizzato?

Possiamo mantenere un RDD in memoria e/o disco quando vogliamo usarlo più di una volta. Tuttavia, dobbiamo disattivarlo da noi stessi in seguito, oppure Spark fa una sorta di garbage collection e smas

5calore

6risposta

Estendi la maschera numpy da n celle a destra per ogni valore errato, in modo efficiente

Diciamo che ho un array di lunghezza 30 con 4 valori non validi. Voglio creare una maschera per quei valori sbagliati, ma poiché userò le funzioni della finestra mobile, mi piacerebbe anche un numero

7calore

1risposta

Errore query Dynamodb - Condizione chiave chiave non supportata

Sto cercando di interrogare la mia tabella dynamodb per ottenere feed_guid e status_id = 1. Ma restituisce l'errore di condizione della chiave Query non supportato. Si prega di trovare il mio schema d

5calore

5risposta

Come si copia i dati da un HDFS a un altro HDFS?

Ho due impostazioni HDFS e voglio copiare (non migrare o spostare) alcune tabelle da HDFS1 a HDFS2. Come posso copiare i dati da un HDFS a un altro HDFS? È possibile tramite Sqoop o un'altra riga di c

6calore

1risposta

Pyspark: shuffle RDD

Sto provando a randomizzare l'ordine degli elementi in un RDD. Il mio attuale approccio è quello di comprimere gli elementi con un RDD di interi shuffled, per poi unirmi a quegli interi. Tuttavia, pys