amazon-kinesis

5calore

2risposta

Leggere e scrivere transazioni in Amazon Kinesis

Sono nuovo di Kinesis, quindi questa potrebbe sembrare una domanda molto semplice, ma non sono stato in grado di trovare una risposta chiara a quale sia la differenza effettiva tra una transazione di

5calore

2risposta

Come verificare che il client Python Amazon Kinesis funzioni

Sto provando a creare un utente Python Amazon Kinesis utilizzando la libreria KCL per Python (https://github.com/awslabs/amazon-kinesis-client-python). Ho iniziato controllando il codice di esempio. S

7calore

1risposta

Auto wire kinesis stream to kinesis firehose?

Sto pubblicando i dati su un flusso kinesis che viene elaborato da alcuni consumatori. Mi piacerebbe che i dati grezzi pubblicati nello stream fossero anche archiviati in s3. È possibile collegare aut

11calore

2risposta

Come decidere il numero totale di chiavi di partizione nello stream kinesis di AWS?

In un'applicazione web consumer-consumer, quale dovrebbe essere il processo di pensiero per creare una chiave di partizione per un frammento di stream di kinesis. Supponiamo, ho un flusso kinesis con

14calore

2risposta

Amazon AWS Kinesis & Lambda Tentativi

Sono molto nuovo per Amazon Kinesis così forse questo è solo un problema nella mia comprensione, ma nel AWS Lambda FAQ si dice: L'Amazzonia Kinesis e DynamoDB Corsi d'acqua record inviati alla tua fun

7calore

2risposta

Amazon Kinesis + Test di integrazione

Attualmente sto lavorando a una serie di servizi Web che dobbiamo integrare con Kinesis - l'implementazione è stata eseguita, tuttavia abbiamo una serie di test di integrazione (i nostri servizi Web u

8calore

2risposta

più utenti per cesoia cinesica

Ho letto che è possibile avere più app consumer per flusso kinesis. http://docs.aws.amazon.com/kinesis/latest/dev/developing-consumers-with-kcl.html però, ho sentito che si può avere solo sul consumat

10calore

1risposta

Limiti Lambda AWS durante l'elaborazione di Kinesis Stream

Qualcuno può spiegare cosa succede agli eventi quando un Lambda è iscritto all'oggetto Kinesis crea eventi. Esiste un limite di 100 richieste simultanee per un account in AWS, quindi se 1.000.000 arti

12calore

1risposta

problemi di affidabilità con Checkpoint/WAL in Spark Streaming 1.6.0

Descrizione Abbiamo una scintilla Streaming 1.5.2 applicazione a Scala che legge gli eventi JSON da un Kinesis Stream, fa alcune trasformazioni/aggregazioni e scrive i risultati diversi prefissi S3. L

7calore

1risposta

Funzionamento dei checkpoint del ricevitore di scintilla Kinesis

Stiamo utilizzando Spark Streaming connesso allo stream di AWS Kinesis per aggregare (al minuto) le metriche che stiamo ricevendo e scrivere le aggregazioni su influxdb per renderle disponibili per un