più utenti per cesoia cinesica

Question

Ho letto che è possibile avere più app consumer per flusso kinesis.

http://docs.aws.amazon.com/kinesis/latest/dev/developing-consumers-with-kcl.html

però, ho sentito che si può avere solo sul consumatore per shard. È vero? Non trovo documentazione per supportare questo e non riesco a immaginare come potrebbe accadere se più utenti leggono dallo stesso stream. Certamente, non significa che il produttore debba ripetere il contenuto in diversi frammenti per diversi consumatori.

Answer 1

Kinesis Client Library avvia i thread in background, ciascuno ascolta 1 frammento nello stream. Non è possibile connettersi a un frammento su più thread, ovvero by-design.

http://docs.aws.amazon.com/kinesis/latest/dev/kinesis-record-processor-scaling.html

Ad esempio, se l'applicazione è in esecuzione su un'istanza EC2, e sta elaborando un flusso Amazon Kinesis che ha quattro frammenti. Questa istanza di ha un operatore KCL e quattro processori di registrazione (un processore record per ogni frammento). Questi quattro processori di registrazione funzionano nello stesso parallelo.

Nella spiegazione sopra, il termine "lavoratore KCL" si riferisce a un'applicazione consumer Kinesis. Non i fili.

Tuttavia, lo stesso termine "KCL worker" si riferisce a un thread "Worker" nell'applicazione; che è una corsa.

In genere, quando si utilizza il KCL, è necessario assicurarsi che il numero di istanze non superi il numero di frammenti (tranne che per guasto fini di standby). Ogni frammento è elaborato esattamente da un operatore KCL e ha esattamente un processore di record corrispondente, quindi non è necessario più istanze per elaborare uno shard .

Vedere la classe Worker.java nella sorgente KCL.

Answer 2

In ritardo alla festa, ma la risposta è che si può può avere più consumatori per shard cinesis. Un'istanza KCL sarà avvia solo un processo per frammento, ma è possibile avere un'altra istanza KCL che utilizza lo stesso flusso (e frammento), assumendo che il secondo abbia il permesso.

Non ci sono limiti, anche se, come stabilito nella the docs, tra cui:

Ogni frammento può supportare fino a 5 transazioni al secondo per legge, fino a un dato massimi totali LEGGI velocità di 2 MB al secondo .

Se si desidera uno streaming con più utenti in cui ogni messaggio verrà elaborato una volta, è preferibile utilizzare qualcosa come Amazon Simple Queue Service.