Come copiare i dati in blocco da Kinesis -> Redshift

Question

Quando ho letto sulla pipeline di dati AWS l'idea ha colpito immediatamente - produrre statistiche per kinesis e creare un lavoro in pipeline che consumerà dati da kinesis e COPY a redshift ogni ora. Tutto in una volta.

Ma sembra che non ci siano nodi nella pipeline che possono consumare kinesis. Quindi ora ho due possibili piani di azione:

1. Creare un'istanza in cui i dati di Kinesis verranno consumati e inviati a S3 suddiviso per ore. La pipeline copierà da lì a Redshift.
2. Consumo da Kinesis e produzione di COPY direttamente su Redshift sul posto.

Cosa devo fare? Non c'è modo di connettere Kinesis a redshift usando solo i servizi AWS, senza codice personalizzato?

Answer 1

Ora è possibile farlo senza codice utente tramite un nuovo servizio gestito denominato Kinesis Firehose. Gestisce gli intervalli di buffer desiderati, i caricamenti temporanei su s3, il caricamento su Redshift, la gestione degli errori e la gestione automatica del throughput.

Answer 2

Questo è già stato fatto per te! Se si utilizza il connettore Biblioteca Kinesis, è presente un connettore integrato per spostamento verso il rosso

https://github.com/awslabs/amazon-kinesis-connectors

A seconda della logica è necessario elaborare il connettore può essere davvero facile da implementare.

Answer 3

È possibile creare e orchestrare la pipeline completa con InstantStack per leggere i dati da Kinesis, trasformarli e inserirli in qualsiasi Redshift o S3.