Ho effettuato la seguente pipeline: Task manager -> SQS -> worker raschietto (la mia app) -> AWS Firehose -> S3 file -> Spark -> (?) Redshift. Alcune cose che sto cercando di risolvere/migliorare e sa
Sto pubblicando i dati su un flusso kinesis che viene elaborato da alcuni consumatori. Mi piacerebbe che i dati grezzi pubblicati nello stream fossero anche archiviati in s3. È possibile collegare aut
Sto passando alcuni dati JSON per generare un flusso di consegna che alla fine viene salvato nella tabella di Redshift. Per il mio caso d'uso, voglio che i dati vengano archiviati in tabelle diverse.
Possiedo un flusso AWS Kinesis Firehose impostato per inviare i dati a un cluster AWS ElasticSearch e posso inserire correttamente i documenti inviandoli al flusso Firehose, che li carica in ElasticSe