Apache Flink vs Twitter Airone?

Ci sono molte domande che mettono a confronto Flink vs Spark Streaming, Flink vs Storm e Storm vs Heron.Apache Flink vs Twitter Airone?

L'origine di questa domanda deriva dal fatto che sia Apache Flink che Twitter Heron sono veri framework di elaborazione del flusso (non micro-batch, come Spark Streaming). Storm è stato dismesso da Twitter lo scorso anno e usano invece Heron (che è in sostanza rielaborato da Storm).

Ci sono belle presentazioni di Slim Baltagi su Flink e Flink vs Spark: https://www.youtube.com/watch?v=G77m6Ou_kFA

Nizza ricerca di Ilya Ganelin su vari quadri di streaming: pensieri https://www.youtube.com/watch?v=KkjhyBLupvs

piuttosto interessante su Flink contro la tempesta: What is/are the main difference(s) between Flink and Storm?

Ma non ho visto alcun confronto tra Storm/Heron vs Apache Flink.

Entrambi i progetti sono piuttosto giovani, entrambi supportano l'utilizzo di applicazioni Storm precedentemente scritte e molte altre cose. Flink è più adatto all'ecosistema Hadoop, Heron è più uno stack ecosistemico basato su Twitter.

Qualche idea?

fonte

2016-06-04 experimenter

Hai dato un'occhiata al servizio di Twitter su Heron? Descrive le principali differenze tra i due sistemi. Tenete presente però che Storm ha fatto grandi progressi da quando è stato pubblicato quel documento: https://dl.acm.org/citation.cfm?id=2742788 Se comprendete le differenze tra Storm e Heron e sapete qualcosa su Flink, vedete come si differenzia da Flink. –

Tutti i punti nel confronto referenced article Apache Flink e Apache Storm si applicano anche a Twitter Heron. Airone fornisce esattamente lo stesso tipo di semantica e funzionalità di Storm. L'airone è meglio conosciuto semplicemente come una reimplementazione di Storm che meglio si adatta ai requisiti operativi di Twitter.

fonte

2016-06-06 22:12:14

Grazie. E sì, è vero, ma Heron è ottimizzato, potrebbe supportare funzionalità come la modifica della topologia dinamica e il ridimensionamento, che potrebbe essere superiore a Flink, che non lo supporta ancora. Esattamente il fatto che Heron sia una tempesta reimplementata è interessante, perché aggiunge nuove funzionalità che cambiano la prospettiva sui framework esistenti. – experimenter

A partire da Storm 1.0, il sistema ha ottenuto miglioramenti su Mayor; quindi, non tutto è più vero. Lo stesso vale per Flink ... Dovresti sempre confrontare diverse versioni, o almeno tenere a mente, che SO rispetti il data-out mentre quei progetti si muovono molto velocemente. –

Siamo spiacenti. Per chiarire è esattamente quello che sto cercando di dire. Heron non aggiunge nuove funzionalità principali relative alla semantica, garanzie di elaborazione, modifica dinamica della topologia, scalatura dinamica, ecc. I miglioramenti sono di natura operativa ma non presentano nuove funzionalità principali su Storm e in qualche modo Storm in realtà ha le funzionalità più avanzate in questo momento . L'airone soddisfa abbastanza bene le esigenze operative di Twitter. –

risposta

Problemi correlati