Straight Java/Groovy rispetto allo strumento ETL (Talend/etc) - quali librerie useresti?

Question

Supponiamo che tu abbia un piccolo progetto che sulla superficie sembra una buona corrispondenza per uno strumento ETL come Talend.

Ma supponiamo inoltre di non aver mai utilizzato Talend e inoltre, non ti fidi degli strumenti di "programmazione visuale" in generale e preferiresti codificare tutto alla vecchia maniera (testo su un IDE bello!) Con l'aiuto di un lingua appropriata & librerie di supporto.

Quali sono alcuni modelli di linguaggio & librerie di supporto che potrebbero aiutarti a evitare la tentazione/trap dello strumento ETL?

Answer 1

A seconda delle dimensioni dello schema DB, si potrebbe mappare tutto reale veloce in Hibernate e basta usare il modello di oggetto risultante a fare il vostro lavoro (a seconda di ciò che si desidera che lo strumento ETL per comunque)

Answer 2

penso questa è una buona corrispondenza per i framework ispirati a Rails, come Grails on Groovy o Lift on Scala.

Answer 3

Dipende se il deliverable è il processore o l'output stesso. Se hai solo bisogno di consegnare l'output, non è necessario mantenere il codice. Se il codice deve essere mantenuto, lo manterrai o qualcun altro?

Se qualcun altro ha bisogno di mantenere, userei Java o gli darò Talend.

Se si tratta di codice usa e getta, userei quello che sarà più facile o divertente da programmare.

Se è necessario mantenerlo e l'elaborazione è complessa, utilizzerei Scala. Ha:

• some libraries per interagire con i database
• letterali XML
• combinatori parser
• caratteristiche interessanti sui suoi pacchetti di raccolta (carta, filtri, groupBy, partizione, ...)
• e ovviamente qualsiasi altra libreria Java esistente.

Answer 4

Ero abituato a pensare che "la programmazione visiva" è qualcosa per le persone che non possono programmare. Poi sono stato esposto a Talend in un progetto e mi sono reso conto che questo tipo di strumento è perfetto per il lavoro, quando si tratta di spostare i dati da A a B e di trasformarli nel processo. È una progettazione software orientata ai componenti, da un'etichetta più accademica.

Mi considero ancora un programmatore decente che può fare qualsiasi cosa, e poi alcuni, con un editor di testo e un prompt della shell. Ma sono diventato anche un grande fan di Talend.

Full disclosure: Ora lavoro per l'azienda :-)

Answer 5

Partenza DataExpress. È un toolkit ETL cross-database basato su Scala.