BASH: Unire 2 file CSV basate su nome di un campo comune

Question

Ho 2 file CSV e ho bisogno di unirsi a loro utilizzando BASH:

file_1.csv columns: 

track_id  
title 
song_id 
release 
artist_id 
artist_mbid 
artist_name 
duration  
artist_familiarity 
artist_hotttnesss 
year 

Sample date in file_1.csv 

TRZZZZZ12903D05E3A,Infra Stellar,SOZPUEF12AF72A9F2A,Archives Vol. 2,ARBG8621187FB54842,4279aba0-1bde-40a9-8fb2-c63d165dc554,Delerium,495.22893,0.69652442519,0.498471038842,2001 

file_2.csv columns: 

track_id  
sales_date 
sales_count 

Sample data in file_2.csv 

TRZZZZZ12903D05E3A,2014-06-19,79 

La relazione tra i file è che file_1.track_id = file_2.track_id.

voglio creare un terzo file di file_3.csv che avrà le seguenti colonne:

file_2.track_id,file_2.sales_date,file_2.sales_count,file_1.title,file_1.song_id,file_1.release,file_1.artist_id,file_1.artist_mbid,file_1.artist_name,file_1.duration,file_1.artist_familiarity,file_1.artist_hotttnesss,file_1.year 

ho provato i seguenti metodi:

join -t',' -1 N -1 N file_2.csv file_1.csv >> file_3.csv 

e

awk -F, 'NR==FNR{a[$0]=$0;next} ($1 in a){print a[$1]"," > "file_3.csv"}' file_1.csv file_2.csv 

Anche se la file_3.csv viene creato, è un file vuoto. Qualche idea su come fare questo?

Grazie!

Answer 1

Il seguente join comando dovrebbe fare il trucco:

join --header -t',' -j 1 file_2.csv file_1.csv 

Basta fare in modo che i file CSV sono ordinati sui campi di join; avere track_id come il primo campo in ogni file rende questo facile.

Si consiglia di utilizzare i dati di prova in entrambi i file e quando si è soddisfatti che il comando sta facendo ciò che si desidera, è possibile eseguirlo con i dati effettivi e reindirizzare la sua uscita a file_3.csv.

Answer 2

Unire deve funzionare finché i file sono ordinati. Prova:

join -t, <(sort -t, -k1 file_2.csv) <(sort -t, -k1 file_1.csv) > file3.csv 

Answer 3

Con awk

awk -F, 'NR==FNR{a[$1]=substr($0,length($1)+2);next} ($1 in a){print $0","a[$1]}' file_1.csv file_2.csv > file_3.csv 

file_3.csv contenuti:

TRZZZZZ12903D05E3A,2014-06-19,79,Infra Stellar,SOZPUEF12AF72A9F2A,Archives Vol. 2,ARBG8621187FB54842,4279aba0-1bde-40a9-8fb2-c63d165dc554,Delerium,495.22893,0.69652442519,0.498471038842,2001