Come trovare la differenza di set di due file?

Question

Ho due file A e B. Voglio trovare tutte le linee in A che non sono in B. Qual è il modo più veloce per farlo in bash/usando le utility standard di Linux? Ecco cosa ho provato finora:

for line in `cat file1` 
do 
    if [ `grep -c "^$line$" file2` -eq 0]; then 
    echo $line 
    fi 
done 

Funziona, ma è lento. C'è un modo più veloce per farlo?

Answer 1

The BashFAQdescribes doing exactly this with comm, che è il metodo canonicamente corretta.

# Subtraction of file1 from file2 
# (i.e., only the lines unique to file2) 
comm -13 <(sort file1) <(sort file2) 

diff è meno appropriato per questa attività, poiché tenta di operare su blocchi anziché su singole righe; in quanto tale, gli algoritmi che deve utilizzare sono più complessi e meno efficienti in termini di memoria.

comm è stato part of the Single Unix Specification da SUS2 (1997).

Answer 2

Il programma "diff" è un programma standard unix che esamina le differenze tra i file.

% cat A 
a 
b 
c 
d 
% cat B 
a 
b 
e 
% diff A B 
3,4c3 
< c 
< d 
--- 
> e 

Con un semplice grep e tagliare si possono selezionare le linee in A, non in B. Si noti che il taglio è piuttosto semplicistica e spazi nelle linee getterebbe via ... ma il concetto è lì.

% diff A B | grep '^<' | cut -f2 -d" " 
c 
d 

Answer 3

Se si desidera semplicemente le linee che sono file di A, ma non in B, è possibile ordinare i file, e confrontarli con diff.

sort A > A.sorted 
sort B > B.sorted 
diff -u A.sorted B.sorted | grep '^-'