Come generare un elenco di righe univoche nel file di testo utilizzando uno script di shell Linux?

Question

Supponiamo che io abbia un file che contiene una serie di linee, alcune ripetendo:

line1 
line1 
line1 
line2 
line3 
line3 
line3 

Quale comando linux (s) dovrei usare per generare un elenco di linee uniche:

line1 
line2 
line3 

Questo cambia se il file non è ordinato, cioè le linee ripetitive potrebbero non essere in blocchi?

Answer 1

Se non ti dispiace l'uscita sia smistato, utilizzare

sort -u 

Questo tipo ed elimina i doppioni

Answer 2

cat per l'output dei contenuti, convogliato a sort per ordinare loro, convogliato a uniq a stampa i valori unici:

cat test1.txt | sort | uniq

non lo fai nee d per fare la parte sort se il contenuto del file è già ordinato.