Estrai tutte le righe univoche

Question

Ho file di testo con righe di testo ripetute, ma ne voglio solo uno. Immaginate questo file di testo:

AAAAA 
AAAAA 
AAAAA 
BB 
BBBBB 
BBBBB 
CCC 
CCC 
CCC 

vorrei solo bisogno dei seguenti quattro linee da esso:

AAAAA 
BB 
BBBBB 
CCC 

sto usando un editor di testo (EmEditor o Notepad ++), che supporta RegEx, non un linguaggio di programmazione, quindi devo usare un'espressione puramente regolare.

Qualsiasi aiuto?

MODIFICA: Ho controllato l'altro thread menzionato da hsz e vorrei chiarire che questo non è lo stesso. Sebbene entrambi debbano rimuovere linee duplicate, il modo per ottenerlo è diverso. Ho bisogno di puro RegEx, ma la migliore risposta dell'altro thread si basa su uno specifico plug-in Notepad ++ (che non viene nemmeno più con esso), quindi non è nemmeno una soluzione regex. Il secondo caso è una regex e funziona su Notepad ++, ma non su EmEditor, che anch'io ho bisogno. Quindi non penso che la mia domanda sia una ripetizione di quello, sebbene quel collegamento sia utile, e quindi ringrazio hsz per questo.

Answer 1

Due opzioni quasi identici:

Partita tutte le linee che non sono ripetute

(?sm)(^[^\r\n]+$)(?!.*^\1$) 

Le linee saranno abbinate, ma per estrarre loro, si vuole veramente sostituire gli altri.

sostituire tutte le linee ripetute

Questo funziona meglio in Notepad ++:

Ricerca: (?sm)(^[^\r\n]*)[\r\n](?=.*^\1)

Sostituire: stringa vuota

• (?s) attiva la modalità DOTALL, permettendo il punto da abbinare su tutte le linee
• (?m) Attiva la modalità multi-linea, permettendo ^ e $ per abbinare su ogni riga
• (^[^\r\n]*) cattura una linea al gruppo 1, vale a dire
• L'ancora ^ afferma che siamo all'inizio della stringa
• [^\r\n]* corrisponde a qualsiasi caratteri che non sono i caratteri di nuova linea
• [\r\n] partite i caratteri di nuova riga
• Il lookahead (?!.*^\1$) afferma che siamo in grado di adattarsi a qualsiasi numero di c haracters .*, quindi ...
• ^\1$ stessa linea Gruppo 1

Answer 2

A condizione che le linee uguali vanno in gruppi, cioè, AAAA AAAA BBBB BBBB e non AAAA BBBB AAAA BBBB, in Perl notazione, i seguenti lavori:

s/(^.*$)(\r?\n\1$)*/$1/gm; 

che significa sostituto/(^. $) (\ r? \ n \ 1 $)/per $ 1 globalmente e in modalità multilinea (^ e $ corrisponde interno \ n).

Questa espressione indica che qualsiasi riga completa seguita da un numero qualsiasi di righe uguali viene sostituita da una singola occorrenza.

Vedere la guida sul proprio editor specifico per come applicare una regex.

Answer 3

Non so funzionerà in Notepad ++ o EmEditor, ma funziona bene in PHP/JavaScript/Python con sostituzione.

^(.+)(\n(\1))*$ 

Ecco Demo

semplicemente copiare il testo e ottenere il risultato finale dal link che mi hai condiviso.

Answer 4

È possibile utilizzare la seguente espressione regolare per rimuovere entrambe le righe ripetute e vuote.

Find: ^(.*)(\r?\n\1)+$ 
Replace: \1