Individuare e rimuovere le righe duplicate da due colonne

Question

ho letto tutte le pertinenti duplicati domande/risposte e ho trovato questo per essere la risposta più rilevanti:

INSERT IGNORE INTO temp(MAILING_ID,REPORT_ID) 
SELECT DISTINCT MAILING_ID,REPORT_IDFROM table_1 
; 

Il problema è che voglio per rimuovere i duplicati da col1 e col2, ma voglio anche includere nell'inserto tutti gli altri campi di table_1.

Ho provato ad aggiungere tutte le colonne rilevanti in questo modo:

INSERT IGNORE INTO temp(M_ID,MAILING_ID,REPORT_ID, 
MAILING_NAME,VISIBILITY,EXPORTED) SELECT DISTINCT 
M_ID,MAILING_ID,REPORT_ID,MAILING_NAME,VISIBILITY, 
EXPORTED FROM table_1 
; 


M_ID(int,primary),MAILING_ID(int),REPORT_ID(int), 
MAILING_NAME(varchar),VISIBILITY(varchar),EXPORTED(int) 

Ma è inserito tutte le righe in temperatura (compresi i duplicati)

Answer 1

È necessario prima di trovare i duplicati raggruppando in due campi con una clausola di avere.

Select identField1, identField2, count(*) FROM yourTable 
     GROUP BY identField1, identField2 
      HAVING count(*) >1 

Se questo restituisce ciò che si desidera, è possibile utilizzarlo come un sottoquery e

DELETE FROM yourTable WHERE field in (Select identField1, identField2, count(*) FROM yourTable 
     GROUP BY identField1, identField2 
      HAVING count(*) >1) 

Answer 2

Il modo migliore per eliminare le righe duplicate da più colonne è la più semplice:

Aggiungere un indice UNIQUE:

ALTER IGNORE TABLE your_table ADD UNIQUE (field1,field2,field3); 

L'abov IGNORA e si assicura che sia mantenuta solo la prima riga trovata, il resto scartato.

(È quindi possibile eliminare l'indice se sono necessari duplicati futuri e/o sapere che non si verificherà più).

Answer 3

In caso contrario si potrebbe ottenere quello che volevi, allora si può provare il mio metodo "oldschool":

In primo luogo, eseguire la query per ottenere i record duplicati:

select column1, 
     column2, 
     count(*) 
from  table 
group by column1, 
     column2 
having count(*) > 1 
order by count(*) desc 

Dopo di che, selezionare tali risultati e incollarli nella notepad ++:

Now di USI ng trovare e sostituire la specialità del blocco note ++ sostituirli con; prima "cancella" poi "inserisci" query come questa (d'ora in poi, per ragioni di sicurezza, i miei valori saranno AAAA).

Nota speciale: Si prega di fare un altro nuova linea per la fine dell'ultima riga dei tuoi dati all'interno di Notepad ++ perché regex abbinato il '\ r \ n' alla fine del ogni riga:

trovare ciò regex: \D*(\d+)\D*(\d+)\D*\r\n

Sostituire con lo spago: delete from table where column1 = $1 and column2 = $2; insert into table set column1 = $1, column2 = $2;\r\n

Ora finalmente, incollare le query per la console di query di MySQL Workbench ed eseguire. Vedrai solo una occorrenza di ciascun record duplicato.

Questa risposta è per un tavolo rapporto costruito con soli due colonne senza ID. Penso che tu possa applicarlo alla tua situazione.

Answer 4

si può sempre ottenere gli ID primarie raggruppando che due campi univoci

select count(*), id as count from table group by col a, col b having count(*)>1;

e poi

delete from table where id in (select count(*), id as count from table group by col a, col b having count(*)>1) limit maxlimit;

si può anche utilizzare max() al posto di limit