MySQL connector python 35 Risorsa temporaneamente non disponibile con query di grandi dimensioni?

Question

Sto cercando di utilizzare il connettore MySQL come alternativa a pymysql in quanto supporta più istruzioni in una query per alcuni aggiornamenti che devo fare (Here is my other question related to that) tuttavia non riesce per il mio altro caso di utilizzo di invio di istruzioni di selezione molto grandi.

Ho un'istruzione Select generata dinamicamente che recupera tutte le righe che corrispondono a uno dei valori specificati passati; per esempio Select * from table where col_a in (val_1, val_2.... val_350,000)

continuo a ricevere lo stesso errore per le mie istruzioni select:

Exception in thread Thread-1: 
Traceback (most recent call last): 
    File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/mysql/connector/network.py", line 212, in send_compressed 
    self.sock.sendall(zip_packet) 
BlockingIOError: [Errno 35] Resource temporarily unavailable 

During handling of the above exception, another exception occurred: 

Traceback (most recent call last): 
    File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/threading.py", line 921, in _bootstrap_inner 
    self.run() 
    File "/Users/maldeiri/raw_data_processing/sql_retriever.py", line 22, in run 
    self.mysql_cursor.execute(self.sql_statement) 
    File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/mysql/connector/cursor.py", line 515, in execute 
    self._handle_result(self._connection.cmd_query(stmt)) 
    File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/mysql/connector/connection.py", line 488, in cmd_query 
    result = self._handle_result(self._send_cmd(ServerCmd.QUERY, query)) 
    File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/mysql/connector/connection.py", line 261, in _send_cmd 
    packet_number) 
    File "/Library/Frameworks/Python.framework/Versions/3.4/lib/python3.4/site-packages/mysql/connector/network.py", line 215, in send_compressed 
    errno=2055, values=(self.get_address(), _strioerror(err))) 
mysql.connector.errors.OperationalError: 2055: Lost connection to MySQL server at 'database_end_point:3306', system error: 35 Resource temporarily unavailable 

Questo accade a prescindere se ho comprimere = True o False. Inoltre, non penso che questo sia un problema lato server, come ho già detto, le stesse istruzioni Select sembrano funzionare con pymysql in esecuzione con lo stesso codice e la stessa macchina.

Qualche idea su come posso aggirare questo?

Answer 1

Non costruire l'orrendo IN(...), invece gettare i valori in una tabella, uno per riga.

Quindi fare un JOIN nella tabella reale per ottenere le righe necessarie. (Assicurati che l'indice col_a sia indicizzato nella tabella reale; non preoccuparti di indicizzarlo nella tabella aggiuntiva.)

Se l'elenco enorme può avere duplicati, è probabilmente necessario deselezionare l'elenco per primo. Vedi se Python può farlo abbastanza facilmente. In caso contrario, è possibile che quella colonna sia la PRIMARY KEY e la INSERT IGNORE come si inseriscono. Oppure,

CREATE TABLE t (val) ENGINE=MyISAM; 
INSERT or LOAD DATA ... (no dedupping) 
SELECT rt.* FROM real_table 
    JOIN (SELECT DISTINCT val FROM t) ON rt.val = t.val;