Condivisione dei dati utilizzando pyzmq zero-copy

Question

Mi sono imbattuto in zeromq durante la ricerca di una soluzione efficiente per IPC in python; Ho un paio di processi Python che devono fare un po 'di elaborazione intensiva della cpu su dati da un dict in un processo master. Questi processi di lavoro leggono solo dal dict, solo il processo principale può modificare il dict. I dati nel dict cambieranno, ma atomicamente attraverso il processo principale.

Preferirei avere un pezzo di memoria condivisa in cui tutti i processi di lavoro possano leggere il codice, sfortunatamente questo non sembra possibile in python.

utilizzando una cache come Redis o memcache suona come eccessivo (non volete utilizzare il protocollo TCP & decapaggio di condividere solo una cosa che ho già da qualche parte nella memoria nel formato nativo) ..

Così come alternativa mi piacerebbe utilizzare zeromq per inviare i dati rilevanti dal master dett ad abbonati ai lavoratori utilizzando un socket zeromq IPC. Ciò significherebbe che (sfortunatamente) dovrei serializzare la parte rilevante dal master dtt (usando msgpack?) E poi spingerlo usando un messaggio zmq. Ho letto che è possibile farlo usando zero-copy in modo che non finisca per copiare i dati due volte, è qualcosa che accade automaticamente se uso la copia = False sulla mia stringa binaria msgpacked? E questo è il modo di andare per il mio problema o voi ragazzi avete suggerimenti su come affrontarlo in modo ancora più efficiente?

Grazie!

Martijn

Answer 1

Sì, se si invia i tuoi byte msgpacked con copy=False, non ci saranno copie extra dei dati in memoria per il processo di invio (lo stesso vale per la ricezione di lato con copy=False).

Assicurarsi di eseguire test delle prestazioni, poiché il costo dei più complicati macchinari a copia zero è spesso maggiore del costo della copia stessa fino a quando i messaggi iniziano a diventare abbastanza grandi (crossover di circa 10 secondi di KB per messaggio).

Un approccio alternativo è che è possibile utilizzare semplicemente il modulo integrato di multiprocessing facilities for shared data. Non è il più bello, ma per cose abbastanza semplici può portare a termine il lavoro.