multiprocessing

5calore

1risposta

Perché l'utilizzo del multiprocessing con i panda si ripercuote su una velocità così drammatica?

Supponiamo di avere un dataframe panda e una funzione che vorrei applicare a ciascuna riga. Posso chiamare df.apply(apply_fn, axis=1), che dovrebbe richiedere un tempo lineare nella dimensione di df.

8calore

2risposta

PYTHON Rendere la variabile globale accessibile da ogni processo

Sono nuovo in Python e ho iniziato a utilizzare un algoritmo genetico (GA) per eseguire una sorta di adattamento della curva. Per quel GA sto usando la (fantastica) libreria pyevolve (http://pyevolve.

6calore

2risposta

"Risposta diretta con Node.js" - Invio di risposta HTTP con diverso processo Node.js (diverso dal processo principale)

Utilizzando i server Node.js, mi chiedo se sia possibile e consigliato inviare una risposta HTTP da un processo di lavoro delegato, invece del processo principale. Questi processi di lavoro possono es

28calore

3risposta

Su quali core della CPU sono in esecuzione i miei processi Python?

Il setup ho scritto un pezzo piuttosto complessa di software in Python (su un PC Windows). Il mio software inizia fondamentalmente due shell per interpreti Python. La prima shell si avvia (suppongo) q

5calore

2risposta

Python multiprocessing e condiviso serie NumPy

Ho un problema, che è simile a questo: import numpy as np C = np.zeros((100,10)) for i in range(10): C_sub = get_sub_matrix_C(i, other_args) # shape 10x10 C[i*10:(i+1)*10,:10] = C_sub

6calore

1risposta

Modo preferito per svuotare multiprocessing.queue (-1) in python

Voglio estrarre tutti gli elementi attualmente in una coda. C'è un altro thread che inserisce costantemente gli elementi nell'altra estremità e in ogni periodo voglio ottenere tutti gli elementi attua

8calore

1risposta

Celery: come limitare il numero di attività in coda e interrompere l'alimentazione quando è piena?

Sono molto nuovo per Celery e questa è la domanda che ho: Supponiamo di avere uno script che deve costantemente recuperare i nuovi dati dal DB e inviarlo ai lavoratori che usano Celery. tasks.py # Cel

6calore

2risposta

Condividi futex tra processi non collegati

In che modo i processi non correlati possono cooperare utilizzando un futex? Diciamo che ho processi non correlati, uno è, ad esempio, un sottoprocesso di apache con il mio modulo, un altro è ad es. u

7calore

1risposta

Celery vs. ProcessPoolExecutor/ThreadPoolExecutor

Sto creando un server web django che consente all'utente di eseguire alcuni "eseguibili" su una macchina locale e di analizzare il loro output attraverso una pagina web. In precedenza ho utilizzato un

6calore

1risposta

Perché i calcoli del numpy non sono influenzati dal blocco dell'interprete globale?

Sto cercando di decidere se utilizzare il multiprocessing o il threading e ho imparato alcuni bit interessanti sullo Global Interpreter Lock. In questo simpatico blog post, sembra che il multithreadin