Come sincronizzare con Julia CUDArt?

Question

Sto appena iniziando a utilizzare il pacchetto CUDArt di Julia per gestire l'elaborazione in GPU. Mi chiedo come garantire che se vado a estrarre dati dalla gpu (ad esempio usando to_host()) che non lo faccio prima che tutti i calcoli necessari siano stati eseguiti su di esso.

Attraverso alcuni esperimenti, sembra che to_host(CudaArray) rimarrà in ritardo mentre il particolare CudaArray viene aggiornato. Quindi, forse basta usare questo è sufficiente per garantire la sicurezza? Ma sembra un po 'rischioso.

In questo momento, sto utilizzando la funzione launch() per eseguire i miei kernel, come illustrato nel pacchetto documentation.

La documentazione di CUDArt fornisce un esempio utilizzando la macro @sync di Julia, che potrebbe sembrare deliziosa. Ma per gli scopi di @sync ho finito con il mio "lavoro" e pronto a passare non appena il kernel viene lanciato con launch(), non una volta che finisce. Per quanto comprendo l'operazione di launch() - non c'è un modo per cambiare questa funzione (ad es. Per farlo attendere di ricevere l'output della funzione "lancia").

Come posso eseguire tale sincronizzazione?

Answer 1

Penso che il modo più canonica è quello di rendere un flusso per ogni dispositivo:

streams = [(device(dev); Stream()) for dev in devlist]

e poi all'interno del blocco @async, dopo gli si dice di fare i calcoli, si utilizza la funzione wait(stream) a ditelo per aspettare che il flusso finisca i suoi calcoli. Vedere l'esempio degli stream nel README.

Answer 2

Ok, quindi, non c'è un sacco di documentazione sul pacchetto CUDArt, ma ho guardato il codice sorgente e penso che sia semplice su come farlo. In particolare, sembra che ci sia una funzione device_synchronize() che bloccherà fino a quando non sarà terminato tutto il lavoro sul dispositivo attualmente attivo. Così, quanto segue, in particolare, sembra funzionare:

using CUDArt 
md = CuModule("/path/to/module.ptx",false) 
MyFunc = CuFunction(md,"MyFunc") 
GridDim = 2*2496 
BlockDim = 64 
launch(MyFunc, GridDim, BlockDim, (arg1, arg2, ...)); 
device_synchronize() 
res = to_host(arg2) 

mi piacerebbe sentire da qualcuno con più esperienza anche se non v'è qualcosa di più di essere a conoscenza di qui.