Migliore o lo stesso: memcpy CPU() vs cudaMemcpy dispositivo() su appuntato, mappata la memoria in CUDA?

Question

ho:

memoria
• Host che è stato bloccato e mappati utilizzando cudaHostAlloc(..., cudaHostAllocMapped) o cudaHostRegister(..., cudaHostRegisterMapped) con successo;
• puntatori ai dispositivi sono stati ottenuti utilizzando cudaHostGetDevicePointer(...).

ho iniziato cudaMemcpy(..., cudaMemcpyDeviceToDevice) su puntatori src e dest dispositivo che puntano a due differenti regioni di memoria mappata bloccato + ottenuti con la tecnica di cui sopra. Tutto funziona bene.

Domanda: devo continuare a fare questo o semplicemente utilizzare uno stile CPU tradizionale memcpy() poiché tutto è comunque nella memoria di sistema? ... o sono il stessa (cioè fa cudaMemcpy mappa per una scala memcpy quando entrambi src e dest sono riposte)?

(sto ancora utilizzando il metodo cudaMemcpy perché in precedenza tutto era in memoria globale del dispositivo, ma da allora sono passati a memoria appuntato a causa di vincoli di dimensione GMEM)

Answer 1

Con cudaMemcpy il driver CUDA rileva che si sta copiando da un puntatore host a un puntatore host e che la copia viene eseguita sulla CPU. Ovviamente puoi usare memcpy sulla CPU se preferisci.

Se si utilizza cudaMemcpy, ci può essere un flusso supplementare di sincronizzazione eseguito prima di fare la copia (che si può vedere nel profiler, ma credo ci — prova e vedere).

Su un sistema UVA si può semplicemente utilizzare cudaMemcpyDefault come talonmies dice nella sua risposta. Ma se non si dispone di UVA (sm_20 + e 64-bit OS), quindi è necessario chiamare la copia a destra (ad esempio cudaMemcpyDeviceToDevice). Se cudaHostRegister() tutto quello che ti interessa poi cudaMemcpyDeviceToDevice si finisce per fare quanto segue in base a dove si trova la memoria:

• Host < -> Host: eseguita dalla CPU (memcpy)
• Host < - > dispositivo: DMA (motore di copia del dispositivo)
• dispositivo < -> dispositivo: kernel CUDA memcpy (corre sul SMS, lanciato dal pilota)

Answer 2

Se si sta lavorando su una piattaforma con UVA (unificata indirizzamento virtuale), suggerirei caldamente di utilizzare cudaMemcpy con cudaMemcpyDefault. In questo modo tutto ciò che riguarda il percorso più veloce diventa un dettaglio di implementazione dell'API interno di cui non devi preoccuparti.