funzione di somma/scansione del prefisso ad alte prestazioni in CUDA, alla ricerca di spinte, alterazione della libreria cuDPP

Question

Sto cercando la funzione multiscan/multi prefix-sum (molte righe in un kernel esecuzione) per il mio progetto in CUDA.

Ho provato quello della libreria Thrust ma è troppo lento. Inoltre, si verifica un arresto anomalo dopo essere stato compilato con i flag di debug nvcc (-g -G).

Dopo il mio fallimento con Thrust mi sono concentrato sulla libreria cuDPP che faceva parte del toolkit CUDA. Le prestazioni cuDPP sono davvero buone, ma la libreria non è aggiornata con l'ultimo cuda 5.5 e ci sono alcuni problemi di violazione della memoria globale nella funzione cudppMultiScan() durante il debug con il controllo della memoria. (cuda 5.5, nsight 3.1, studio visivo 2010, gtx 260 cc 1.3)

Qualcuno ha idea di cosa utilizzare al posto di queste due librerie?

R.

Answer 1

Queste librerie, in particolare di spinta, cercare di essere il più generico possibile e l'ottimizzazione spesso richiede specializzazione: per esempio una specializzazione di un algoritmo in grado di utilizzare la memoria condivisa per i tipi fondamentali (come int o float), ma la versione generica non può. Succede che per una situazione particolare manca una specializzazione!

È consigliabile utilizzare queste librerie generiche ben collaudate il più possibile, ma a volte, per alcune sezioni di prestazioni critiche, la propria implementazione è un'opzione da considerare.

Nella propria situazione si desiderano molte scansioni in parallelo per righe diverse. Una buona implementazione non eseguiva la scansione separatamente per righe diverse: avrebbe la stessa chiamata del kernel in esecuzione simultaneamente per tutti gli elementi di tutte le righe. A seconda dell'indice, un thread può sapere quale riga sta elaborando e ignorerà tutti i dati fuori dalla riga.

Tale specializzazione richiede un funtore che restituisca un valore assorbente che impedisca la miscelazione delle file. Tuttavia, la tua attenta implementazione sarebbe probabilmente più veloce.

Answer 2

Per scrivere il proprio scansione prefisso, si può fare riferimento a

1. L'esempio scansione del CUDA SDK;
2. Capitolo 13 di N. Wilt, "Manuale CUDA";
3. Capitolo 6 di S. Cook, "Programmazione CUDA, Guida per lo sviluppatore per il calcolo parallelo con GPU";
4. Parallel Prefix Sum (Scan) with CUDA.

Per fare più prefisso a somma è possibile avviare molte volte lo stesso kernel (come suggerito da a.lasram) o cercare di ottenere cuncurrency da ruscelli CUDA, anche se non so che questo funzionerà in modo efficace per la scheda .