Caffe | Verifica non riuscita: errore == cudaSuccess (2 vs 0) memoria esaurita

Question

Sto provando ad addestrare una rete su Caffe. Ho una dimensione dell'immagine di 512x640. La dimensione del lotto è 1. Sto tentando di implementare FCN-8s.

Attualmente lo sto eseguendo su un'istanza Amazon EC2 (g2.2xlarge) con 4 GB di memoria GPU. Ma quando ho eseguito il risolutore, si butta subito fuori un errore

Check failed: error == cudaSuccess (2 vs. 0) out of memory 
*** Check failure stack trace: *** 
Aborted (core dumped) 

Qualcuno può aiutarmi a procedere da qui?

Answer 1

L'errore che si ottiene è effettivamente esaurito dalla memoria, ma non è la RAM, ma piuttosto la memoria della GPU (si noti che l'errore proviene da CUDA).
Di solito, quando il caffè ha esaurito la memoria, la prima cosa da fare è ridurre la dimensione del batch (al costo di gradient accuracy), ma poiché si è già in taglia batch = 1 ...
Sei sicuro che la dimensione del batch è 1 per entrambe le fasi TRAIN e TEST?

Answer 2

Caffe può utilizzare più GPU. Questo è supportato solo nell'interfaccia C++, non in Python. È inoltre possibile abilitare cuDNN per un footprint di memoria inferiore.

https://github.com/BVLC/caffe/blob/master/docs/multigpu.md