Come creare i dati di allenamento di CaffeDB per le reti siamesi fuori dalla directory delle immagini

Question

Ho bisogno di aiuto per creare un CaffeDB per la CNN siamese su una semplice directory con immagini e file di testo dell'etichetta. Il migliore sarebbe un modo Python per farlo.
Il problema non è quello di camminare nella directory e creare coppie di immagini. Il mio problema è più di far uscire un CaffeDB da quelle coppie.
Finora ho utilizzato solo convert_imageset per creare un CaffeDB fuori da una directory di immagini.
Grazie per l'aiuto!

Answer 1

Perché non è sufficiente creare due dataset utilizzando il buon vecchio convert_imagest?

layer { 
    name: "data_a" 
    top: "data_a" 
    top: "label_a" 
    type: "Data" 
    data_param { source: "/path/to/first/data_lmdb" } 
    ... 
} 
layer { 
    name: "data_b" 
    top: "data_b" 
    top: "label_b" 
    type: "Data" 
    data_param { source: "/path/to/second/data_lmdb" } 
    ... 
} 

Per quanto riguarda la perdita, dal momento che ogni esempio ha un'etichetta di classe è necessario convertire label_a e label_b in un same_not_same_label. Ti suggerisco di fare questo "al volo" usando un livello python. Nel prototxt aggiungere la chiamata a livello di pitone:

layer { 
    name: "a_b_to_same_not_same_label" 
    type: "Python" 
    bottom: "label_a" 
    bottom: "label_b" 
    top: "same_not_same_label" 
    python_param { 
    # the module name -- usually the filename -- that needs to be in $PYTHONPATH 
    module: "siamese" 
    # the layer name -- the class name in the module 
    layer: "SiameseLabels" 
    } 
    propagate_down: false 
} 

Creare siamese.py (assicurarsi che sia nel vostro $PYTHONPATH). In siamese.py si dovrebbe avere la classe di livello:

import sys, os 
sys.path.insert(0,os.environ['CAFFE_ROOT'] + '/python') 
import caffe 
class SiameseLabels(caffe.Layer): 
    def setup(self, bottom, top): 
    if len(bottom) != 2: 
     raise Exception('must have exactly two inputs') 
    if len(top) != 1: 
     raise Exception('must have exactly one output') 
    def reshape(self,bottom,top): 
    top[0].reshape(*bottom[0].shape) 
    def forward(self,bottom,top): 
    top[0].data[...] = (bottom[0].data == bottom[1].data).astype('f4') 
    def backward(self,top,propagate_down,bottom): 
     # no back prop 
     pass 

Assicurarsi di mescolare le esempi nei due set in modo diverso, in modo da ottenere le coppie non banali. Inoltre, se si costruisce la prima e la seconda serie di dati con diversa numero di esempi, poi si vedrà coppie diverse in ogni epoca;)

---

Assicurarsi che si costruisce la rete per condividere i pesi del duplicato strati, vedere this tutorial per ulteriori informazioni.