Pre-allenamento senza supervisione per rete neurale convoluzionale in theano

Question

Vorrei progettare una rete profonda con uno (o più) strati convoluzionali (CNN) e uno o più strati nascosti completamente collegati in cima.
Per reti profonde con livelli completamente connessi, esistono metodi in theano per la pre-formazione senza supervisione, ad esempio utilizzando denoising auto-encoders o RBMs.

La mia domanda è: come posso implementare (in theano) una fase di pre-allenamento senza supervisione per strati convoluzionali?

Non mi aspetto una risposta completa come risposta, ma apprezzerei un collegamento a un buon tutorial o un riferimento affidabile.

Answer 1

This paper descrive un approccio per la creazione di un autoencoder convoluzionale sovrapposto. Sulla base di quel documento e di alcune ricerche su Google, sono riuscito a implementare la rete descritta. Fondamentalmente, tutto ciò di cui si ha bisogno è descritto nella rete convoluzionale di Theano e nel denoising delle esercitazioni di autoencoder con un'eccezione cruciale: come invertire il passo del max-pooling nella rete convoluzionale. Sono stato in grado di farlo utilizzando un metodo da this discussion - la parte più difficile è quella di trovare le dimensioni corrette per W_prime in quanto queste dipenderanno dalle dimensioni del filtro feed forward e dal rapporto di pooling. Ecco la mia funzione di inversione:

def get_reconstructed_input(self, hidden): 
     """ Computes the reconstructed input given the values of the hidden layer """ 
     repeated_conv = conv.conv2d(input = hidden, filters = self.W_prime, border_mode='full') 

     multiple_conv_out = [repeated_conv.flatten()] * np.prod(self.poolsize) 

     stacked_conv_neibs = T.stack(*multiple_conv_out).T 

     stretch_unpooling_out = neibs2images(stacked_conv_neibs, self.pl, self.x.shape) 

     rectified_linear_activation = lambda x: T.maximum(0.0, x) 
     return rectified_linear_activation(stretch_unpooling_out + self.b_prime.dimshuffle('x', 0, 'x', 'x'))