Qual è l'inizializzatore della variabile di default in Tensorflow?

Question

Qual è il metodo predefinito di inizializzazione delle variabili utilizzato quando viene chiamato tf.get_variable() senza alcuna specifica per l'inizializzatore? Il documento dice solo "Nessuno".

Answer 1

From the documentation:

Se inizializzatore è None (default), verrà utilizzato l'inizializzatore predefinita passato nella portata variabile. Se quello è None, verrà utilizzato un glorot_uniform_initializer.

La funzione glorot_uniform_initializer inizializza i valori da una distribuzione uniforme.

Questa funzione è documented come:

L'uniforme inizializzatore Glorot, chiamato anche inizializzatore uniforme Xavier.

Si richiama campioni da una distribuzione uniforme all'interno [-limit, limite],
dove limit è sqrt(6/(fan_in + fan_out))
dove fan_in è il numero di unità di input del tensore peso
e fan_out è il numero di unità di uscita in il tensore del peso.

Riferimento: http://jmlr.org/proceedings/papers/v9/glorot10a/glorot10a.pdf