Pourquoi ne devriez-vous pas initialiser les poids avec des zéros ou de manière aléatoire (sans connaître la distribution) :

• Si les poids dans un réseau commencent trop petits, le signal se rétrécit lorsqu'il traverse chaque couche jusqu'à ce qu'il soit trop petit pour être utile.
• Si les pondérations dans un réseau commencent par être trop importantes, le signal augmente alors qu'il traverse chaque couche jusqu'à ce qu'il soit trop massif pour être utile.

Xavier/Glorot Initialisation

Xavier Initialisation initialise les poids de votre réseau en les tirant d'une distribution de moyenne nulle et de variance spécifique,

où fan_in est le nombre de neurones entrants.

Il tire des échantillons d'une distribution normale tronquée centrée sur 0 stddev = sqrt(1 / fan_in)où fan_inest le nombre d'unités d'entrée dans le tenseur de poids.

Généralement utilisé avec l'activation tanh.

Aussi généralement,

est utilisé où fan_out est le nombre de neurones auxquels le résultat est envoyé.

He Normal (He-et-al) Initialisation

Cette méthode d'initialisation est devenue célèbre grâce à un article soumis en 2015 par He-et-al, et est similaire à l'initialisation de Xavier, avec le facteur multiplié par deux. Dans cette méthode, les pondérations sont initialisées en gardant à l'esprit la taille de la couche précédente, ce qui permet d'atteindre un minimum global de la fonction de coût plus rapidement et plus efficacement. Les pondérations sont toujours aléatoires mais diffèrent en fonction de la taille de la couche précédente. de neurones. Cela fournit une initialisation contrôlée d'où la descente de gradient plus rapide et plus efficace.

si activation RELU :

Il tire des échantillons d'une distribution normale tronquée centrée sur 0 stddev = sqrt(2 / fan_in)où fan_inest le nombre d'unités d'entrée dans le tenseur de poids.

Preuve pourquoi :

Nous avons une entrée X avec n composants et un neurone linéaire avec des poids aléatoires W et une sortie Y .

peut être trouvé sur Wikipédia

Supposons maintenant que la moyenne = 0

puisque

et si nous faisons une hypothèse de iid, nous obtenons

On veut donc que Var(Y) =1

Dans Glorot & Bengio, si nous suivons les mêmes étapes pour le signal rétropropagé, nous obtenons

pour conserver la même variance du gradient d'entrée et du gradient de sortie. Ces deux contraintes ne peuvent être satisfaites simultanément que si fan_in=fan_out, donc un compromis, on prend la moyenne des deux :

Dans un article récent de He, Rang, Zhen et Sun, ils s'appuient sur Glorot & Bengio et suggèrent d'utiliser

Implémentations :

Initialisation numérique

w=np.random.randn(layer_size[l],layer_size[l-1])*np.sqrt(1/layer_size[l-1])
w=np.random.randn(layer_size[l],layer_size[l-1])*np.sqrt(2/(layer_size[l-1]+layer_size[l]))

tf.contrib.layers.xavier_initializer(
    uniform=True,
    seed=None,
    dtype=tf.float32
)

Vous pouvez utiliser ce qui suit pour utiliser tous les types :

tf.contrib.layers.variance_scaling_initializer(factor=2.0, mode='FAN_IN', uniform=False, seed=None, dtype=tf.float32)

• Pour obtenir l' architecture convolutive pour l'intégration rapide de fonctionnalités , utilisez :
  factor=1.0 mode='FAN_IN' uniform=True
• Pour comprendre la difficulté de former des réseaux de neurones à rétroaction profonde , utilisez :
  factor=1.0 mode='FAN_AVG' uniform=True.
• Pour obtenir , xavier_initializerutilisez soit :
  factor=1.0 mode='FAN_AVG' uniform=True, soit
  factor=1.0 mode='FAN_AVG' uniform=False.

if mode='FAN_IN': # Count only number of input connections.
    n = fan_in
  elif mode='FAN_OUT': # Count only number of output connections.
    n = fan_out
  elif mode='FAN_AVG': # Average number of inputs and output connections.
    n = (fan_in + fan_out)/2.0

    truncated_normal(shape, 0.0, stddev=sqrt(factor / n))

• tf.keras.initializers.glorot_normal(seed=None)

• tf.keras.initializers.glorot_uniform(seed=None)

• tf.keras.initializers.he_normal(seed=None)

• tf.keras.initializers.he_uniform(seed=None)

• tf.keras.initializers.lecun_normal(seed=None)

• tf.keras.initializers.lecun_uniform(seed=None)

Références:

1. http://andyljones.tumblr.com/post/110998971763/an-explanation-of-xavier-initialization