0

神经网络权重的初始化

最近在学习神经网络和深度学习的时候遇到了权重初始化的问题,权重的初始化影响到了算法的学习速度,在初始化权重的时候应该从均值为$0$,方差为${1}/{\sqrt{n_{in}}}$的正态分布中去随机初始化,其中$n_{in}$为输入神经元的数量。下面就来讨论原因。

在权重初始化的时候,我们一般会从标准正态分布$\omega\sim\mathcal{N}(0, 1)$中去随机生产权重,然后从标准正态分布中去随机产生偏置$b$,为了说明问题,这里举个例子,假设我们有$1000$个输入神经元,如下图所示,然后我们和输入层相连的第一个隐藏层的第一个神经元。

2016-11-28_212430http://neuralnetworksanddeeplearning.com/images/tikz32.png

图片来自:http://neuralnetworksanddeeplearning.com/images/tikz32.png

Continue Reading