出处http://blog.csdn.net/u012162613/article/details/44239919
1.从方差代价函数说起代价函数经经常使用方差代价函数(即採用均方误差MSE),比方对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为:
当中y是我们期望的输出,a为神经元的实际输出【 a=σ(z), where z=wx+b 】。
在训练神经网络过程中,我们通过梯度下降算法来更新w和b,因此须要计算代价函数对w和b的导数:
然后更新w、b:
w <—— w - η* ∂C/∂w = w - η * a *σ′(z)
b <—— b - η* ∂C/∂b = b - η * a * σ′(z)
由于sigmoid函数的性质,导致σ′(z)在z取大部分值时会非常小(例如以下图标出来的两端,几近于平坦),这样会使得w和b更新非常慢(由于η * a * σ′(z)这一项接近于0)。
2.交叉熵代价函数(cross-entropy cost function)为了克服这个缺点,引入了交叉熵代价函数(以下的公式相应一个神经元,多输入单输出):
当中y为期望的输出,a为神经元实际输出【a=σ(z), where z=∑Wj*Xj+b】
与方差代价函数一样,交叉熵代价函数相同有两个性质:
In fact, it’s useful to think of a softmax output layer with log-likelihood cost as being quite similar to a sigmoid output layer with cross-entropy cost。