首页 | 新闻 | 新品 | 文库 | 方案 | 视频 | 下载 | 商城 | 开发板 | 数据中心 | 座谈新版 | 培训 | 工具 | 博客 | 论坛 | 百科 | GEC | 活动 | 主题月 | 电子展
返回列表 回复 发帖

交叉熵代价函数(转)

交叉熵代价函数(转)

出处http://blog.csdn.net/u012162613/article/details/44239919
1.从方差代价函数说起代价函数经经常使用方差代价函数(即採用均方误差MSE),比方对于一个神经元(单输入单输出,sigmoid函数),定义其代价函数为:

当中y是我们期望的输出,a为神经元的实际输出【 a=σ(z), where z=wx+b 】。
在训练神经网络过程中,我们通过梯度下降算法来更新w和b,因此须要计算代价函数对w和b的导数:

然后更新w、b:
w <—— w - η* ∂C/∂w = w - η * a *σ′(z)
b <—— b - η* ∂C/∂b = b - η * a * σ′(z)
由于sigmoid函数的性质,导致σ′(z)在z取大部分值时会非常小(例如以下图标出来的两端,几近于平坦),这样会使得w和b更新非常慢(由于η * a * σ′(z)这一项接近于0)。

2.交叉熵代价函数(cross-entropy cost function)为了克服这个缺点,引入了交叉熵代价函数(以下的公式相应一个神经元,多输入单输出):

当中y为期望的输出,a为神经元实际输出【a=σ(z), where z=∑Wj*Xj+b】
与方差代价函数一样,交叉熵代价函数相同有两个性质
  • 非负性。(所以我们的目标就是最小化代价函数)
  • 当真实输出a与期望输出y接近的时候,代价函数接近于0.(比方y=0,a~0;y=1,a~1时,代价函数都接近0)。
另外,它能够克服方差代价函数更新权重过慢的问题。我们相同看看它的导数:


能够看到,导数中没有σ′(z)这一项,权重的更新是受σ(z)−y这一项影响,即受误差的影响。所以当误差大的时候,权重更新就快,当误差小的时候,权重的更新就慢。这是一个非常好的性质。
3.总结
  • 当我们用sigmoid函数作为神经元的激活函数时,最好使用交叉熵代价函数来替代方差代价函数,以避免训练过程太慢。
  • 只是,你或许会问,为什么是交叉熵函数?导数中不带σ′(z)项的函数有无数种,怎么就想到用交叉熵函数?这自然是有来头的,更深入的讨论就不写了,少年请自行了解。
  • 另外,交叉熵函数的形式是−[ylna+(1−y)ln(1−a)]而不是 −[alny+(1−a)ln(1−y)],为什么?由于当期望输出的y=0时,lny没有意义;当期望y=1时,ln(1-y)没有意义。而由于a是sigmoid函数的实际输出,永远不会等于0或1,仅仅会无限接近于0或者1,因此不存在这个问题。
4.还要说说:log-likelihood cost对数似然函数也经常使用来作为softmax回归的代价函数,在上面的讨论中,我们最后一层(也就是输出)是通过sigmoid函数,因此採用了交叉熵代价函数。而深度学习中更普遍的做法是将softmax作为最后一层,此时经常使用的是代价函数是log-likelihood cost。
  In fact, it’s useful to think of a softmax output layer with log-likelihood cost as being quite similar to a sigmoid output layer with cross-entropy cost。
事实上这两者是一致的,logistic回归用的就是sigmoid函数,softmax回归是logistic回归的多类别推广。log-likelihood代价函数在二类别时就能够化简为交叉熵代价函数的形式。详细能够參考UFLDL教程
继承事业,薪火相传
支持帮顶,路过支持一下
返回列表