BP神经网络算法学习 科学家, 示意图, 网络, 模型, 数学

yuyang911220

BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。
一个神经网络的结构示意图如下所示。

BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。输入层神经元的个数由样本属性的维度决定，输出层神经元的个数由样本分类个数决定。隐藏层的层数和每层的神经元个数由用户指定。每一层包含若干个神经元，每个神经元包含一个而阈值，用来改变神经元的活性。网络中的弧线表示前一层神经元和后一层神经元之间的权值。每个神经元都有输入和输出。输入层的输入和输出都是训练样本的属性值。
对于隐藏层和输出层的输入 其中，是由上一层的单元i到单元j的连接的权；是上一层的单元i的输出；而是单元j的阈值。
神经网络中神经元的输出是经由赋活函数计算得到的。该函数用符号表现单元代表的神经元活性。赋活函数一般使用simoid函数（或者logistic函数）。神经元的输出为：

除此之外，神经网络中有一个学习率（l）的概念，通常取0和1之间的值，并有助于找到全局最小。如果学习率太小，学习将进行得很慢。如果学习率太大，可能出现在不适当的解之间摆动。
交代清楚了神经网络中基本要素，我们来看一下BP算法的学习过程：
BPTrain(){
      初始化network的权和阈值。
      while 终止条件不满足 {
            for samples中的每个训练样本X {
            // 向前传播输入
            for 隐藏或输出层每个单元j {
                  ；// 相对于前一层i，计算单元j的净输入 ；// 计算单元j的输出
            }
            // 后向传播误差
            for 输出层每个单元j {
                  ；// 计算误差
            }
            for 由最后一个到第一个隐藏层，对于隐藏层每个单元j {
                   ；// k是j的下一层中的神经元
            }
            for network中每个权 {
                     ； // 权增值
                     ； // 权更新
             }
             for network中每个偏差 {
                      ； // 偏差增值
                      ；// 偏差更新
             }
      }
}
算法基本流程就是：
1、初始化网络权值和神经元的阈值（最简单的办法就是随机初始化）
2、前向传播：按照公式一层一层的计算隐层神经元和输出层神经元的输入和输出。
3、后向传播：根据公式修正权值和阈值
直到满足终止条件。