神经网络学习 之 BP神经网络
http://blog.csdn.net/u013007900/article/details/50118945
神经网络学习之BP神经网络
目录
第一章 概 述 第二章BP算法的基本思想 第三章BP网络特性分析
3.1 BP网络的拓扑结构 ..................................................... 4 3.2 BP网络的传递函数 ..................................................... 5 3.3 BP网络的学习算法 ..................................................... 6 第四章BP网络的训练分解
4.1前向传输（Feed-Forward前向反馈） ..................................... 8 4.2逆向反馈（Backpropagation） ........................................... 9 4.3 训练终止条件 ........................................................ 10 第五章BP网络运行的具体流程 ................................................. 10
5.1网络结构 ............................................................. 10 5.2变量定义 ............................................................. 10 5.3误差函数： ........................................................... 11 第六章 BP网络的设计 ........................................................ 14
6.1 网络的层数 ......................................................... 14 6.2 隐层神经元的个数 .................................................... 14 6.3 初始权值的选取 ...................................................... 15 6.4 学习速率 ............................................................ 15 BP网络的局限性 ............................................................ 15 BP网络的改进 .............................................................. 15
2
神经网络学习之BP神经网络
第一章 概 述
神经网络是1986年由Rumelhart和McCelland为首的科研小组提出，参见他们发表在Nature上的论文 Learning representations by back-propagating errors 。
BP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的 输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断 调整网络的权值和阈值，使网络的误差平方和最小。
第二章 BP算法的基本思想
多层感知器在如何获取隐层的权值的问题上遇到了瓶颈。既然我们无法直接得到隐层的权值，能否先通过输出层得到输出结果和期望输出的误差来间接调整隐层的权值呢？BP算法就是采用这样的思想设计出来的算法，它的基本思想是,学习过程由信号的正向传播与误差的反向传播两个过程组成。
?
正向传播时，输入样本从输入层传入,经各隐层逐层处理后,传向输出层。若输出层的实际输出与期望的输出(教师信号)不符,则转入误差的反向传播阶段。
? 反向传播时，将输出以某种形式通过隐层向输入层逐层反传,并将误差分摊给各层的所有单元,从而获得各层单元的误差信号,此误差信号即作为修正各单元权值的依据。
这两个过程的具体流程会在后文介绍。 BP算法的信号流向图如下图所示
3