神经元的输出由下式给出：
x y???? (? w j j?? b) j??1 n
这里输入的加权和（括号内部分）由一个非线性函数传递， b 表
示与偏差输入相关的权值， w j 表示与第 j 个输入相关的权值。
使用最广泛的函数是 S 形函数，其曲线家族包括对数函数和双曲
正切函数，这些都可用来对人口动态系统、经济学系统等建模。另外
所用的其他函数有高斯函数、正弦函数、反正切函数，在此不一一展
开介绍，本文主要使用的激励函数是对数函数，函数表达式为：
y?? L(u)???
1 1?? e?u
函数曲线如下图所示：
1 0.8 0.6 0.4 0.2 0 -0.2 -10
-8
-6
-4
-2
0
2
4
6
8
10 对于有限输入量，对数函数输出范围为 y?? (0,1)。在输入为 u?? 0 时， 输出值为中间值 y?? 0.5。输出在 u?? 0 附近随着输入的增加以相对快的
Page 5 of 25
速率增加并非常慢地到达上限。对于 u?? 0 ，输出起初减少得很快，然
后随着下限的接近将会变慢。
训练神经元的规则有很多种，这里首先介绍利用 delta 规则的学
习，神经元选择为一个单输入单输出的简单情形，数学描述如下：
u?? wx?? b, y???
1 1?? e?u
该神经元具有一个输入 x ，权重为 w ，偏差输入为 b ，目标输出
为 t ，预报输出为 y 。则预报误差为：
E?? t?? y?? t???
1 1 ? t???1?? e?u 1?? e? wx?b
为消除当误差在整个输入模式上求和时引起的误差符号问题，在
delta 规则里使用的误差指示是平方误差，定义为：
1 1 2 2 1 )2
? wx?b 1?? e
根据 delta 规则，最优权值（使平方误差最小）可以在训练过程
中从初始权值出发，沿负梯度方向下降得到。将平方误差对 w, b （神
经元的可调整参数）进行微分，得：
e?u ???
???E????u (1?? e?u )2
??? ????u e?u
??????????? E?????????? x ?w ?u??w (1?? e?u )2 ??? ????u e?u
??????????? E???
?b ?u??b (1?? e?u )2
根据 delta 原则，权值改变应与误差梯度的负值成比例，引入学 习率?? ，每次迭代中的权值改变可表示为：
?? e?u
?w??????????????? E?????????? x ?w (1?? e?u )2 e?u ????b??????????????? E???
?b (1?? e?u )2
Page 6 of 25
学习率?? 决定了沿梯度方向的移动速度，以确定新的权值。大的
? 值会加快权值的改变，小的?? 值则减缓了权值的改变。第 i 次迭代
后的新权值可表示为：
wi??1?? wi?????? E???
bi??1?? bi?????? E???
e?u (1?? e?u )2 e?u
(1?? e?u )2
? x
如果将偏差输入 b 视为输入 x 的一部分，令 x0?? 1, w0?? b，可以得到
对于多输入神经元的权值修正式：
w
?1
ij ji
e?u
? w ?????? E???(1?? e?u )2 ? x j , j?? 0,1, 2, , n
总之，利用 delta 规则的有监督的学习可以按如下方法来实现： 一个输入模式（ x0 , x1, x2 , , xn）通过连接被传递，它的初始权值被设置
为任意值。对加权的输入求和，产生输出 y ，然后 y 与给定的目标输 出 t 做比较决定此模式的平方误差?? 。输入和目标输出不断地被提出，
在每一次迭代或每一个训练时间后利用 delta 规则进行权值调整直到
得到可能的最小平方误差。
delta 规则在每一步中通过导数寻找在误差平面中某个特定点局
部区域的斜率，它总是应用这个斜率从而试图减小局部误差，因此，
delta 规则不能区分误差空间中的全局最小点和局部最小点，它本身
不能克服单层神经网络的局限，无法直接应用到多层神经网络（易陷
入局部最小点），但它的一般形式是多层神经网络中的学习算法——
反传算法的核心。
在多层前向神经网络的训练过程中，误差导数或关于权值的误差
Page 7 of 25
表面的斜率对权值的调整是至关重要的，在网络训练期间，所有的输 出神经元和隐含神经元权值必须同时调整，因此，有必要找出关于所
有权值的误差导数。由于网络层数增多，平方误差?? 与权值的连接没
有之前单个神经元时那么直接，故可以使用链式规则的概念来找到导
数。
下面对一个含有一层隐含神经元的 BP 网络进行讨论，网络结构
如下图所示：
x0?? 1 1 a0m a01 ?? ?? y1 b1 y0?? 1
x1 1 b0 x2
1 ?? 1 z bm an1 xn ym anm
1 ????各个神经元的输入输出关系为：
n 1
x yi??? a ji j , i?? 1, 2, 1?? e?ui , ui????j??0
m
, m
z?? v, v???? bi iy i??0
设目标输出为 t ，则平方误差?? 定义为： Page 8 of 25