BP神经网络的学习

王贵腾

摘要：人工神经网络是近年来的热点研究领域,是人类智能研究的重要组成部分。BP神经网络作为目前应用较多的一种神经网络结构，具有良好的逼近性能，且结构简单，性能优良。但仍存在收敛速度慢，易陷入局部极小值的问题，通过附加动量项法、自适应学习率法、数据归一化法、遗传算法等，可大幅度改善其性能，可广泛应用于多输入多输出的非线性系统。

关键词：BP神经网络；BP算法；动量项；自适应学习率；归一化；遗传算法

1. 绪论

1.1人工神经网络概述

人工神经网络（Artificial Neural Network），简称神经网络（NN），是由大量处理单元（神经元）组成的非线性大规模自适应系统。它具有自组织，自适应和自学习能力，以及具有非线性、非局域性，非定常性和非凸性等特点。它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理，记忆信息的方式设计一种新的机器使之具有人脑那样的信息处理能力。

神经网络作为计算智能与控制的重要分支，在控制领域具有如下优点：

1）能逼近任意L2范数上的非线性函数； 2）信息分布式存储与处理，鲁棒性和容错性强； 3）便于处理多输入多输出问题； 4）具有实现高速并行计算的潜力；

5）具有学习能力，对环境变化具有自适应性，对模型依赖性不强，主要用于解决非线性系统的控制问题。

同时，神经网络控制在多种控制结构中得到应用，如PID控制、模型参考自适应控制、前馈反馈控制、内模控制、逆系统控制、预测控制等。

目前神经网络的研究主要集中在三个方面：理论研究、实现技术研究、应用研究。 1.2 BP神经网络概述

BP神经网络是1986年由Rumelhart和McClelland一同提出的一种多层前馈神经网络。该网络采用BP算法——一种误差反向传播（Back Propagation）算法，其方法是依据负梯度下降方向迭代调整网络的权值和阀值以实现训练误差目标函数的最小化。

由于BP神经网络在实际应用中存在着收敛速度慢、网络结构难以确定、容易陷入局部极小值、泛化能力不强的缺陷，近年来，许多学者为满足实际应用中需要提出了许多改进方法，在网络自身性能的改善方面做了大量而有实际意义的工作，并且在BP神经网络的理论方面的研究和实际问题上应用也取得了丰硕的成果。对BP神经网络的理论研究，概括起来大致分为三个方面：改进激励函数，权值选取优化和网络拓扑结构。 1.3本文研究内容

本文从神经网络出发，研究其中应用最为广泛的BP神经网络模型，分析其缺点和不足，提出改进措施，并探讨其应用。具体研究内

容包括：

1）研究人工神经网络的基本原理；

2）对BP神经网络进行分析，探讨BP算法的缺陷； 3）提出对BP神经网络的改进和优化； 4）基于MATLAB的BP神经网络的建模仿真。

2. 神经网络基本原理

神经网络，主要是模拟人的神经系统。其神经元特性、网络结构、学习算法是神经网络的三要素。 2.1神经元特性

神经网络是由大量简单处理单元组成，通过可变权值连接而成的并行分布式系统，神经元是神经网络的基本处理单元。1943年提出的MP模型，经不断改进形成了现在广泛应用的BP神经元模型，MP模型如图2-1所示。

图2-1 人工神经元模型

模型基于以下六点假设：