开题报告模板(曹云茜)

毕业设计（论文）开题报告二级学院信息工程学院教学系通信工程系专业班级通信04-1学生姓名曹芸茜学号20043762指导教师张立毅毕业设计（论文）题目BP前馈神经网络的改进研究一、选题依据神经网络一般采用误差反向传播算法（ErrorBackPropagationAlgorithm，简称BP）。早在1969年，Bryson就提出了BP算法理论，1974年和1985年Werbos和Paker各自独立提出这一算法，但未引起重视。1986年，由Bumelhart和McCleland等人组成的PDP研究小组在对并行分布处理的微观结构进行深入研究后，系统提出了完整的BP算法神经网络理论，受到人们的普遍认可和关注。BP神经网络是目前信号处理、自适应控制领域的应用最为成熟和普遍的一种网络结构。BP算法是一种监督式学习算法，属于学习算法的推广。其目的是使网络输出层的误差平方和达到最小。由信息的正向传播与误差的反向传播两部分组成。在正向传播过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的输出作用于下一层神经元的输入。如果在输出层没有得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来，修改各层神经元的权值，直至达到期望目标。在目前众多的神经网络模型中，多层前馈神经网络、尤其是三层前馈神经网络是应用最为广泛的模型。它一般采用反向传播学习算法（简称BP算法）进行训练。该方法具有简单和可塑性强等优点，但由于是基于梯度方法，存在着收敛速度慢、易陷入局部极小点的缺陷。为了克服该缺陷，现已提出了多种改进算法。二、研究内容和研究方法（一）BP算法的核心是最速下降法，这是一种以梯度为基础的误差下降算法，具有原理简单、实现方便等特点，但也有许多不足之处：（1）收敛速度较慢导致BP算法收敛速度慢的原因主要是固定的学习速率（也称为迭代步长）。BP算法的本质是优化计算中的梯度下降法，利用误差函数的一阶导数信息指导下一步的权值调整方向，以达到误差最小的目的。（2）易陷入局部极小点BP算法的训练是从某一起始点沿误差函数的曲面逐渐到达误差的最小点。由于误差曲面是一个复杂得多维曲面，有可能存在多个局部极小点，使得训练陷入局部极小。（二）针对BP算法的上述缺陷，近年来学者们提出了多种改进算法。主要可以分为采用启发式信息技术的BP算法，加入数值优化技术的BP算法和基于现代优化理论的BP算法三大类。1．采用启发式信息技术的BP算法采用启发式信息技术的BP算法的实质就是在误差梯度变化缓慢时加大学习速率，而在变化剧烈时减小学习速率。主要有可变学习速率法，加入动量项法等。（1）可变学习速率法可变学习速率是指在网络训练过程中，学习速率是变化的，即在训练的初始阶段，选择较大的学习速率，加快收敛速度；在接近收敛时，减小学习速率，避免权值调整幅度过大而产生振荡或不收敛。在可变学习速率方法中，学习速率的改变可以有多种形式，其中主要有以下几种：1）Vogl算法2）其他可变学习速率算法（2）附加动量项法附加动量项法的实质是将前面最后几次权值变化的影响通过一个动量因子来传递给当前权值的变化。在修正权值时不仅考虑误差在梯度上的作用，而且考虑在误差曲面上变化趋势的影响，降低了网络对误差曲面局部细节的敏感性，有效地抑制了网络陷于局部极小的缺陷，加速了算法的收敛过程。目前，附加动量项的方法有很多种，不少文献都提出了不同的方法。2．加入数值优化技术的BP算法神经网络的BP学习过程实质上是一个数值优化问题，可以利用数值优化技术来进行改进，如牛顿法、共轭梯度法和Levenberg-Marquardt算法等。3．基于现代优化理论的BP算法基于现代优化理论的BP算法是将遗传算法、蚁群算法（ColonyAlgorithm）、模拟退火算法等于神经网络相结合，改善BP算法的缺陷，提高算法的全局收敛能力。（1）遗传算法优化BP算法（2）模拟退火算法优化BP算法（3）蚁群算法优化BP算法（4）免疫算法优化BP算法三、预计可获得的成果（含可能取得的独特之处）通过对BP前馈神经网络的改进研究，综述克服BP算法收敛速度慢和易陷入局部极小点的各种方法，包括启发式信息技术、数值优化技术等。四、工作进度计划2007.11.05~2008.03.06：收集资料，理解课题，写出开题报告；2008.03.07~2008.04.30：根据设计要求，完成设计任务，并进行相应的仿真实验；2008.05.01~2008.05.20：撰写毕业设计论文；2008.05.21~2008.05.28：修改完善毕业设计论文；2008.05.29~2008.06.05：制作PPT讲稿，准备答辩。五、与开题有关的主要参考文献[1]李敏生，刘斌．BP学习算法的改进与应用[J]．北京理工大学学报，1999，19（6）：721~724．[2]刘显德，崔浩然，李盼池等．一种改进的前馈神经网络BP学习算法[J]．大庆石油学院学报，2003，27（1）：51~55．[3]袁曾任．人工神经网络及其应用[M]．北京：清华大学出版社，1994．指导教师意见同意本课题进入设计（论文）阶段指导教师签字：年月日说明：1．本报告必须在第八学期开学两周内经指导教师审阅并形成正式报告。2．本报告作为指导教师审查学生能否开展课题研究和是否按时完成进度的检查依据，并接受学校的抽查。