学位论文 > 优秀研究生学位论文题录展示

两类神经网络的学习算法收敛性研究

作　者: 唐利霞
导　师: 喻昕
学　校: 广西大学
专　业: 计算机软件与理论
关键词: Ridge Polynomial神经网络异步梯度算法收敛性动量项模糊感知器
分类号: TP183
类　型: 硕士论文
年　份: 2013年
下　载: 0次
引　用: 0次
阅　读: 论文下载

内容摘要

前馈神经网络是目前应用最广泛的一种神经网络模型,模糊感知器和Ridge Polynomial神经网络就是这样的两类前馈神经网络。本文对这两类神经网络的学习算法进行研究,分析各自算法的收敛性问题。主要工作如下：文中将神经网络的异步梯度算法应用到Ridge Polynomial神经网络的训练中,对网络误差函数及学习方法进行分析,给出训练过程中误差函数的单调性定理。在证明单调性成立的基础上,进一步分析算法的收敛性并给出证明,最后的仿真实验验证了理论分析的正确性。传统的梯度算法存在收敛速度过慢且易陷入局部极小点的缺点,动量项是解决该问题的有效方法之一。文中将动量项加入到梯度算法中,用改进后的异步梯度算法来训练Ridge Polynomial神经网络,有效提高了网络的收敛速度。并且从理论上分析了改进后算法的单调性和收敛性,最后,仿真对比实验结果也说明带动量项异步梯度算法是高效的。文中提出了一种训练最大-乘积型的模糊感知器的学习算法,给出了训练样本模糊可分的充要条件,并在训练样本模糊可分的条件下分析了算法的有限收敛性,仿真实验也有效的验证了理论结果。

全文目录

摘要  4-5
ABSTRACT  5-9
第一章绪论  9-17
  1.1 人工神经网络介绍  9-11
    1.1.1 人工神经网络的定义  9
    1.1.2 人工神经网络的发展历史  9-10
    1.1.3 人工神经网络的研究现状  10-11
    1.1.4 人工神经网络的发展趋势  11
  1.2 人工神经网络基础  11-14
    1.2.1 人工神经元  11-12
    1.2.2 人工神经网络模型  12-14
    1.2.3 人工神经网络的学习规则  14
  1.3 本文的研究方向及意义  14-15
  1.4 本文的主要工作  15-17
第二章 RIDGE POLYNOMIAL神经网络的异步梯度算法的收敛性  17-32
  2.1 背景介绍  17-18
  2.2 Ridge Polynomial神经网络及其异步梯度算法  18-22
    2.2.1 Pi-Sigma神经网络  18-19
    2.2.2 Ridge Polynomial神经网络  19-20
    2.2.3 Ridge Polynomial神经网络的异步梯度学习算法  20-22
    2.2.4 单调性与收敛性说明  22
  2.3 Ridge Polynomial神经网络的异步梯度算法的单调性及收敛性  22-26
    2.3.1 相关的引理及证明  22-25
    2.3.2 主要的收敛性定理及证明  25-26
  2.4 仿真实验  26-31
    2.4.1 函数逼近问题  27-29
    2.4.2 分类问题  29-31
  2.5 本章小结  31-32
第三章 RIDGE POLYNOMIAL神经网络带动量项的异步梯度算法的收敛性  32-43
  3.1 背景介绍  32-33
  3.2 Ridge Polynomial神经网络带动量项的异步梯度学习算法  33
  3.3 Ridge Polynomial神经网络带动量项的异步梯度算法的单调性与收敛性  33-40
    3.3.1 相关的引理及证明  33-37
    3.3.2 主要的收敛性定理及证明  37-40
  3.4 仿真实验  40-42
  3.5 本章小结  42-43
第四章最大-乘积型模糊感知器的学习算法及其收敛性  43-53
  4.1 背景介绍  43-44
  4.2 最大-乘积型模糊感知器  44-45
  4.3 最大-乘积型模糊感知器的学习算法  45-46
  4.4 学习算法的收敛性分析  46-50
    4.4.1 主要的引理及证明  46-48
    4.4.2 收敛定理及证明  48-50
  4.5 仿真实验  50-52
  4.6 本章总结  52-53
第五章总结与展望  53-55
  5.1 主要工作总结  53
  5.2 下一步工作  53-55
参考文献  55-60
致谢  60-61
攻读硕士学位期间发表的学术论文  61

两类神经网络的学习算法收敛性研究

内容摘要

全文目录

相似论文