学位论文 > 优秀研究生学位论文题录展示

神经网络的优化与用于优化的神经网络

作　者: Atlas Khan
导　师: 吴微
学　校: 大连理工大学
专　业: 计算数学
关键词: 神经网络基于自组织映射的优化算法双并联前馈神经网络的算法极端学习机 L1/2正则化算法
分类号: TP183
类　型: 博士论文
年　份: 2013年
下　载: 487次
引　用: 0次
阅　读: 论文下载

内容摘要

本文研究用于求解优化问题的神经网络以及神经网络本身的优化。对于前一问题,我们考虑一种用于连续优化问题的无监督神经网络算法SOMO,给出一种改进方案.对于后一问题,我们考察由一个单层和一个多层前馈神经网络的并行连接而成的双并联前馈神经网络(DPFNN),研究其基于极端学习机(ELM)及L1/2的权值正则化。本文第一章介绍SOM、SOMO、DPFNN神经网络以及ELM算法。在第二章,我们研究SOMO算法。由Kohonen提出的自组织映射神经网络(SOM)被广泛用在信息科学领域。特别地,Mu-Chun Su等研究者提出了一种SOMO算法。这种算法是通过一种竞争学习过程来找到一个获胜单元,而这个获胜单元代表了目标函数的最小值。在这章中,我们通过使用m个胜利单元把SOMO算法推广到ISOMO-m算法。数值实验表明,当m>1时,对于寻找函数的最小值问题,SOMO-m算法比基于SOM的优化算法(SOMO)收敛得更快。更重要的是,当m>1时,SOMO-m算法可以在一步学习迭代过程中同时寻找2个或者更多个最小值,而原始的基于SOM的优化算法(SOMO)要通过2次或者更多次重新开始学习迭代过程来完成这个相同的任务,效率较低。在第三章,我们研究了最大最小SOMO算法。在这章中,我们把SOMO算法推广到最大最小SOMO算法。这种算法可以同时找到2个胜利单元,其中一个胜利单元代表目标函数最小值,另外一个代表目标函数最大值。数值实验表明,当我们对目标函数的最大最小值都感兴趣时,最大最小SOMO算法比普通SOMO算法效率更高。在第四章,我们给出了基于SOM的优化算法(SOMO)的收敛性分析。更具体地,对于SOMO神经网络,我们在一定条件下证明了其神经元在每步迭代之后会变得越来越近,最后收敛到一点,并且每步迭代之后胜利单元的函数值也是下降的。在第五章,对于DPFNN,我们提出了基于ELM及L1/2正则化的一种学习机制。对于带有单隐层的前馈神经网络,ELM作为一种快速学习算法被广泛使用。对于ELM算法,一个重要问题是隐层单元数目的选择。为了解决这个问题,我们把近来流行的L1/2正则化和极端学习机(ELM)结合起来,使得隐单元数目以自组织方式大为减小,同时网络的推广精度有所提高。

全文目录

摘要  4-5
Abstract  5-7
CONTENTS  7-10
CHINESE CONTENTS  10-12
List of figures  12-13
List of tables  13-14
1 Introduction  14-48
  1.1 Neural networks  14
  1.2 Models of a neuron  14-15
  1.3 Types of neural networks  15-16
    1.3.1 Single layer feedforward neural network  15-16
    1.3.2 Multi layer feedforward neural network  16
    1.3.3 Recurrent network  16
  1.4 Learning proces  16-20
    1.4.1 Error-correction learning  17-18
    1.4.2 Supervised learning  18
    1.4.3 Unsupervised learning  18-20
  1.5 Learning tasks  20-22
    1.5.1 Pattern recognition  20-21
    1.5.2 Function approximation  21-22
  1.6 Self Organizing Map (SOM)  22-27
  1.7 SOM-based Optimization (SOMO)  27-32
  1.8 Regularization methods  32-34
  1.9 L_(1/2) Regularization algorithm  34-35
  1.10 Double Parallel Feedforward Neural Network (DPFNN)  35-36
  1.11 Extreme Learning Machine (ELM)  36-42
  1.12 Regularized Extreme Learning Machine (ELM)  42-48
    1.12.1 A Methodology for Building Regression Models using ELM: OP-ELM  42-43
    1.12.2 A double-regularized ELM using LARS and Tikhonov regularization  43
    1.12.3 Pruned-ELM (P-ELM)  43-44
    1.12.4 Evolutionary Extreme Learning Machine (E-ELM)  44-46
    1.12.5 Regularized Least-Squares Extreme Learning Machine (RLS-ELM)  46-48
2 SOMO-m Optimization with Multiple Winners  48-57
  2.1 Introduction  48
  2.2 SOMO-m for finding one minimum  48-50
  2.3 SOMO-2 for two minima  50-51
  2.4 Simulation results  51-57
    2.4.1 Objective functions  51
    2.4.2 Parameters of simulation  51-52
    2.4.3 Simulations of SOMO-m for one minimum  52-54
    2.4.4 Simulations of SOMO-2 for two minima  54-57
3 MaxMin-SOMO Algorithm  57-63
  3.1 Introduction  57
  3.2 MaxMin-SOMO  57-59
  3.3 Simulation results  59-63
    3.3.1 Objective functions  59
    3.3.2 Parameters of simulation  59
    3.3.3 Discussions  59-63
4 Convergence of the SOM-based Optimization (SOMO) by Using a Specific Distance Measure  63-75
  4.1 Introduction  63
  4.2 Convergence of SOMO  63-70
  4.3 Experimental results  70-75
    4.3.1 Example 1  70
    4.3.2 Objective functions  70-71
    4.3.3 Parameters of simulation  71
    4.3.4 Discussion  71-72
    4.3.5 Example 2: Neural network training problem for the XOR data set  72-75
5 Double Parallel Feedforward Neural Network Based on the Extreme Learning Machine with L_(1/2) Regularizer  75-82
  5.1 Introduction  75-76
  5.2 DPFNN based on ELM with L_(1/2):regularization  76-77
  5.3 Performance evaluation  77-82
    5.3.1 Example 1:Parity problem  77-78
    5.3.2 Example 2:A real world prediction problem  78-82
6 The Summarize and Prospect  82-84
Innovations  84-85
References  85-92
The Papers Published as a P.H  92-94
Thanks  94-96
Author Introduction  96-98

神经网络的优化与用于优化的神经网络

内容摘要

全文目录

相似论文