学位论文 > 优秀研究生学位论文题录展示

偏最小二乘算法及其在基于结构风险最小化的机器学习中的应用

作　者: 白裔峰
导　师: 肖建
学　校: 西南交通大学
专　业: 电力电子及电力传动
关键词: 结构风险最小化偏最小二乘算法核偏最小二乘算法模糊系统建模支持向量机鲁棒递推偏最小二乘算法接触网检测
分类号: TP301.6
类　型: 博士论文
年　份: 2007年
下　载: 801次
引　用: 4次
阅　读: 论文下载

内容摘要

机器学习是非线性科学研究的主要内容之一。大部分建立非线性系统模型的机器学习方法以极小化训练误差为优化目标，即基于经验风险最小化原则。近年来，基于统计学习理论，兼顾模型的经验风险和置信范围的基于结构风险最小化原则已成为机器学习研究热点之一。偏最小二乘算法作为一种源于过程控制的算法，借助提取数据中解释性最强的综合信息，实现对高维数据空间的降维处理，克服变量多重相关性。核偏最小二乘算法、支持向量机和模糊系统建模都是机器学习的有效学习方法，但在建立非线性模型的过程中各自仍存在一些不足。本文以核偏最小二乘算法、支持向量机和模糊系统建模等机器学习方法与偏最小二乘算法结合为思路，在机器学习过程中实现结构风险最小化原则为目标，展开论文的研究。根据Mercer定理，本文提出了一种简化核偏最小二乘算法，并同时提出一种满足结构风险最小化原则的风险的指标，仿真计算说明了该指标的有效性。为了解决核偏最小二乘算法中核函数矩阵维数随辨识样本膨胀的问题，本文提出的分块核偏最小二乘算法，通过划分核函数矩阵，减少了核偏最小二乘算法的计算负担。针对模糊系统模型的“规则数爆炸”问题，本文提出了基于子空间划分的模糊系统模型，并给出了基于遗传算法的自适应模型辨识方法。该方法按照一致、完备原则划分论域，部分地解决了模糊系统的“规则数爆炸”问题。在改进算法当中，使用偏最小二乘算法对数据进行预处理、建立初始模型，再利用基于子空间划分的模糊系统模型对残差进行建模。通过ε不敏感损失函数和子空间的划分达到模型的置信范围与经验风险的折中，实现了结构风险最小化。由于偏最小二乘算法泛化能力较差，本文将支持向量机算法和偏最小二乘算法结合，提出了基于结构风险最小化的加权偏最小二乘算法。使用支持向量机训练算法计算加权偏最小二乘算法中外模型的线性回归模型，实现了结构风险最小化原则。然后本文将支持向量机算法应用于T-S模糊系统模型的建模过程中，提出了基于支持向量机的T-S模糊系统模型的建模方法。该算法以支持向量为中心在论域空间模糊聚类，然后根据聚类结果形成模糊规则：模糊规则的前件为聚类中心，后件为对应该类的的线性偏最小二乘回归模型。不但可以自适应地建立T-S模糊系统模型，而且实现了结构风险最小化原则。为了能够在对时变系统建模或存在大数据量时建模过程中完成野点检测算法，本文提出了鲁棒递推偏最小二乘算法，解决了通常情况下计算量大的问题。通过将递推偏最小二乘法与鲁棒主分量回归算法相结合，不但有效解决了计算量大的问题，而且有效避免了存在多个野点时的掩盖和淹没现象。接触网检测对于高速电气化铁路安全运营意义重大。本文基于所提出的鲁棒算法研究了弓网关系的非线性模型。经过数据标准化和去除野点后，使用偏最小二乘法构造有效的输入—输出数据，最后使用支持向量机算法建立非线性模型。仿真结果说明模型精度能够满足实际要求。

全文目录

摘要  7-9
Abstract  9-14
第1章绪论  14-40
  1.1 研究背景和选题意义  14-15
  1.2 偏最小二乘算法研究的历史与现状  15-20
    1.2.1 偏最小二乘算法的起源与发展  15-16
    1.2.2 偏最小二乘算法的研究现状  16-20
  1.3 机器学习的研究历史与统计学习理论基础  20-29
    1.3.1 机器学习的研究历史  20-22
    1.3.2 统计学习理论基础  22-29
  1.4 支持向量机理论研究的发展  29-32
    1.4.1 SVM的算法研究  29-31
    1.4.2 SVM的应用研究  31
    1.4.3 SVM的核函数和模型选择研究  31-32
  1.5 模糊系统模型理论研究的历史与现状  32-36
    1.5.1 模糊系统模型理论的起源与发展  32-33
    1.5.2 模糊系统模型理论的研究现状  33-36
  1.6 本文的研究工作和创新点  36-40
第2章核偏最小二乘算法  40-60
  2.1 引言  40-41
  2.2 核偏最小二乘算法  41-53
    2.2.1 简化批处理 PLS算法  41-45
    2.2.2 S-KPLS算法  45-48
    2.2.3 一种 KPLS模型实际风险的指标  48-51
    2.2.4 仿真计算  51-53
  2.3 分块核偏最小二乘法  53-59
    2.3.1 BKPLS算法  54-56
    2.3.2 BKPLS与 KPLS的区别  56-58
    2.3.3 仿真计算  58-59
  2.4 小结  59-60
第3章 PLS算法在基于子空间划分的模糊系统中的应用  60-78
  3.1 引言  60-61
  3.2 基于规则的模糊系统模型  61-64
  3.3 基于子空间划分的模糊系统模型  64-71
    3.3.1 基于子空间划分的模糊系统模型  64-66
    3.3.2 SPFS的系统模型辨识算法  66-68
    3.3.3 SPFS是万能逼近器的证明  68-69
    3.3.4 仿真计算  69-70
    3.3.5 关于 SPFS的进一步讨论  70-71
  3.4 改进的基于子空伺划分的模糊系统模型  71-76
    3.4.1 SPFS辨识算法的改进  72-74
    3.4.2 仿真计算  74-76
  3.5 小结  76-78
第4章基于 SVM的 PLS改进算法  78-98
  4.1 引言  78
  4.2 支持向量机算法  78-82
  4.3 基于 SRM的 WPLS算法  82-87
    4.3.1 基于 SRM的 WPLS算法  82-84
    4.3.2 仿真计算  84-87
  4.4 基于 SVM的 T-S模糊系统模型辨识  87-95
    4.4.1 规则前件的抽取  87-88
    4.4.2 规则后件的辨识  88-90
    4.4.3 基于 SVM的T-S模糊系统模型的预测  90-91
    4.4.4 仿真计算  91-95
  4.5 小结  95-98
第5章鲁棒PLS算法及其在接触网故障检测中的应用  98-118
  5.1 引言  98-99
  5.2 鲁棒递推 PLS算法  99-110
    5.2.1 递推 PLS算法  99-102
    5.2.2 鲁棒主分量回归算法  102-104
    5.2.3 鲁棒 RPLS算法  104-106
    5.2.4 仿真计算  106-110
  5.3 鲁棒偏最小二乘算法在接触网检测中的应用  110-117
    5.3.1 问题描述  110-111
    5.3.2 模型建立过程  111-114
    5.3.3 仿真计算  114-117
  5.4 小结  117-118
第6章结论与展望  118-120
致谢  120-121
参考文献  121-133
攻读博士学位期间的论文及科研情况  133

偏最小二乘算法及其在基于结构风险最小化的机器学习中的应用

内容摘要

全文目录

相似论文