学位论文 > 优秀研究生学位论文题录展示

支持向量回归机算法理论研究与应用

作　者: 曾绍华
导　师: 曹长修
学　校: 重庆大学
专　业: 控制理论与控制工程
关键词: 支持向量回归机组合优化整数规划异常数据故障检测目标变量铁水脱硫提钒
分类号: TP301.6
类　型: 博士论文
年　份: 2006年
下　载: 1916次
引　用: 21次
阅　读: 论文下载

内容摘要

支持向量机(Support Vector Machine,SVM)是由Boser,Guyon和Vapnik发明,并首次在计算学习理论(COLT)1992年年会论文中提出。它是继人工神经网络后,智能计算领域发展的又一里程碑。支持向量机以严格证明的统计学习理论为基础,使用核函数把数据从样本空间映射到高维特征空间,将非线性问题转化为线性可分问题,获得最优解,是一重大的理论创新。支持向量机有严密的数学基础,训练结果只与支持向量有关,且泛化性强,成为了解决非线性问题的重要工具,因此,受到智能计算领域学者的广泛关注,在模式分类和回归领域得到了广泛的应用。本文在前人成果及前期工作的基础上,根据支持向量机训练结果只与支持向量有关的特性,重点研究了大样本条件下,以降低核矩阵规模、逐步搜索支持向量、快速构建支持向量回归机(Support Vector Regression,SVR)为目的的SVR算法;以及在异常数据剔除、故障检测、没有确切定义的目标变量定义和铁水脱硫、提钒中的应用。论文的主要创新点可以归纳如下:(1)简要证明支持向量回归机存在近似超平面。根据支持向量机训练结果只与支持向量有关,与非支持向量无关,且支持向量分布于超平面附近也必然分布于其近似超平面附近的特性,提出了从近似超平面出发构建的支持向量回归机算法――支持向量逐步回归机算法。算法的核心思想是:应用核函数k ( x , x_i )( x_i为支持向量)转换训练样本到特征空间;计算在特征空间中样本点到近似超平面的距离,并按距离升序对样本排序;抽取距近似超平面距离最小的m个样本与上次训练的近似超平面的k个支持向量一起构成新的训练样本子集;训练新的近似超平面;这样反复循环,逐步搜索支持向量。由于转换训练样本到特征空间的时间复杂度与近似超平面支持向量个数k有关,转换计算费时,用|y-f(x)|代替样本点到近似超平面的距离改进支持向量逐步回归机算法,可减少训练样本从样本空间向特征空间转换的时间花销。由于每次从搜索剩余样本中抽取距近似超平面最近的m个样本时,按照距近似超平面的距离升序对训练样本排序要花费O(l~2)的时间花销,改进该步可降低支持向量逐步回归机算法的时间复杂度。其改进思想是:将搜索剩余样本的前面m个样本距近似超平面的距离和样本编号存入2m个存储单元中;求取这m个样本中距近似超平面的距离最大样本的距离及样本编号;每计算一个新样本距近似超平面的距离就与之比较,如果新样本的距离小于这个最大距离,就用它置换存储的m个样本中距近似超平面距离最大样本;执行一次循环抽取m个样本。改进后,

全文目录

中文摘要  3-5
英文摘要  5-13
1 绪论  13-21
  1.1 研究问题的提出  13-15
  1.2 支持向量回归机的研究进展  15-17
  1.3 论文选题的目的、意义及研究的内容  17-19
  1.4 论文的主要工作内容及组织  19-21
2 支持向量回归机的基本理论  21-41
  2.1 机器学习理论  21-22
    2.1.1 模式分类  21
    2.1.2 回归（函数）估计  21-22
  2.2 统计学习理论  22-27
    2.2.1 经验风险最小化准则  22-23
    2.2.2 统计学习理论研究的核心内容  23
    2.2.3 统计学习一致性的条件  23-24
    2.2.4 VC 维与推广性的界  24-25
    2.2.5 结构风险最小化准则  25-27
  2.3 支持向量回归机的基本理论  27-33
    2.3.1 二分类问题的最优分类超平面  27-31
    2.3.2 支持向量回归机的超平面  31-33
  2.4 支持向量回归机的基本算法简介  33-40
    2.4.1 硬ε-SVR  33-35
    2.4.2 C-SVR  35-36
    2.4.3 V-SVR  36-37
    2.4.4 Chunking 算法  37-38
    2.4.5 Decomposition 算法  38-39
    2.4.6 SMO 算法  39-40
  2.5 本章小结  40-41
3 从近似超平面到支持向量回归机的算法研究及应用  41-69
  3.1 引言  41
  3.2 算法思想  41-43
    3.2.1 支持向量机的近似超平面存在定理及证明  42-43
    3.2.2 近似超平面的有效性  43
  3.3 搜索支持向量的算法设计  43-45
    3.3.1 搜索策略  43-44
    3.3.2 相关搜索策略的可行性证明  44-45
    3.3.3 终止条件  45
    3.3.4 本节小结  45
  3.4 从样本中心点出发构建C－SVR 算法研究及应用  45-50
    3.4.1 数据的归一化处理  46
    3.4.2 初始训练样本子集的确定  46
    3.4.3 搜索算法及复杂度分析  46-48
    3.4.4 应用实例及分析  48-50
  3.5 从多元回归平面出发构建LS-SVM 的算法研究及应用  50-57
    3.5.1 LS-SVM 的线性方程组解法  50-51
    3.5.2 LS-SVM 的稀疏化  51-52
    3.5.3 数据预处理及多元回归的计算  52
    3.5.4 从多元回归平面构建LS-SVM 的算法  52-54
    3.5.5 应用实例及分析  54-57
  3.6 算法的改进  57-60
    3.6.1 上述算法存在的问题  57
    3.6.2 支持向量逐步回归机算法改进思想  57
    3.6.3 支持向量逐步回归机改进算法及复杂度分析  57-60
    3.6.4 算法改进的附带作用  60
  3.7 支持向量逐步回归机算法的再次改进及其复杂度分析  60-63
    3.7.1 算法存在的问题  60
    3.7.2 再次改进支持向量逐步回归机的算法思想  60-61
    3.7.3 再次改进后支持向量逐步回归机算法及复杂度分析  61-63
  3.8 每次搜索新训练样本个数m 的优化  63-65
    3.8.1 优化问题的提出  63-64
    3.8.2 m的优化算法  64-65
  3.9 支持向量逐步回归机改进算法的仿真实验  65-68
    3.9.1 训练样本的获取  65
    3.9.2 算法的函数拟合效果实验与分析  65-66
    3.9.3 算法的计算时间及收敛性实验  66-68
  3.10 本章小结  68-69
4 LS-SVM 的组合优化算法研究  69-83
  4.1 引言  69
  4.2 组合优化算法思想  69-71
  4.3 LS-SVM 的组合优化算法及复杂度分析  71-76
    4.3.1 不精确的LS-SVM 组合优化算法及复杂度分析  71-72
    4.3.2 精确的LS-SVM 组合优化算法及复杂度分析  72-73
    4.3.3 算法分析与改进  73-76
    4.3.4 与其它LS-SVM 算法的比较  76
  4.4 划分的训练样本子集包含样本个数 p 的优化  76-78
    4.4.1 优化问题的提出  76
    4.4.2 p 的优化算法  76-78
  4.5 仿真实验  78-82
    4.5.1 训练样本的获取  78
    4.5.2 p 的优化实验  78
    4.5.3 算法的函数拟合效果实验与分析  78-80
    4.5.4 算法的计算时间及收敛性实验与分析  80-82
  4.6 本章小结  82-83
5 剔除支持向量回归中异常数据的算法研究及在故障检测中的应用  83-103
  5.1 引言  83
  5.2 算法思想  83-85
    5.2.1 异常数据分析  83-84
    5.2.2 剔除异常数据的算法思想  84-85
    5.2.3 剔除异常数据支持向量回归机的选择  85
  5.3 剔除支持向量回归异常数据的算法及复杂度分析  85-87
    5.3.1 剔除小样本中异常数据的算法及复杂度分析  85-86
    5.3.2 剔除大样本中异常数据的算法及复杂度分析  86-87
  5.4 仿真实验及分析  87-91
    5.4.1 剔除小样本中异常数据算法的仿真实验  87-89
    5.4.2 剔除大样本中异常数据算法的仿真实验  89-91
  5.5 在故障检测中的应用  91-102
    5.5.1 引言  91-92
    5.5.2 故障检测的原理  92
    5.5.3 故障检测的手段  92-93
    5.5.4 故障检测算法  93-96
    5.5.5 故障检测仿真  96-102
  5.6 本章小结  102-103
6 SVR 实现没有确切定义目标变量的非线性定义及其应用研究  103-111
  6.1 引言  103
  6.2 目标变量的粗略定义  103-105
    6.2.1 粗略定义目标变量的算法思想  103-104
    6.2.2 “温度计――洋葱头”算法  104-105
    6.2.3 定义目标变量指标的确定原则  105
  6.3 定义目标变量指标的优化  105-106
  6.4 定义的适应性分析及其非线性定义的支持向量回归机实现  106-107
    6.4.1 目标变量定义的适应性分析  106
    6.4.2 支持向量回归机实现目标变量的非线性定义  106-107
  6.5 应用实例及分析  107-110
    6.5.1 从数据仓库清洗出相关的评价指标  108
    6.5.2 定义供应商经济合作和效能指数  108
    6.5.3 优化供应商经济合作和效能评价指标  108-110
    6.5.4 建立供应商经济合作和效能评价支持向量回归机  110
    6.5.5 算例分析  110
  6.6 本章小结  110-111
7 支持向量回归机在铁水脱硫、提钒中的应用  111-117
  7.1 引言  111
  7.2 铁水脱硫、提钒原理  111
  7.3 铁水脱硫、提钒的支持向量回归机  111-114
    7.3.1 铁水脱硫、提钒数据的收集  111-112
    7.3.2 异常数据的剔除  112
    7.3.3 铁水脱硫、提钒仿真实验与分析  112-114
  7.4 本章小结  114-117
8 总结与展望  117-121
  8.1 总结  117-118
  8.2 展望  118-121
致谢  121-123
参考文献  123-133
附录  133-134
  A 作者在攻读博士学位期间发表的论文目录  133-134
  B 作者在攻读博士学位期间参加的科研项目  134

支持向量回归机算法理论研究与应用

内容摘要

全文目录

相似论文