学位论文 > 优秀研究生学位论文题录展示

基于高斯过程的在线建模问题研究

作　者: 申倩倩
导　师: 孙宗海
学　校: 华南理工大学
专　业: 控制理论与控制工程
关键词: 高斯过程在线建模 CSTR系统 Mackey-Glass系统数据预处理
分类号: TP181
类　型: 硕士论文
年　份: 2011年
下　载: 40次
引　用: 0次
阅　读: 论文下载

内容摘要

高斯过程(Gaussian Process,简称GP)作为一种非参数概率模型,已经成为机器学习领域重要的学习方法之一,它相对于神经网络和支持向量机的优点在于既能给出模型的响应输出,又能给出输出的不确定度,也即输出值的方差。高斯过程建模方法主要基于统计学习理论,用于分类和回归问题,在解决小样本、非线性问题中具有独特的优势。同其他建模方法相比,高斯过程具有参数少的优点,但其参数优化过程仍然是模型辨识中最耗时的一部分。最优化超参数最常见的训练方法是共轭梯度法,不过这种方法必须计算海森矩阵,从而导致在迭代过程中耗费了大量的计算时间,不符合在线算法的实时性要求。同时高斯过程的时间复杂度与样本量密切相关,在训练样本数目比较大的时候,高斯过程的协方差矩阵及其逆的计算将十分浪费计算资源和时间。因此,对于在线训练算法,如果直接对其进行计算将会影响算法的实时性。自适应自然梯度(Adaptive Natural Gradient,简称ANG)是基于黎曼空间的优化方法,相比牛顿梯度法,有着计算简便和接近于高效率Fisher方法的优点,所以针对上面提到的问题,本文提出了基于自适应自然梯度(ANG)的高斯过程在线算法,将自适应自然梯度用于高斯过程模型的优化中。与批量式学习算法不同,增量式学习方法能对迭代过程中增加的样本进行学习,利用前一次迭代的运算结果,减少时间复杂度,从而实现在较小的时间代价下学习新的样本。高斯过程在线算法不断地将新数据加入到训练集,通过在线调整模型的参数,实现高斯过程模型的实时优化。这样不但能提高其训练速度,而且还能提高模型的适应能力。将上述算法运用在Mackey-Glass系统和连续搅拌反应釜(Continuous Stirred Tank Reactor,简称CSTR)模型的建立中。仿真结果表明此算法满足非线性系统建模的实时性和精度的要求。最后,本文针对高斯过程在线建模中出现的数据冗余问题,利用相关性分析、数据规范化和调节概率密度阈值的方法,对数据进行预处理,减小冗余度,从而进一步提高模型训练的速度。

全文目录

摘要  5-6
Abstract  6-10
第一章绪论  10-16
  1.1 课题的背景和意义  10-11
  1.2 高斯过程研究现状  11-15
    1.2.1 国外研究现状  11-14
    1.2.2 国内研究现状  14-15
  1.3 本文的主要研究内容  15-16
第二章高斯过程介绍  16-28
  2.1 学习方法  16
  2.2 高斯过程  16-22
    2.2.1 权值空间论  17-20
    2.2.2 函数空间论  20-22
  2.3 协方差函数  22-27
    2.3.1 均方的连续性和可微性  24
    2.3.2 平稳协方差函数  24-25
    2.3.3 非平稳协方差函数  25-26
    2.3.4 构造协方差函数的方法  26-27
  2.4 本章小结  27-28
第三章自然梯度法介绍  28-36
  3.1 黎曼空间  28-29
  3.2 牛顿梯度法  29-30
  3.3 自然梯度法  30-33
  3.4 Fisher 信息矩阵  33
  3.5 自适应自然梯度  33-35
  3.6 本章小结  35-36
第四章高斯过程在线建模算法及仿真  36-55
  4.1 高斯过程在线算法  36-41
    4.1.1 无噪声高斯过程在线回归算法  37-40
    4.1.2 带白噪声的高斯过程在线回归算法  40-41
  4.2 计算优化  41-48
    4.2.1 矩阵逆的直接计算  41-42
    4.2.2 矩阵逆的估计  42-43
    4.2.3 用于加速协方差函数计算的缓存方法  43-45
    4.2.4 改进后的高斯过程在线算法及其复杂度分析  45-48
  4.3 仿真及分析  48-54
    4.3.1 Mackey-Glass 模型仿真  48-50
    4.3.2 CSTR 模型仿真  50-54
  4.4 本章小结  54-55
第五章结合数据预处理的高斯过程在线算法及仿真  55-70
  5.1 数据预处理  55-60
    5.1.1 输入数据间的相关性分析  55-56
    5.1.2 输入输出间相关性分析  56-57
    5.1.3 迭代过程中的冗余数据处理  57-58
    5.1.4 输入数据规范化处理  58-60
  5.2 结合数据预处理的高斯过程在线算法  60-61
  5.3 仿真与分析  61-69
  5.4 本章小结  69-70
结论与展望  70-72
  1 结论  70
  2 展望  70-72
参考文献  72-76
攻读硕士学位期间取得的研究成果  76-77
致谢  77-78
附件  78

基于高斯过程的在线建模问题研究

内容摘要

全文目录

相似论文