学位论文 > 优秀研究生学位论文题录展示

学习理论中正则化算法若干问题的研究

作　者: 朱玉奎
导　师: 孙红卫
学　校: 济南大学
专　业: 应用数学
关键词: 学习理论学习速度再生核希尔伯特空间回归学习
分类号: O177.6
类　型: 硕士论文
年　份: 2012年
下　载: 26次
引　用: 0次
阅　读: 论文下载

内容摘要

本文的主要研究对象是学习理论中的谱正则化算法。谱正则化算法是一类基于再生核Hilbert空间（RKHS）的学习型算法，该算法通过定义正则化函数族将不同的正则化算法统一起来，进而研究这些算法的共同性质。我们主要讨论谱正则化算法的一致性及其它正则化算法相关问题。本文主要采用积分算子的技巧讨论谱正则化算法的一致性。在谱正则化算法的一致性分析中，主要的创新点有两个：第一，重新定义了正则化函数，推广了现有文献中的谱正则化算法；第二，弱化了现有文献中用于证明谱正则化算法一致性的正则化条件。具体为：现有文献讨论的谱正则化算法不包括正则项取l2范数时的系数正则化算法，我们给出的谱正则化算法的定义包含了该算法；现有文献将正则化条件限定在再生核Hilbert空间（RKHS）上，我们将其推广到平方可积函数类上。在以上工作的基础上，我们研究了谱正则化算法的一致性，导出了逼近误差界，结合正则项取l2范数时的系数正则化算法和正则化最小二乘算法给出了学习速率且与文献中的结果做了比较并且针对正则项取l2范数时的系数正则化算法和正则化最小二乘算法作了算法仿真。除此之外，我们还结合现有文献中关于谱正则化算法的稀疏性条件研究了稀疏性背景下谱正则化算法的一致性，给出了逼近误差界。本文还讨论了如下问题：多维分布的精确度矩阵的学习以及非对称核性质的证明。此部分工作的创新点是：一、利用一个逼近算法把对精确度矩阵的估计转化成对协方差矩阵的估计；二、构造一秩算子研究非对称核,将非对称核的性质推广到一般的向量空间上。

全文目录

摘要  7-8
Abstract  8-9
第一章绪论  9-21
  1.1 经典的统计学习理论  9-12
  1.2 再生核 Hilbert 空间与积分算子、样本算子  12-15
    1.2.1 再生核 Hilbert 空间  12-13
    1.2.2 积分算子  13-14
    1.2.3 样本算子  14-15
  1.3 学习理论中的正则化算法  15-21
    1.3.1 学习理论中的正则化思想  15-17
    1.3.2 正则化回归学习算法  17-18
    1.3.3 回归函数逼近与正则化条件  18-21
第二章谱正则化算法的一致性分析  21-47
  2.1 引言  21-23
    2.1.1 谱正则化算法  21-22
    2.1.2 误差分解及正则化条件  22-23
  2.2 相关引理  23-29
  2.3 误差分析  29-33
    2.3.1 逼近误差的估计  29-30
    2.3.2 样本误差的估计  30-33
  2.4 学习速率  33-35
    2.4.1 正则化最小二乘算法学习速率  33-34
    2.4.2 l 2系数正则化算法学习速率  34-35
  2.5 算法仿真  35-40
    2.5.1 正则化最小二乘算法仿真  35-38
    2.5.2 l~2系数正则化算法仿真  38-40
  2.6 稀疏性背景下谱算法的一致性分析  40-47
    2.6.1 稀疏性条件  40-42
    2.6.2 相关引理  42-43
    2.6.3 误差分析  43-47
第三章多维分布的精确度矩阵的学习  47-51
  3.1 引言  47-48
  3.2 相关引理  48-50
  3.3 主要结果的证明  50-51
第四章非对称核的性质及推广  51-55
  4.1 引言  51
  4.2 非对称核性质的推广  51-55
参考文献  55-61
致谢  61-63
附录  63

学习理论中正则化算法若干问题的研究

内容摘要

全文目录

相似论文