学位论文 > 优秀研究生学位论文题录展示

Lp正则化在支持向量机中的应用研究

作　者: 曾文才
导　师: 贾泂
学　校: 浙江师范大学
专　业: 计算机软件与理论
关键词: 正则化结构风险支持向量机半监督学习平滑稀疏
分类号: TP181
类　型: 硕士论文
年　份: 2012年
下　载: 49次
引　用: 0次
阅　读: 论文下载

内容摘要

正则化方法用近似解来逼近原不适定问题的解,是在工程技术领域中解决不适定问题的重要数学方法。在机器学习领域中,不同的正则化方法对同一机器学习方法来说具有不同的学习性能。如何选择正则化方法是机器学习研究领域中的一个重要话题。传统统计学习方法只最小化经验风险,往往会产生过学习问题。要提高分类器的分类性能,需要增加训练样本量和凭借专家经验来选择分类函数模型。而统计机器学习方法提出了分类函数的VC维、泛化能力、泛化能力的界以及结构风险等理论,并指出,在训练分类器时同时最小化经验风险和置信范围可以降低分类函数的复杂度,解决过学习问题和小样本问题,以及提高分类器的泛化能力。当遇到有些样本的分布是线性不可分时,如果采用线性分类模型进行分类,其分类性能就会很差。此时可以利用非线性映射方法把原输入样本空间映射到更高维甚至是无限维的特征空间,在特征空间中可以实现线性分开这些样本。在实际应用中,可以利用满足Mercer定理的核函数内积来代替这种非线性映射方法。针对只遵循ERM准则的机器学习方法会产生过学习的问题,现有支持向量机在经验风险一定的情况下,通过引用Lp(p=2,p=1)正则化来降低分类函数的VC维,实现SRM准则,能够解决过学习问题和小样本问题,提高了分类器的泛化能力。本文的主要工作有：(1)对正问题、反问题、不适定问题、Moore-Penrose广义解、广义解的不稳定性、正则化原理、正则化方法、统计机器学习原理以及统计学习理论中的VC维、泛化能力、泛化能力的界、SRM准则等与支持向量机相关的基础性理论作了详细的探讨。(2)在有监督学习框架下和半监督学习框架下,探讨了Lp(p=2,p=1)正则化线性支持向量机方法和核支持向量机方法,以及流形正则化支持向量机,并利用这些方法对合成的两圆数据集和现实的四种两类数据集进行了分类性能的比较实验,验证了核支持向量机把非线性可分样本映射到高维特征空间中后,能够实现线性分开这些样本,以及引入训练样本的内蕴几何信息,可以提高支持向量机的分类性能,同时得出各数据集的分布特点以及各算法的分类性能特点和ROC曲线特征。(3)结合稀疏思想及现有平滑函数的优点,采用高斯平滑函数集来逼近Lp(p=0)正则化项,提出了平滑稀疏正则化支持向量机,详细探讨了其优化步骤。平滑稀疏正则化支持向量机可以训练出模型更简单的分类器,并具有样本特征选择的特性。并与现有支持向量机算法在5个两类和多类数据集上进行了实验比较,得出了平滑稀疏正则化支持向量机方法的有效性。同时发现,对于多类数据集来说,内在分类器模型具有一定的复杂性,而训练出来的分类器对多类数据集来说不是越简单越好。

全文目录

摘要  3-5
ABSTRACT  5-7
目录  7-10
1 绪论  10-15
  1.1 机器学习概述  10-12
    1.1.1 机器学习  10
    1.1.2 机器学习方法及其算法  10-11
    1.1.3 机器学习的应用及其研究现状  11-12
  1.2 支持向量机  12
  1.3 本文的主要工作  12-13
  1.4 本文的章节安排  13-15
2 支持向量机的基础理论  15-27
  2.1 正则化理论  15-21
    2.1.1 相关概念  15-18
      2.1.1.1 正问题和反问题  15-16
      2.1.1.2 不适定反问题  16-17
      2.1.1.3 Moore-Penrose广义解  17
      2.1.1.4 广义解的不稳定性  17-18
    2.1.2 正则化原理与方法  18-21
      2.1.2.1 正则化原理  18-20
      2.1.2.2 正则化方法  20-21
  2.2 统计机器学习理论  21-25
    2.2.1 机器学习原理  21-22
    2.2.2 统计学习理论  22-25
      2.2.2.1 经验风险最小化准则  22-23
      2.2.2.2 VC维理论与泛化能力  23-24
      2.2.2.3 泛化能力的界  24-25
      2.2.2.4 结构风险最小化  25
  2.3 支持向量机  25-26
  2.4 本章小结  26-27
3 比较Lp正则化支持向量机的分类性能  27-41
  3.1 在有监督学习框架下的正则化支持向量机  27-32
    3.1.1 线性支持向量机基本原理  27-29
    3.1.2 线性支持向量机的改进  29-30
    3.1.3 核支持向量机  30-32
  3.2 在半监督学习框架下的正则化支持向量机  32-33
  3.3 实验  33-39
    3.3.1 合成数据：两个圆数据集  33-35
    3.3.2 现实数据：四个常用数据集  35-39
  3.4 本章小结  39-41
4 平滑稀疏正则化SVM的研究  41-48
  4.1 概述  41-42
  4.2 稀疏正则化SVM  42-43
    4.2.1 L_1范数正则化SVM  42
    4.2.2 L_0范数正则化SVM  42
    4.2.3 平滑稀疏正则化SVM  42-43
  4.3 平滑稀疏正则化SVM算法  43-45
  4.4 实验  45-47
  4.5 本章小结  47-48
5 总结与展望  48-50
  5.1 本文工作总结  48
  5.2 本文工作展望  48-50
参考文献  50-56
攻读硕士学位期间主要的研究成果  56-57
致谢  57-59

Lp正则化在支持向量机中的应用研究

内容摘要

全文目录

相似论文