学位论文 > 优秀研究生学位论文题录展示

支持向量机的算法研究

作　者: 刘丽霞
导　师: 杨晓光
学　校: 大连海事大学
专　业: 应用数学
关键词: 支持向量机序列最小优化算法 KKT条件对偶问题收敛性
分类号: TP181
类　型: 硕士论文
年　份: 2009年
下　载: 260次
引　用: 0次
阅　读: 论文下载

内容摘要

支持向量机(SVM)是20世纪90年代中期出现的机器学习技术,是近年来机器学习领域的研究热点。这项技术从提出到现在不过十年时间,但其研究进展非常之快之大。它有坚实的理论基础,应用上也是有口皆碑。这项既经得起理论推敲又经得起实践检验的技术,是传统机器学习技术不能比的,它的发展潜力是令人鼓舞的。本文着重研究了支持向量机的序列最小优化(SMO)算法。论文共分五部分。第一部分是引言,概述了论文研究的背景,论文所要解决的问题。第二部分首先阐述了统计学习理论的产生,然后描述了统计学习理论的概貌。第三部分是支持向量机。支持向量机训练问题归结为求解一个最优化问题,首先给出线性可分SVM的原始优化问题,并从三个方面研究了这个原始优化问题:1)判断这个问题是凸二次规划问题;2)得出这个问题的对偶问题;31求其KKT条件,然后按照这个思想研究了线性不可分SVM和非线性SVM。最后给出SVM的显著特征和重要思想及其SVM的应用。第四部分详细分析了SMO算法。给出了SMO算法的推导过程以及每个子优化问题每步两个优化变量的选择策略。第五部分研究了SMO算法的改进及其收敛性。SMO算法通常采用的核函数是高斯核函数,在对数据进行测试时,发现测试错误率较高。SVM通常采用三种不同类型的核函数,通过对它们各自特点的分析,本文找到一种组合核函数——高斯核函数和多项式核函数的组合,并对数据进行测试,实验结果表明:测试错误率较低。本部分还分析了SMO算法的收敛性,首先推导SVM对偶问题的最优性条件,进而证明了SMO算法的收敛性定理。

全文目录

摘要  5-6
ABSTRACT  6-10
引言  10-12
第1章支持向量机理论基础  12-19
  1.1 统计学习理论的产生  12-13
  1.2 统计学习理论  13-19
    1.2.1 学习问题的模型  13-15
    1.2.2 经验风险最小化原则  15-16
    1.2.3 VC维  16-17
    1.2.4 推广能力的界  17
    1.2.5 结构风险最小化原则  17-19
第2章支持向量机  19-31
  2.1 支持向量机分类  19-28
    2.1.1 最优分类面  19-20
    2.1.2 线性可分SVM  20-24
    2.1.3 线性不可分SVM  24-27
    2.1.4 非线性SVM  27-28
  2.2 支持向量机的应用  28-31
    2.2.1 生物信息处理  28-29
    2.2.2 文本分类  29
    2.2.3 数据挖掘  29-31
第3章支持向量机的经典算法剖析  31-42
  3.1 Chunking算法  31-32
  3.2 分解算法  32-33
  3.3 SMO算法  33-42
    3.3.1 两变量的二次规划子问题  33-37
    3.3.2 一次成功优化后相关变量的更新  37-40
    3.3.3 待优化变量的选择及SMO算法步骤  40-42
第4章 SMO算法的改进及其收敛性  42-51
  4.1 SMO算法的改进  42-43
    4.1.1 输入数据处理为稀疏矩阵  42
    4.1.2 核函数的改进  42-43
  4.2 试验结果及分析  43-44
  4.3 SMO算法的收敛性  44-51
    4.3.1 SVM对偶问题及其最优性条件  44-47
    4.3.2 SMO算法的终止  47-51
第5章结论  51-52
  5.1 本文主要工作  51
  5.2 前景及展望  51-52
参考文献  52-55
致谢  55

支持向量机的算法研究

内容摘要

全文目录

相似论文