学位论文 > 优秀研究生学位论文题录展示

基于间隔分布的Boosting算法研究

作　者: 郭光绪
导　师: 陈松灿
学　校: 南京航空航天大学
专　业: 计算机应用技术
关键词: Boosting算法间隔分布间隔控制推广性支持向量机
分类号: TP181
类　型: 硕士论文
年　份: 2012年
下　载: 21次
引　用: 0次
阅　读: 论文下载

内容摘要

Boosting是机器学习领域一种流行的、用来提高学习精度的设计框架，它通过若干个弱分类器的线性组合构造一个强分类器，使该强分类器的分类精度远高于单个弱分类器。AdaBoost是Boosting类算法中最具代表性的算法，经验表明AdaBoost的推广性随着弱分类器数目的增加而增加，但罕有过拟合现象发生。这一现象吸引了众多后续研究并导致若干理论上的解释，其中最成功的当属Schapire的间隔理论。间隔理论表明训练样本的间隔分布对推广性的影响至关重要，然而间隔分布的好坏是一个模糊概念，因此最近提出的许多算法都是通过优化某个间隔好坏的度量函数来获得一个好的间隔分布，从而提高推广性。本文的研究主要围绕基于间隔分布的Boosting算法，主要工作总结如下：1.回顾了AdaBoost、L2Boost、LPBoost、AdaBoost-CG与MDBoost等典型的Boosting算法，并分析了它们的参数对间隔分布的影响以及间隔分布对推广性的影响。2.提出了一个称之为MCBoost的新颖算法。不同于以往算法对间隔分布的间接控制，MCBoost通过优化一个间隔调节参数来直接控制间隔分布。MCBoost的实现采用了列生成技术，因此保证了快的收敛速度，使最终获得的组合分类器由尽可能少的弱分类器构成。通过实验我们证明了MCBoost在推广性上的优越性。3.将间隔控制思想推广到SVM算法领域，提出了一个新颖的改进算法G-SVM。实验证明，G-SVM获得的支持向量的稀疏性远优于传统的SVM算法。我们同时设计了G-SVM的多类算法，其复杂度仅等价于两类问题的SVM。

全文目录

摘要  4-5
ABSTRACT  5-11
第一章绪论  11-19
  1.1 Boosting 算法简介  11-13
  1.2 间隔理论及其发展  13-16
    1.2.1 间隔的定义  13
    1.2.2 间隔理论  13-14
    1.2.3 间隔理论的发展  14-16
  1.3 本文的主要工作和内容安排  16-19
第二章 Boosting 算法回顾及其间隔分析  19-37
  2.1 分类与经验风险最小化  19-20
  2.2 AdaBoost  20-22
  2.3 L2Boost  22-23
  2.4 LPBoost 和列生成技术  23-27
  2.5 AdaBoost-CG 和 MDBoost  27-28
  2.6 间隔分布的实验分析  28-35
    2.6.1 AdaBoost 间隔分布  28-30
    2.6.2 L2Boost 间隔分布  30-32
    2.6.3 LPBoost 间隔分析  32-33
    2.6.4 MDBoost 间隔分析  33-35
  2.7 本章小结  35-37
第三章基于间隔分布控制的 Boosting 算法（MCBoost）  37-51
  3.1 动机和主要思想  37-39
  3.2 MCBoost 的对偶问题与算法实现  39-41
  3.3 实验  41-50
    3.3.1 人工数据集  41-44
    3.3.2 UCI 数据集  44-46
    3.3.3 Wilcoxon 符号秩检验  46-47
    3.3.4 MCBoost 间隔分析  47-48
    3.3.5 MCBoost 收敛性能分析  48-50
  3.4 本章总结  50-51
第四章间隔控制思想在支持向量机中的推广  51-61
  4.1 支持向量机及其缺陷  51-53
  4.2 间隔控制推广算法 G-SVM  53-54
  4.3 多类问题  54-56
    4.3.1 多类算法 1  54-55
    4.3.2 多类算法 2  55-56
  4.4 实验  56-59
    4.4.1 人工数据集  56-58
    4.4.2 UCI 数据集  58-59
  4.5 本章总结  59-61
第五章总结与展望  61-63
  5.1 已有工作总结  61-62
  5.2 未来工作展望  62-63
参考文献  63-69
致谢  69-71
攻读硕士学位期间发表的学术论文  71

基于间隔分布的Boosting算法研究

内容摘要

全文目录

相似论文