学位论文 > 优秀研究生学位论文题录展示

基于多任务的多层次选择性集成学习的研究

作　者: 吴科主
导　师: 汪家常
学　校: 安徽工业大学
专　业: 管理科学与工程
关键词: 集成学习选择性集成学习 PCA 多任务学习决策树多层次选择性集成
分类号: TP181
类　型: 硕士论文
年　份: 2010年
下　载: 48次
引　用: 0次
阅　读: 论文下载

内容摘要

泛化能力是指训练好的算法对新样本的适应能力,如何有效提高算法的泛化性能是目前机器学习界研究的重大挑战之一,在前人的研究基础上支持向量机和集成学习已成为研究提高算法泛化性能的两种重要研究途径。集成学习是通过为某一问题训练出多个基学习器并将各基学习器的输出进行集成,它可以显著地提高学习系统的泛化能力。研究表明集成学习在基分类器的选择上存在研究困境,本文在集成学习的基础上通过多层次选择性集成策略、基于PCA的多任务学习很好的解决了这一问题,进一步提高基学习器的独立性和准确率,使得算法获得更好的泛化性能和准确率。本文的主要工作和创新点如下:①分析了选择性集成学习中基分类器的选择性问题,并提出通过多层次选择方案来解决这一难题,指明了解决这一问题的新思路,详细叙述了多层次选择性集成的思想。②给出了多层次选择性集成的数学基础,并分别从统计学的重采样方法的角度和几何角度对多层次选择性集成的有效性进行了解释。③研究了PCA相关理论,将PCA应用于多任务学习的辅助任务选择上,形成了基于PCA的多任务学习,进一步给出了基于PCA的多任务学习在集成学习中提高学习器泛化性能中的贡献和有效性。④在多层次选择性集成学习和基于PCA的多任务学习的基础上构造了基于多任务学习的多层次选择性集成算法MR-BMLSEN。在决策树算法的基础上基于WEKA平台使用UCI数据集给出了实验结果,并与传统机器学习算法J48、Adaboost、Bagging作了比较分析,最后给出了MR-BMLSEN算法的置信度分析和有效性说明。

全文目录

摘要  2-3
Abstract  3-6
第1章引言  6-18
  1.1 研究背景  6-8
  1.2 国内外研究现状综述  8-16
    1.2.1 从统计学的发展看采样方法  8-12
    1.2.2 从计算机的发展看集成学习  12-14
    1.2.3 本文涉及到的其他算法简述  14-16
      1.2.3.1 分类问题  14-15
      1.2.3.2 决策树算法  15-16
  1.3 研究目的和意义  16
  1.4 本文工作  16-17
  1.5 论文组织  17-18
第2章多层次选择性集成的思想研究  18-21
  2.1 集成学习的思想  18-19
  2.2 多层次选择的基本思想  19-21
第3章多任务学习的研究  21-33
  3.1 多任务学习的起源与思想  21-24
  3.2 辅助学习概念选择  24-25
  3.3 主成分提取（PCA）  25-32
  3.4 多任务学习在集成学习中的贡献  32-33
第4章基于多任务学习的多层次选择性集成算法的研究  33-45
  4.1 MR-MLBSEN 算法  33-34
  4.2 实验比较  34-40
    4.2.1 Weka 平台  34-35
    4.2.2 实验设置与结果  35-40
  4.3 实验分析  40-44
    4.3.1 几何有效性分析  40-42
    4.3.2 置信度分析  42-44
  4.4 结论  44-45
第5章 MR-MLBSEN 算法的数学基础  45-55
  5.1 PAC 定理  45-50
  5.2 选择性集成定理  50-55
    5.2.1 回归问题  50-52
    5.2.2 分类问题  52-55
第6章结论与工作展望  55-58
  6.1 本文的工作回顾  55-56
  6.2 小结与感想  56
  6.3 工作展望  56-58
参考文献  58-61
附录A 插图或附表目录  61-63
攻读硕士学位期间的科研工作  63-64
致谢  64

基于多任务的多层次选择性集成学习的研究

内容摘要

全文目录

相似论文