学位论文 > 优秀研究生学位论文题录展示

集成分类器模型的研究

作　者: 周峰
导　师: 吕宝粮
学　校: 上海交通大学
专　业: 计算机软件与理论
关键词: 最小最大模块化网络大规模不平衡问题集成学习贝叶斯决策支持向量机
分类号: TP181
类　型: 硕士论文
年　份: 2007年
下　载: 209次
引　用: 3次
阅　读: 论文下载

内容摘要

集成学习是近年来机器学习研究中发展迅速的一个分支。与学习算法直接面对样本数据不同的是,它专注于维护一套建立在各种分类器算法之上的框架。通过将原问题分解,并学习得到多个分类器。然后考察这些局部区域的关系,运用特殊的组合方法将多个概念融合一体。问题分解的作用主要体现在以下几个方面:首先,随着面对问题的样本数不断增长,单个分类器算法越来越显得力不从心。甚至空间和时间复杂度超出了机器的最大处理能力。而将一个大问题化解为多个小问题来学习不失为一种解决途径;其次,单独分类器算法在设计时往往考虑了一种假设,当问题满足假设时分类器的能力会得到充分表现。但在复杂情况下,只从一个角度考虑问题有失妥当。我们可以从多个角度把握整体概念;另外,真实数据中是含有噪声的。若未加区别地对待会造成模型的过拟合。我们需要一种机制可以将噪声强烈的部分剔除,以此得到更恰当的模型。集成学习在多类问题是一种较为流行的解决方法。主要是将样本数据按照类之间的界面进行一对一或一对多分解,以此转化为二类问题,然后运用投票法进行类别标号的判断。特别在概率模型中,分类器之间的关系可以被更精确地描述,如使用概率分布之间的KL距离来衡量。但并不是所有的分类器都能保证一个概率输出的形式,为了在不改变分类器算法的前提下,我们采用sigmod函数拟合的办法来近似处理。最小最大模块化分类模型已经被证明是在大规模数据集和不平衡问题中一种有效的架构。与针对多类问题的集合模型相比它进一步将一个较难学习的二类问题化解为多个相对简单的二类子问题。然后运用最小化和最大化准则将局部信息还原成原始问题的解。在过去的研究中,我们发现在样本集上按照某种先验知识的划分,还原后的模型将会拥有更强的分类能力。但对整合阶段的准则研究仍然较少。本文运用概率论的知识,对分解与整合过程提出了一个理论上的解释。当样本集由多个任意概率分布函数生成,虽然整体分布难以被分类器所学习,但通过样本的划分,局部的分布就变得容易被学习。在贝叶斯决策的框架下,我们可以从概率上得出最优的准则。新的公式表明,最小化和最大化准则是分类器在0-1输出时的等价形式。在一般情况下,最小化和最大化准则是其近似过程。另外如果将样本集认为是概率分布的一种体现,那么可以得到原本正子类与负子类的样本集组合方法拓展成同子类之间的组合。在新的框架下,我们提出了一种加速算法。在模拟数据中,此方法在保证不降低准确率的同时将原算法的空间和时间复杂度从平方级降为线性级。

全文目录

摘要  5-7
ABSTRACT(英文摘要)  7-9
目录  9-11
主要符号对照表  11-12
第一章绪论  12-16
  1.1 模式识别中的大规模难题  12-13
  1.2 集成学习技术的发展  13-14
  1.3 本文的研究内容  14-16
第二章统计决策的基本思想  16-28
  2.1 贝叶斯决策  16-18
    2.1.1 基本原理  16-17
    2.1.2 最优决策  17-18
  2.2 分类器输出的概率密度估计  18-28
    2.2.1 K最近邻  18-19
    2.2.2 人工神经网络  19-21
    2.2.3 支持向量机  21-24
    2.2.4 朴素贝叶斯  24-28
第三章分类器整合模型  28-42
  3.1 算法描述  28-31
    3.1.1 问题描述  28
    3.1.2 任务分解  28-31
  3.2 结果合成  31-32
  3.3 M~3的不同分解策略  32-36
    3.3.1 随机划分  33
    3.3.2 超平面划分  33-34
    3.3.3 聚类划分  34-36
  3.4 合成准则的高级讨论  36-42
    3.4.1 多类情况  36-39
    3.4.2 Min-Max准则的效率改进  39-42
第四章一种基于概率输出的新集成模型算法  42-60
  4.1 二类问题分解的概率解释  42-45
  4.2 结果合成的概率解释  45-54
    4.2.1 收缩和膨胀准则的公式推导  45-46
    4.2.2 收缩和膨胀准则与M~3的比较  46-47
    4.2.3 在收缩和膨胀准则指导下的合成过程  47-50
    4.2.4 一种加速准则的公式推导  50-52
    4.2.5 加速准则的分析  52-54
  4.3 实验  54-60
    4.3.1 已知样本分布的实验模拟  54
    4.3.2 基于SVM概率输出的实验  54-60
第五章总结与展望  60-62
  5.1 本文的主要贡献  60-61
  5.2 进一步的研究工作  61-62
参考文献  62-66
致谢  66-67
个人简历、在学期间的研究成果及发表的论文  67

集成分类器模型的研究

内容摘要

全文目录

相似论文