学位论文 > 优秀研究生学位论文题录展示

基于闭凸包收缩的非线性分类方法研究

作　者: 柳永强
导　师: 陈增照
学　校: 华中师范大学
专　业: 模式识别与图像处理
关键词: 统计学习理论支持向量机核思想特征空间闭凸包平分最近点决策树多类分类
分类号: TP181
类　型: 硕士论文
年　份: 2009年
下　载: 39次
引　用: 0次
阅　读: 论文下载

内容摘要

支持向量机是在统计学习理论基础上发展起来的一种全新的机器学习方法,解决了在小样本情况下的统计学习问题,因此具有良好的泛化能力和推广性能。通过核函数的构造,支持向量机也是一种利用线性方法解决非线性问题的学习机,由支持向量机核心部分,即核函数所衍生的模式分析的核方法,成为研究非线性学习问题的有力的数学基础和研究平台,核思想降低了对于非线性学习问题研究的复杂性,使得对非线性学习问题的研究直接转化为对线性学习问题的研究,由此,模式分析的核方法成为指导研究人员研究非线性学习问题的方法论。本文通过对支持向量机及核思想的深入研究,以及对支持向量机多类分类方法的对比分析,做了以下几个方面的工作:第一,将线性两类分类方法——平分最近点法利用核化思想进行推广,转化为非线性分类方法。平分最近点法和支持向量机具有相同的分类性能和推广能力,对于相同的两类数据,两种方法得到的最优分类面是相同的,但是平分最近点法具有更简单的几何特性和较低的计算复杂性。第二,针对线性不可分问题将闭凸包收缩原理进行推广,转化为非线性数据处理的方法。闭凸包收缩原理是一种数据预处理的数学手段,通过将两类数据相对于各自的均值中心进行一定收缩,从而将两类数据转化为可分数据,闭凸包收缩原理最初是用来解决线性问题的,本文通过核思想将其推广,应用到非线性问题中来。支持向量机对于不可分问题是通过软间隔思想来解决的,即在约束条件中增加一个松弛项来增强分类器的分类性能。由于平分最近点法的特殊性,本文结合了闭凸包收缩原理来解决不可分问题,闭凸包收缩原理可以通过选择适当的收缩率,将学习机在训练时的错分率降低为零,因此具有较高的优越性和实用性。第三,提出了在特征空间中判断两类数据是否有交叉重叠的分离度量方法,对于多类问题构造了分离度量矩阵,利用分离度量,给出了新的较为简单的确定收缩系数的条件。对于不同的分类问题,采用什么样的分类机,也要根据相应数据的具体分布情况来确定,然而现有的大多数分类方法都没有提前对此作出判断,因此具有一定的盲目性。本文提出的分离度量方法,可以通过构造分离度量矩阵来判断各个类别之间是否具有交叉重叠的样本,同时也可以知道交叉重叠的深度。通过这种先验信息的提取,可以减少分类机选择的盲目性,也可以改进现有的多类分类方法,提高它们的分类性能。第四,利用闭凸包收缩原理和特征空间分离度量方法对决策树多类分类算法进行了改进。由于决策树多类分类方法的分类性能跟决策树的结构,尤其是决策树根节点的选择有紧密的联系,一般的决策树分类方法没有对根节点的选取做一定的限制,因此相对比较盲目,决策树的分类能力没有得到明显的提高。本文通过构造多个类别的分离度量矩阵,对所有类别数据统一按照最大的交叉深度进行收缩,选择最易分割的子类作为分类树的上层节点,依次建立决策树,从而降低了训练时的错分率,提高了分类树的分类性能。第五,本文以手写体数字和手写体金融汉字为研究对象,对支持向量机的几种多类分类方法和本文提出的方法进行了测试和比较,结果证明本文提出的方法相对其他方法具有较高的分类精度和分类性能。

全文目录

摘要  4-6
Abstract  6-8
目录  8-10
第一章绪论  10-18
  1.1 基于支持向量机分类算法的研究  10-11
  1.2 模式分析的核方法  11-13
  1.3 关于多类分类算法的研究  13-15
  1.4 脱机手写体数字及汉字的识别研究  15-16
  1.5 本文的具体内容及结构  16-18
第二章统计学习理论与支持向量机  18-30
  2.1 统计学习理论  18-23
    2.1.1 学习过程的一致性条件  18-20
    2.1.2 VC维  20-21
    2.1.3 推广性的界  21-22
    2.1.4 结构风险最小化  22-23
  2.2 支持向量机  23-26
    2.2.1 最优分类超平面  23-24
    2.2.2 线性可分情况下的支持向量机  24-25
    2.2.3 线性不可分情况下的支持向量机  25
    2.2.4 非线性情况下的支持向量机  25-26
  2.3 支持向量多类分类机  26-30
    2.3.1 One-Against-One(OAO)  27
    2.3.2 One-Against-All(OAA)  27-28
    2.3.3 DAG SVM  28-29
    2.3.4 决策树多类分类机(DTB-SVM)  29-30
  2.4 本章小结  30
第三章模式分析的核方法  30-41
  3.1 核思想概述  30-32
  3.2 Mercer定理及Mercer核  32-33
  3.3 核函数构造  33-34
  3.4 经典线性算法的核形式  34-39
    3.4.1 均值及相似度量的核形式  34-36
    3.4.2 核主成份分析法(KPCA)  36-37
    3.4.3 核Fisher判别分析(KFDA)  37-39
    3.4.4 核聚类分析  39
  3.5 本章小结  39-41
第四章平分最近点法与闭凸包收缩原理  41-50
  4.1 线性分类问题  41-44
    4.1.1 线性可分分类机—平分最近点法  41-43
    4.1.2 线性不可分分类机—闭凸包收缩原理  43-44
  4.2 非线性分类问题  44-47
    4.2.1 特征空间中的线性可分问题—平分最近点法的推广  44-46
    4.2.2 特征空间中的线性不可分问题—闭凸包收缩原理的推广  46-47
  4.3 仿真实验  47-49
  4.4 本章小结  49-50
第五章一种改进的决策树多类分类方法  50-57
  5.1 特征空间数据分离度量方法  50-53
    5.1.1 输入空间的分离度量  50-51
    5.1.2 特征空间中的分离度量方法  51-53
  5.2 改进的决策树多类分类算法  53
  5.3 实验结果及分析  53-56
  5.4 本章小结  56-57
第六章总结与展望  57-58
参考文献  58-61
在校期间发表的论文、科研成果等  61-62
致谢  62

基于闭凸包收缩的非线性分类方法研究

内容摘要

全文目录

相似论文