学位论文 > 优秀研究生学位论文题录展示

基于多核学习的高性能核分类方法研究

作　者: 介文博
导　师: 高大启；王喆
学　校: 华东理工大学
专　业: 计算机应用技术
关键词: 核多核学习分类器设计 Nystr(o ¨)m逼近随机投影模式分类
分类号: TP391.41
类　型: 硕士论文
年　份: 2012年
下　载: 48次
引　用: 0次
阅　读: 论文下载

内容摘要

分类器设计是模式识别的主要研究方向之一。一个有效的分类器设计方法可以使识别过程事半功倍。核方法是一种有效的分类方法。但是,传统的核方法是基于单个核的,而单个核函数无法有效描述模式的特征,这就引出了基于多个核的高性能核分类方法研究。多核分类器学习方法期望通过融合多个核函数来尽可能详尽地描述模式的多种特征,在处理多源异构数据集时显得既稳定又灵活。由于在融合多个核函数的过程中存在大量的计算,现有的多核分类器学习算法存在计算复杂度高和占用内存空间大等问题。本文将Nystrom逼近和随机投影的思想应用于多核分类器学习算法之中,力图在保证分类正确率不变差的前提下降低空间和时间复杂度,设计出高性能的多核学习算法。本文的主要工作如下：(1)提出了一种新的融合多个核矩阵的多核学习算法。该算法从整体样本集中随机选取一部分样本,然后使用Nystrom逼近算法求出原始核矩阵的近似矩阵,根据每个核矩阵的近似误差确定多个核矩阵的组合系数,最终将这些近似核矩阵组合起来。Nystrom逼近算法一方面降低了核矩阵的计算复杂度,另一方面也给出了一种直观的多个核矩阵组合方法。我们将这种算法及其多核分类器应用于人造数据和机器学习数据库的判别分析之中,取得了较为理想的实验效果。(2)提出了一种基于随机投影的显式核映射多核学习算法。随机投影可以在降低样本维数的同时保持不同类别在特征空间的近似可分性。正是利用这一特性,我们将随机投影理论与现有的多核学习算法MutliK-MHKS相结合,在构造核矩阵的过程中,利用随机选择的部分样本集构造显式核映射。由于随机投影后的样本维数降低,计算复杂度也随之下降,同时随机投影的近似可分性保证了多核分类器的分类正确率依然得到明显提高。本文提出的两种多核分类器学习算法在一定程度上缓解了分类正确率与计算复杂度之间的矛盾。与传统的多核分类器学习算法相比,所设计的分类器在降低时间和空间复杂度的同时依然保持了较高的分类正确率。理论分析和仿真实验都证明了本文所设计的多核分类器学习算法的优越性。

全文目录

摘要  5-6
Abstract  6-10
第1章绪论  10-15
  1.1 研究背景及意义  10
  1.2 多核分类的研究现状  10-14
    1.2.1 分类器的发展  10-11
    1.2.2 核方法  11-12
    1.2.3 多核学习  12-13
    1.2.4 多核学习的效率问题  13-14
  1.3 研究内容及章节安排  14-15
第2章核方法的理论基础  15-32
  2.1 支持向量机  15-24
    2.1.1 线性分类器  15-16
    2.1.2 间隔最大化分类器  16-18
    2.1.3 支持向量及对偶优化  18-20
    2.1.4 核方法  20-24
  2.2 多核学习模型  24-26
  2.3 典型的多核学习分类器  26-31
    2.3.1 核Fisher判别分析(Kernel FDA)  26-29
    2.3.2 多核FDA转化为SDP求解  29-31
    2.3.3 多核FDA转化为QCQP和SILP求解  31
  2.4 本章小结  31-32
第3章基于Nystrom逼近的多核分类器学习算法  32-52
  3.1 引言  32-33
  3.2 KDA算法框架  33-35
  3.3 Nystrom逼近算法  35
  3.4 基于Nystrom逼近的多核分类器学习算法  35-39
    3.4.1 算法设计  36-38
    3.4.2 复杂度分析  38-39
  3.5 实验  39-51
    3.5.1 实验设置  39-40
    3.5.2 人工数据集验证结果  40-42
    3.5.3 UCI数据集实验结果  42-44
    3.5.4 实验参数的进一步讨论  44-51
  3.6 本章小结  51-52
第4章基于随机投影的多核分类器学习算法  52-70
  4.1 引言  52
  4.2 MultiK-MHKS算法框架  52-54
    4.2.1 隐式核与显式核  52-53
    4.2.2 算法框架  53-54
  4.3 随机投影理论  54
  4.4 基于随机投影的多核分类器学习算法  54-59
    4.4.1 算法设计  54-56
    4.4.2 可分性分析  56-57
    4.4.3 复杂度分析  57-59
  4.5 实验  59-69
    4.5.1 实验设置  59
    4.5.2 人工数据集验证结果  59-60
    4.5.3 UCI数据集实验结果  60-63
    4.5.4 进一步讨论  63-69
  4.6 本章小结  69-70
第5章结论与展望  70-71
参考文献  71-75
致谢  75-76
附录1 攻读硕士学位期间参加的课题  76-77
附录2 攻读硕士学位期间发表论文目录  77

基于多核学习的高性能核分类方法研究

内容摘要

全文目录

相似论文