学位论文 > 优秀研究生学位论文题录展示

支持向量机的核选择

作　者: 罗林开
导　师: 林成德
学　校: 厦门大学
专　业: 控制理论与控制工程
关键词: SVM 核选择秩空间差异性鲁棒度平分最近点
分类号: TP18
类　型: 博士论文
年　份: 2007年
下　载: 1088次
引　用: 12次
阅　读: 论文下载

内容摘要

由Vapnik等人提出的支持向量机(Support Vector Machine,SVM)技术,由于具有极强的模型泛化能力,不会陷入局部极小点,以及很强的非线性处理能力等特点,近十年来取得了全面飞速的发展,获得了大量成功的应用,已成为模式识别中最为活跃的研究领域之一。当前,选择合适的核函数及其参数(核选择)已成为SVM进一步发展的关键点和难点。核函数决定了SVM的非线性处理能力,也决定着分类函数的构造,而对具体问题而言,选择合适的核函数及其参数,还存在着许多的实际困难。针对SVM中的核选择问题,本文对SVM的模型问题、特征空间线性可分的结构问题、核学习中基核的选择问题、以及核函数及其参数的评判准则问题开展了深入的探讨,主要的工作有:1.在SVM的模型方面,给出了L2-范数下平分最近点原理问题;然后得到了它的解与最大间隔原理问题的解之间的关系,建立了它与最大间隔原理的等价性;指出它还具有模型性质更好、几何意义更直观、能利用求解凸包之间距离的内点算法等优点;最后给出了它的SMO(Sequential minimal optimization)求解算法。2.在特征空间线性可分的结构方面,利用平分最近点原理模型,通过对核矩阵零空间的深入分析,得出特征空间中样本线性可分与核矩阵零空间关系的一个充要条件。3.在基核矩阵的选取方面,首先提出矩阵的秩空间差异性(Rank Space Diversity,RSD)概念,其次将其作为基核矩阵的差异性度量,由此导出选择基核矩阵的一个定量规则“基核矩阵的秩空间差异性越大越好”。我们还给出了基于L2-范数下平分最近点原理的核学习模型和模型求解算法;最后通过实验验证了基核矩阵选择规则的有效性。4.在核函数及其参数的评判准则方面,首先从分类函数抗样本扰动的“泛化性能”出发,分析了传统最大间隔原理的不足,提出了分类函数的鲁棒度概念;探讨了鲁棒度的性质;并提出用最大鲁棒度作为核选择的评判准则;通过与经典的交叉验证方法和最小支持向量数方法的实验对比,表明最大鲁棒度准则克服了交叉验证方法时间代价高,最小支持向量数方法测试准确率不稳定的缺点,获得了很好的结果。5.在核学习方面,提出了按单属性设计基核,以最大鲁棒度为优化目标的核学习方法,给出了鲁棒度的梯度计算公式和模型的求解算法,并用实验表明了该方法的有效性和优越性。

全文目录

摘要  4-6
Abstract  6-12
第一章绪论  12-20
  1.1 本文的研究背景和研究意义  12-13
  1.2 研究现状与发展方向  13-16
  1.3 本文的主要工作和创新点  16-18
  1.4 本文的章节安排  18-19
  1.5 本文的主要符号  19-20
第二章支持向量机的理论基础  20-33
  2.1 引言  20
  2.2 统计学习理论  20-23
  2.3 支持向量机  23-27
  2.4 正定核  27-32
  2.5 本章小结  32-33
第三章 L2-范数下平分最近点原理与最大间隔原理的等价性  33-48
  3.1 引言  33
  3.2 L1-范数下平分最近点原理与最大间隔原理的等价性  33-36
  3.3 L2-范数下平分最近点原理与最大间隔原理的等价性  36-42
  3.4 L2-范数下平分最近点原理模型的最小序贯算法  42-47
  3.5 本章小结  47-48
第四章秩空间差异性：基核矩阵的一个差异性度量  48-64
  4.1 引言  48-49
  4.2 平分最近点原理与可分性  49-51
  4.3 矩阵的秩空间差异性与基核矩阵的选择  51-56
  4.4 基于平分最近点原理的核矩阵学习  56-61
  4.5 实验与分析  61-63
  4.6 本章小结  63-64
第五章最大鲁棒度准则  64-78
  5.1 引言  64-65
  5.2 最大鲁棒度准则  65-70
  5.3 基于最大鲁棒度的模型参数选择  70-77
  5.4 本章小结  77-78
第六章基于最大鲁棒度准则的核学习  78-90
  6.1 引言  78
  6.2 基于最大鲁棒度准则的核学习模型  78-80
  6.3 梯度的计算  80-84
  6.4 模型求解算法  84-86
  6.5 实验与结果分析  86-89
  6.6 本章小结  89-90
第七章总结与展望  90-92
参考文献  92-101
致谢  101

支持向量机的核选择

内容摘要

全文目录

相似论文