学位论文 > 优秀研究生学位论文题录展示

分类器设计中的正则化技术研究

作　者: 薛晖
导　师: 陈松灿
学　校: 南京航空航天大学
专　业: 计算机应用技术
关键词: 分类器设计正则化技术推广误差界正则化项结构信息判别信息流形学习模式识别
分类号: TP181
类　型: 博士论文
年　份: 2008年
下　载: 207次
引　用: 1次
阅　读: 论文下载

内容摘要

正则化技术诞生于20世纪60年代,最初是由数学领域提出用于解决不适定问题。随着80年代机器学习的兴起,正则化技术被广泛应用于模式识别的各个领域。其通过引入含有问题先验知识的正则化项使解稳定的思想渗透在各种算法的设计中,并衍生出许多著名的方法,例如:正则化网络(Regularization Networks,RNs),正则化最小二乘分类器(Regularized Least-squares Classification,RLSC),支持向量机(Support Vector Machines,SVMs)和流形正则化(Manifold Regularization,MR)等等。本文着眼于模式识别中的重要环节之一――分类器设计,从正则化分类器的推广性能、正则化项的构建以及分类器对先验知识的融合等诸多层面,系统深入地研究了分类器设计中的正则化技术。本文的主要贡献在于:1.从正则化的角度提出了一个新的基于平方误差准则分类器的推广误差界。新的局部性正则化推广误差界将分类器的推广误差限定在每个样本的局部邻域内,融入了数据空间的结构信息,克服了原有推广误差界(如VC维)只适用于线性分类器的缺点,并引入了可调节的正则化参数,增强了误差界的灵活性。在此基础上,本文进一步提出了一种新的分类器设计方法――局部性正则化方法(Locality Regularization,LR)。新方法具有两个显著的特点:(1)根据推广误差界,自然地由期望风险函数的定义导出正则化项;(2)通过与谱图理论、流形学习相结合,将正则化项构建在样本的局部可变邻域上,融合了数据空间的全局和局部结构信息,提高了分类器的推广性能。实验验证了新算法在所用数据集上,尤其是对于训练和测试样本分布不均衡的数据集,具有比经典正则化方法更优的分类性能。2.进一步拓展了局部性正则化方法的应用领域,提出了一种基于局部性正则化推广误差界的特征选择算法。作为一种混合滤波-封装方法,新算法以局部性正则化推广误差界为评价函数,以局部性正则化方法为目标分类器,既保持了较高的计算效率,又保证了利用所选择特征设计的分类器具有良好的推广性能。3.针对传统正则化方法仅关注分类器数据独立的光滑性惩罚这一缺点,提出了一种数据依赖正则化项的构建理念――判别正则化项(Discriminative Regularization Term,Rdisreg)。新的判别正则化项主要侧重于:(1)分类器输出空间中数据的可分性,通过采用不同的方式定义输出样本的类内紧凑性和类间分离性,逐步地在正则化项中引入有助于分类的样本判别信息和结构信息;(2)始终保持只含有一个需要调节的正则化因子,有效地避免多类分类优化问题中潜在的“维数灾难”;(3)较强的推广性,通过将其与不同的损失函数、正则化项相结合,可以衍生出更多新的算法,从而最终为分类器设计提供一种新的途径。本文以最小二乘损失函数为例,在嵌入了判别信息的基础上,逐步在判别正则化项中融入全局和局部结构信息,提出了两种判别性正则化方法(Discriminative Regularization,DR)。通过在目标函数中嵌入等性约束,新算法不但可解析求解,并且求解框架自然地涵盖了两类和多类问题。实验验证了新算法优越的推广性和良好的稳定性。4.支持向量机(SVM)是一种典型的正则化分类器,本文首次尝试从数据结构粒度的观点揭示了SVM及其相关改进方法之间的关系,构建了一个结构正则化大间隔分类器框架,并在此基础上,进一步提出了一种新的大间隔算法――结构正则化支持向量机(Structurally Regularized Support Vector Machine,SRSVM)。通过将数据的聚类结构信息以一个新的正则化项的形式嵌入到传统的SVM目标函数中,新方法主要着重于:(1)保持传统SVM的优化框架,显著降低同类算法的计算复杂度,简化核化过程,快捷有效地收敛到全局最优解,并保持解的稀疏性;(2)从理论上严格证明,数据结构信息的引入确实能够得到比SVM更好的推广性能。5.根据“没有免费午餐定理”,本文对正则化技术的研究都涉及如何在正则化分类器中尽可能地融入数据的先验知识,其中包括判别信息、结构信息等。因此,如何有效地从数据中挖掘出结构信息也是本文的一个研究方向,由此提出了一种新的鲁棒局部嵌入算法。新算法从样本的鲁棒重建入手,同时考虑了数据流形的全局和局部结构信息,具有比通常流形算法LLE更紧致的嵌入,并有效地抑制了野值对嵌入的影响。在分类器设计上的初步实验表明,新算法的引入进一步提高了正则化分类器的性能。

全文目录

摘要  4-6
ABSTRACT  6-15
第一章绪论  15-23
  1.1 模式识别概述  15
  1.2 分类器设计  15-17
    1.2.1 根据类别信息划分  16
    1.2.2 根据样本概率分布划分  16-17
    1.2.3 根据度量形式划分  17
  1.3 正则化技术回顾  17-20
    1.3.1 Tikhonov 正则化  17
    1.3.2 正则化网络  17-19
    1.3.3 支持向量机  19
    1.3.4 正则化最小二乘分类器  19
    1.3.5 流形正则化  19-20
  1.4 正则化技术所面临的问题  20-22
    1.4.1 分类器的推广性能  20
    1.4.2 正则化项的构建  20-21
    1.4.3 先验信息的融合  21-22
  1.5 本文内容安排  22-23
第二章局部性正则化  23-41
  2.1 引言  23-24
  2.2 现有方法回顾  24-27
    2.2.1 经典方法  24-25
    2.2.2 局部推广误差模型RSM  25-27
  2.3 RSM 与正则化之间的关系  27-30
  2.4 局部性正则化推广误差界L(F)与局部性正则化方法LR  30-32
  2.5 实验与分析  32-39
    2.5.1 在人工数据集上的实验  33-36
    2.5.2 在UCI 数据集上的实验  36-38
    2.5.3 在Benchmark 数据集上的实验  38-39
  2.6 本章小结  39-41
第三章基于局部性正则化推广误差界的特征选择算法  41-49
  3.1 引言  41-42
  3.2 现有方法回顾  42-43
    3.2.1 滤波方法  42
    3.2.2 封装方法  42
    3.2.3 基于局部推广误差的特征选择算法RSMFS  42-43
  3.3 基于局部性正则化推广误差界的特征选择算法LRFS  43-45
    3.3.1 算法描述  43-44
    3.3.2 算法复杂性分析  44-45
  3.4 实验与分析  45-47
    3.4.1 数据集描述  45
    3.4.2 实验分析  45-47
  3.5 本章小结  47-49
第四章判别性正则化  49-67
  4.1 引言  49
  4.2 现有方法回顾  49-50
  4.3 判别正则化项RDISREG及基于全局结构的判别性正则化DRGSC  50-52
  4.4 基于局部结构的判别性正则化DRLSC  52-54
  4.5 优化问题求解  54-57
    4.5.1 两类问题  55-56
    4.5.2 多类问题  56-57
  4.6 实验与分析  57-65
    4.6.1 在人工数据集上的实验  58-60
    4.6.2 在UCI 数据集上的实验  60-62
    4.6.3 在图像上的识别实验  62-65
  4.7 本章小结  65-67
第五章结构正则化支持向量机  67-83
  5.1 引言  67-68
  5.2 现有方法回顾  68-71
    5.2.1 流形假设  70
    5.2.2 聚类假设  70-71
  5.3 结构正则化大间隔分类器框架  71-73
  5.4 结构正则化支持向量机SRSVM  73-77
    5.4.1 聚类过程  73-74
    5.4.2 分类过程  74-75
    5.4.3 核化过程  75-77
  5.5 RADEMACHER 复杂度分析  77-79
  5.6 实验与分析  79-82
    5.6.1 在人工数据集上的实验  79-81
    5.6.2 在UCI 数据集上的实验  81-82
  5.7 本章小结  82-83
第六章鲁棒局部嵌入算法  83-94
  6.1 引言  83
  6.2 现有方法回顾  83-84
  6.3 局部线性嵌入LLE  84-86
    6.3.1 算法描述  84-85
    6.3.2 野值敏感问题  85-86
  6.4 鲁棒局部嵌入ARLE  86-88
    6.4.1 算法构造  86-88
    6.4.2 算法描述  88
  6.5 实验与分析  88-92
    6.5.1 在人工数据集上的实验  88-89
    6.5.2 在手写体数字集上的实验  89-90
    6.5.3 在人脸图像集上的实验  90-92
  6.6 在分类器设计上的初步实验  92-93
  6.7 本章小结  93-94
第七章总结与展望  94-96
参考文献  96-107
致谢  107-109
在学期间的研究成果及发表的学术论文  109-110

分类器设计中的正则化技术研究

内容摘要

全文目录

相似论文