学位论文 > 优秀研究生学位论文题录展示

流形学习中的鲁棒性问题研究

作　者: 戴志波
导　师: 王靖
学　校: 华侨大学
专　业: 计算机应用技术
关键词: 流形学习半监督鲁棒离群点局部切空间
分类号: TP181
类　型: 硕士论文
年　份: 2011年
下　载: 30次
引　用: 0次
阅　读: 论文下载

内容摘要

信息时代的到来,许多数据都是以高维的形式存在,这导致了高维数据的大量产生。一方面,这些高维数据为客观世界的描述提供了极其详细丰富的信息,给人们的生活带来了极大的便利;但是另一方面,也为随后到来的数据处理带来了前所未有的困难。信息的过量繁杂,有效信息隐藏在海量信息中难以发觉;而且更为严重的是,现有的机器学习和数据挖掘算法难以对其进行有效处理,直接导致了“维数灾难”的产生。面对如此众多的高维数据,如何对其进行维数约简,挖掘出其本质信息,寻找出其内在规律,是当前数据挖掘和机器学习研究的重点。因此,数据降维方向的研究逐渐成为现阶段研究的热点。目前的数据降维方法,主要分为两类:一类是线性降维方法,代表方法有:主分量分析法(PCA),多维尺度变换法(MDS),非负矩阵分解法(NMF)等,这些方法能够发现数据中的线性结构,找出数据间的线性关系,具有简单性、易解释性和可延展性等优点;另一类就是非线性降维方法(流形学习算法),主要方法有:等距嵌入算法(Isomap)、局部线性嵌入算法(LLE)、拉普拉斯特征映射算法(LE)、局部切空间排列算法(LTSA)等,这些流形算法具有参数少、计算快、易求全局最优解等优点,能够挖掘出数据之间的非线性关系。由于在现实生活中,许多高维数据都是分布或者近似分布于非线性流形上,因此近几年来,这些流形学习算法在图像、视频等许多领域都得到了广泛关注。与此同时,关于流形学习算法方向的研究也得到了长足的发展。作为流形学习算法研究的一个热点方向,半监督流形学习算法为流形学习算法走向实际应用提供了一个很好的平台。用半监督机器学习的方法改善流形学习算法的效果,把流形学习算法同半监督机器学习相结合,发展形成的半监督流形学习算法,可以充分挖掘出数据的本质低维信息。这种半监督流形学习算法,利用样本数据中已知的低维信息去推测学习其他数据的本质信息,可以有效提高分类器的识别效果,在分类识别问题上展示出良好的实验效果和应用前景,主要代表方法有半监督局部线性嵌入算法(SSLLE)、半监督局部切空间排列算法(SSLTSA)、半监督拉普拉斯特征映射算法(SSLE)等。但是,在流形学习算法的应用过程当中,对于离群点的敏感性是一个无法回避的问题。无论是无监督的流形学习算法,还是半监督的流形学习算法,对于离群点都缺乏鲁棒性。这主要是因为这些流形学习算法都是建立在相同的框架下,即首先构造出不同的局部线性结构,再利用这些局部线性关系将其全局映射到低维空间,从而挖掘出数据间的非线性关系。由于离群点的存在,样本点之间的局部关系无法准确构造出来,所建立的局部关系无法准确反映出流形的特征,进而影响全局的映射结果,导致无法挖掘出数据的本质特征。由于各种流形学习算法所依据的数学模型不尽相同,对于其鲁棒性能的完善,也无法找到统一的方法,只能根据算法的各自特点,做出相应的改进。因此,本文的主要工作有:1)对于无监督的流形学习算法的鲁棒性研究,本文给出了一种鲁棒拉普拉斯特征映射算法,利用鲁棒PCA算法对离群点进行局部光滑化处理,把离群点和其邻域投影到低维的局部切空间上,在低维切空间上构造能够准确反映离群点局部邻域关系的权值,减少离群点对拉普拉斯矩阵的影响,通过这种方法改善拉普拉斯特征映射算法的鲁棒性。2)对于半监督的流形学习算法的鲁棒性研究,本文给出了一种鲁棒半监督局部线性嵌入算法,该算法从两方面增加了对离群点的鲁棒性。对于光滑点集,直接对其采用半监督局部线性嵌入算法(SSLLE)进行降维,以避免离群点对光滑点的影响;对于离群点集,利用其局部投影坐标计算局部重构权,从而真正反映离群点的局部线性关系。再将光滑点集作为训练点集,结合半监督局部线性嵌入算法计算离群点集的低维坐标。同时,本文给出了大量的模拟实验和实际实验,用以说明这些改进的算法能够提高对离群点的鲁棒性。

全文目录

摘要  2-4
ABSTRACT  4-9
第一章绪论  9-18
  1.1 数据降维的产生背景  9
  1.2 数据降维的方法  9-13
    1.2.1 线性降维方法  10-12
    1.2.2 非线性降维方法  12-13
  1.3 半监督的流形学习算法  13-15
  1.4 流形学习算法的鲁棒性问题  15-17
  1.5 论文的研究内容及结构安排  17-18
第二章常用的流形学习方法简介  18-23
  2.1 等距嵌入算法(ISOMAP)简介  18-19
  2.2 局部线性嵌入算法(LLE)简介  19-20
  2.3 拉普拉斯特征映射算法(LE)简介  20-22
  2.4 本章小结  22-23
第三章鲁棒流形学习方法  23-39
  3.1 已有的鲁棒流形学习算法简介  23-28
    3.1.1 鲁棒局部线性嵌入算法(RLLE)简介  24-26
      3.1.1.1 迭代最小二乘法检测离群点  24-25
      3.1.1.2 鲁棒局部线性嵌入算法  25-26
    3.1.2 鲁棒等距嵌入算法(RIsomap)简介  26-28
      3.1.2.1 基于重构权的离群点检测算法  26
      3.1.2.2 鲁棒等距嵌入算法  26-28
  3.2 鲁棒拉普拉斯特征映射算法(RLE)  28-34
    3.2.1 拉普拉斯特征映射算法对于离群点的敏感性  28-30
    3.2.2 离群点检测算法  30-31
    3.2.3 鲁棒拉普拉斯特征映射算法  31-34
  3.3 实验部分  34-38
    3.3.1 ORL 人脸图像数据集  34-36
    3.3.2 UMIST 人脸图像数据集  36-37
    3.3.3 可视化实验  37-38
  3.4 本章小结  38-39
第四章鲁棒半监督流形学习方法  39-48
  4.1 半监督局部线性嵌入算法(SSLLE)简介  39-41
  4.2 SSLLE 算法对于离群点的敏感性  41-43
  4.3 鲁棒半监督局部线性嵌入算法  43-46
    4.3.1 离群点检测  43
    4.3.2 鲁棒半监督局部线性嵌入算法  43-46
  4.4 本章小结  46-48
第五章数值实验  48-58
  5.1 带有离群点的S_CURVE 数据实验  48
  5.2 手写数字识别实验  48-51
  5.3 OLIVETTIFACES 人脸数据识别实验  51-53
  5.4 YALE 人脸数据识别实验  53-56
  5.5 数据可视化实验  56-57
  5.6 本章小结  57-58
第六章总结和展望  58-61
  6.1 本文总结  58-59
  6.2 未来工作展望  59-61
参考文献  61-65
致谢  65-66
攻读硕士学位期间发表的学术论文  66

流形学习中的鲁棒性问题研究

内容摘要

全文目录

相似论文