学位论文 > 优秀研究生学位论文题录展示

基于向量场的机器学习

作　者: 林彬彬
导　师: 何晓飞
学　校: 浙江大学
专　业: 计算机科学与技术
关键词: 流形学习向量场梯度场测地距离线性函数
分类号: TP181
类　型: 博士论文
年　份: 2012年
下　载: 14次
引　用: 0次
阅　读: 论文下载

内容摘要

在许多机器学习问题中,我们往往要面对非常高维的数据。有一个很强的直觉是这些数据可能有一个低维的内在表示。很多研究者考虑了数据是从一个嵌入在高维欧氏空间中的低维子流形上采样得到的情况。因此,学习一个低维子流形结构,或者具体地说是数据流形的内在几何和拓扑结构,成为了一个重要的问题。大多数目前的工作是用图上的拉普拉斯算子来约束流形上预测函数的一阶光滑性。但是,除了一阶光滑性,在半监督学习和无监督学习问题中,我们应该要求函数具有两阶光滑性。我们指出函数的两阶光滑性度量了函数在流形上的线性性,而且一个流形上的线性函数的梯度场必然是一个平行向量场。为了解决表示、离散化和求解流形上的向量场等关键问题,这篇论文在向量场学习方面进行了系统的研究,包括理论分析,离散化和优化。本文的主要创新点包括：1.为了分开不同的连通分支,本论文提出了一个线性流形学习方法。我们对目标函数和约束条件进行了理论分析,我们的理论分析指出流形的仿射包和连通分支对于线性流形学习是至关重要的。在某种意义下,每个位于同一个仿射包的连通分支都会被最优投影投到一起。为了恢复流形结构,我们首先从局部等距和全局等距的讨论中得到平行向量场和等距映射之间的内在关系。我们发现寻找等距映射等价于寻找流形上的平行向量场。我们的理论分析表明,如果流形确实是跟欧氏空间中的一个连通子集等距的话,那么我们的方法可以准确地恢复出流形结构。2.为了在半监督学习中利用流形的结构,本论文对于半监督回归和多任务学习问题提出了基于向量场正则化的方法。最新的一些理论工作指出为了在半监督回归问题中达到更快的收敛速度,我们应该要求函数具有两阶光滑性。为了达到这个目标,我们指出函数的两阶光滑度量了函数在流形上的线性性,而且一个流形上的线性函数的梯度场必然是一个平行向量场。因此,我们提出寻找一个函数使得经验误差最小化,并且同时要求它的梯度场尽量的平行。我们在流形上给出一个连续的目标函数并且讨论如何通过离散的点去离散化这个目标函数。最终的离散优化问题变成了一个稀疏线性系统,它可以快速有效的求解。在多任务学习中,我们提出了一个新的多任务向量场学习方法,它会同时去学习预测函数和向量场。多任务向量场学习具有一下主要性质：(1)我们所求得的向量场是跟预测函数的梯度场接近的。(2)在每个任务里,向量场要求为尽量平行,这样我们期望它会张成一个低维子空间。(3)所有任务的向量场共享一个低维的子流形。我们将我们的想法化为一个正则化的框架,并且提出了一个凸松弛的方法去解决原始的非凸问题。3.为了学习流形上的测地距离函数,本论文从向量场的角度提出了一个新的方法。计算测地距离最简单的方法就是直接去计算两点之间的最短路径距离。但是,众所周知,计算逐对最短路径距离是非常耗时的,而且它不能处理非凸流形的情况。在本章中,我们在固定一个点p的时候研究测地距离函数d(p,x)。只要我们对于一个固定点p可以计算距离函数,那么我们可以通过变化p来求得距离函数d(·,·)。我们给出两个定理来精确地刻画这样的距离函数。我们的理论分析说明,如果一个函数rp(x)在点p的邻域处用指数坐标表示下是欧氏距离函数,而且函数rp(x)的梯度场几乎处处都是单位长度的话,那么rp(x)肯定是一个唯一的测地距离函数d(p,x)。基于我们的理论分析,一个新的基于向量场的方法被提出来进行测地距离函数的学习。具体地,我们提出去学习的函数在一个固定点的邻域内是一个欧氏距离函数,同时要求它的梯度场处处都是单位向量。

全文目录

摘要  4-6
Abstract  6-8
插图  8-11
表格  11-12
目次  12-14
1 绪论  14-25
  1.1 研究的背景及意义  14-17
  1.2 相关研究现状  17-21
  1.3 本文研究内容和主要贡献  21-23
  1.4 本文各章节的结构安排  23-24
  1.5 本章小结  24-25
2 基于向量场的线性流形学习  25-43
  2.1 研究动机  25-26
  2.2 理论分析  26-34
  2.3 我们的方法  34-37
  2.4 实验结果  37-42
  2.5 本章小节  42-43
3 基于向量场的非线性流形学习  43-74
  3.1 研究动机  43-44
  3.2 基于几何视角的降维  44-48
  3.3 平行向量场嵌入  48-64
  3.4 实验  64-72
  3.5 本章小节  72-74
4 基于向量场的半监督学习  74-86
  4.1 研究动机  74-75
  4.2 向量场上的正则化  75-77
  4.3 实现  77-83
  4.4 相关工作和讨论  83
  4.5 实验  83-85
  4.6 本章小节  85-86
5 基于向量场的多任务学习  86-97
  5.1 研究动机  86-87
  5.2 多任务学习：一个向量场的方法  87-92
  5.3 优化  92-94
  5.4 实验  94-96
  5.5 结论  96-97
6 基于向量场的测地距离函数学习  97-113
  6.1 研究动机  97-98
  6.2 理论分析  98-104
  6.3 测地距离函数学习  104-109
  6.4 实验  109-112
  6.5 结论  112-113
7 总结与展望  113-116
  7.1 本文小结  113-115
  7.2 未来工作展望  115-116
参考文献  116-122
作者简历  122-123
发表文章目录  123-124
致谢  124

基于向量场的机器学习

内容摘要

全文目录

相似论文