学位论文 > 优秀研究生学位论文题录展示

凸优化在大规模机器学习中的应用

作　者: 丁朋
导　师: 王行愚
学　校: 华东理工大学
专　业: 控制科学与工程
关键词: 凸优化大规模机器学习核Logistic回归割平面法
分类号: TP181
类　型: 硕士论文
年　份: 2011年
下　载: 146次
引　用: 0次
阅　读: 论文下载

内容摘要

本文研究了凸优化理论在大规模机器学习中的应用,给出了基于Fenchel对偶理论的核Logistic回归并行分类算法(PDS)以及基于割平面理论的大间隔最近邻分类算法(LMNN_PCA)。KLR的决策结果含有概率输出,多分类推广能力好,然而单机下的KLR分类算法依赖于每个训练数据集,因此不能处理大规模数据。核Logistic回归并行分类算法主要采用了对偶分解的思想,即先将训练集分割成若干子集,集群上的客户机对每个子集进行独立训练,利用消息传递的机制,在每一次训练结束服务器主机再对各客户机传递的消息进行汇总,再对各客户机提供修正解的消息,迭代训练即可得到大规模问题的解。主要解决了如何将大规模问题分解为多个子问题以及子问题的求解问题。LMNN_PCA算法主要采用了割平面法,把大量约束条件的凸优化问题转化为小量约束条件的凸优化问题。本文主要进行了以下工作：(1)给出了基于Fenchel对偶理论的核Logistic回归并行算法的理论推导以及对于子问题的处理方法。利用Fenchel对偶理论将大规模凸优化求解问题转化为中小规模凸优化求解问题。(2)给出了基于Fenchel对偶分解原理的KLR分类并行算法的软件实现。先从功能图分析出软件中需要设计的类,然后给出了主程序的流程图(包括服务器端和客户端),紧接着,分析了软件实现中遇到的问题并给出了解决的方法。最后,还设计了一个拓扑结构网络,搭建实验平台,采用标准数据集进行实验。通过实验,得出KLR分类并行算法具有时间上的优越性。(3)提出了基于割平面法的大间隔最近邻分类算法(LMNN_CPA)并通过实验证明了算法的可行性与优越性。因为主问题的约束条件很多,所以采用割平面法来求解主凸优化问题,从而大大降低了约束条件的数量。

全文目录

摘要  5-6
Abstract  6-10
第1章绪论  10-17
  1.1 课题研究的背景  10-12
    1.1.1 凸优化简介  10-11
    1.1.2 大规模机器学习  11-12
  1.2 课题研究的意义  12-13
  1.3 国内外研究现状  13-15
    1.3.1 机器学习中的凸优化  13-14
    1.3.2 机器学习中的并行化  14-15
  1.4 课题研究的内容  15-16
  1.5 章节安排  16-17
第2章凸优化理论知识  17-24
  2.1 凸优化的定义  17-18
    2.1.1 凸集和凸函数  17
    2.1.2 凸优化的定义  17-18
  2.2 使用导数的最优化方法  18-19
    2.2.1 最速下降法  18-19
    2.2.2 牛顿法  19
  2.3 对偶理论  19-23
    2.3.1 Lagrange对偶  19-20
    2.3.2 对偶定理  20
    2.3.3 Fenchel对偶理论  20-23
  2.4 小结  23-24
第3章基于Fenchel对偶的核logistic回归并行算法  24-38
  3.1 前言  24
  3.2 核Logistic回归的定义  24-26
    3.2.1 线性核的logistic回归  24-25
    3.2.2 核函数及非线性核的logistic回归  25-26
  3.3 分解模型  26-27
  3.4 基于Fenchel对偶的核logistic回归并行算法  27-37
    3.4.1 问题的引入  27
    3.4.2 线性核的KLR问题并行算法  27-31
    3.4.3 非线性核的KLR问题并行算法  31-35
    3.4.4 子问题P_j~*(d)的求解  35-36
    3.4.5 对于t的求解  36-37
  3.5 小结  37-38
第4章实验与结果分析  38-52
  4.1 软件设计  38-45
    4.1.1 类的设计  38-39
    4.1.2 主程序的设计  39-42
    4.1.3 软件核心技术  42-44
    4.1.4 makefile文件  44-45
  4.2 软件调试  45-46
    4.2.1 内存调试  45-46
    4.2.2 编译连接调试  46
  4.3 实验部署  46-48
  4.4 实验数据及分析  48-50
  4.5 小结  50-52
第5章基于割平面法的大间隔最近邻分类器  52-58
  5.1 引言  52
  5.2 基于割平面法的大间隔最近邻分类器  52-54
  5.3 实验  54-57
    5.3.1 实验设置  55
    5.3.2 参数设置  55
    5.3.3 实验结果  55-57
  5.4 小结  57-58
第6章总结和展望  58-60
  6.1 工作总结  58
  6.2 展望  58-60
参考文献  60-64
致谢  64-65
攻读硕士学位期间所发表的论文  65

凸优化在大规模机器学习中的应用

内容摘要

全文目录

相似论文