学位论文 > 优秀研究生学位论文题录展示

竞争学习向量量化和支持向量机的关键技术研究

作　者: 周水生
导　师: 周利华
学　校: 西安电子科技大学
专　业: 计算机应用技术
关键词: 模式识别 统计学习理论 支持向量机 二次规划 样本 迭代算法 Huber回归函数 熵函数 Newton算法 Lagrangian对偶 下降可行方向 几何特性 Fisher投影 几何算法 模型选择
分类号: TP181
类　型: 博士论文
年　份: 2005年
下　载: 767次
引　用: 6次
阅　读: 论文下载
 

内容摘要


基于数据的机器学习问题是现代化智能技术中十分重要的一个方面,主要研究如何从一些观测数据(样本)出发得出目前尚不能通过原理分析得到的规律,利用这些规律去分析客观对象,对未来数据或无法观测的数据进行预测。而学习方法基本上可以分为监督学习和非监督学习两种方法。本文研究内容也分为两部分,第一部分主要对非监督学习中基于竞争网络的学习量化,特别是广义学习量化算法进行的研究,在论文的第二章叙述。第二部分主要对基于统计学习理论的支持向量机的一些关键问题进行的深入研究:包括算法、核函数和模型选择研究,主要在论文的第三、四、五、六、七、八章介绍。本文所有研究工作可以分为以下6个方面:1.对非监督学习中基于竞争网络的学习量化的研究,特别是广义学习量化算法的研究。分析了已有算法的性质和存在的问题,提出一种修正的广义学习向量量化算法,该算法不但简单,而且改进了已有算法的一些缺陷:克服了一些算法对数据的“Scale”问题,并且对初始点和初始学习率都不敏感。进一步引入激励因子,利用模拟退火思想,给出提高一般学习向量量化算法的措施。2.对标准支持向量机的算法研究。这部分给出了三个算法:1)针对线性分类问题,将原二次规划转化为低维无约束非光滑规划,采用合适的光滑函数给出求解该问题的低维Newton算法;2)对一般分类问题,通过分析二次规划的ε-扰动规划的最优解和二次规划的无约束Lagrange对偶问题的光滑熵函数的极小点的关系,提出求ε-支持向量的极大熵算法;3)对一般分类问题,同样讨论了其无约束、非光滑Lagrange对偶问题,而采用Huber鲁棒回归函数将其近似为可微光滑分片二次函数,采用快速收敛的精确Newton型算法求解,给出训练支持向量机的Huber近似算法,由于目标函数的梯度是分片线性函数,所有过程可以快速完成。3.对变形SVM问题的研究(1)。针对O. L. Mangasarian及其学生、合作者提出的一种简化变形SVM,利用Lagrange对偶技术,将高维二次规划转化极小化低维的可微分片二次函数。注意到该目标函数的梯度连续但二阶导数在一些区域不存在,采用精确线搜索的无约束共轭梯度算法求解,提出共轭梯度支持向量机,其中处理非线性问题时需要对核矩阵进行Cholesky分解或非完全Cholesky分解。

全文目录


摘要  5-7
ABSTRACT  7-14
第一章 绪论  14-22
  1.1 引言  14
  1.2 竞争学习网络及其向量量化的研究背景及现状  14-16
    1.2.1 竞争学习  14-15
    1.2.2 学习向量量化  15-16
  1.3 统计学习理论及其SVM 研究背景及现状  16-20
    1.3.1 统计学习理论的发展  16-17
    1.3.2 SVM 的算法研究  17-19
    1.3.3 SVM 的应用研究  19
    1.3.4 SVM 的核函数和模型选择研究  19-20
  1.4 本文工作及安排  20-22
第二章 竞争学习网络及广义学习向量量化  22-36
  2.1 学习理论及自组织系统  22-25
    2.1.1 通用学习方程  22-23
    2.1.2 自组织学习  23
    2.1.3 竞争学习  23-24
    2.1.4 自组织特征映射(Self-Organizing Feature Map, SOFM)  24-25
  2.2 向量量化及广义学习向量量化  25-28
    2.2.1 学习向量量化(Learning VQ, LVQ)  25-27
    2.2.2 广义向量量化  27
    2.2.3 模糊学习量化算法  27-28
  2.3 一个新的竞争网络学习算法  28-32
    2.3.1 修正的广义学习向量量化算法  28-29
    2.3.2 模糊修正广义学习量化  29-30
    2.3.3 实验比较  30-32
  2.4 一种提高学习向量量化算法性能的新方法  32-35
    2.4.1 引言  32-33
    2.4.2 提高竞争网络性能的新措施  33-34
    2.4.3 实验仿真  34-35
  2.5 小结与讨论  35-36
第三章 支持向量机的基本理论和几何特性研究  36-54
  3.1 监督学习和统计学习理论  36-39
    3.1.1 监督机器学习问题  36-38
    3.1.2 统计学习理论  38-39
  3.2 SVM 的基本理论  39-43
    3.2.1 学习过程一致性的条件  39-40
    3.2.2 学习过程收敛率的界  40-41
    3.2.3 结构风险最小化  41-43
  3.3 支持向量机模型  43-47
    3.3.1 ?-间隔分类超平面  43-44
    3.3.2 确定最优分类超平面  44-45
    3.3.3 推广到线性不可分情形  45
    3.3.4 核函数和非线性问题  45-47
    3.3.5 常用核函数举例  47
  3.4 一种推导SVM 的直观方法——FISHER 投影方法  47-52
    3.4.1 Fisher 线性判别法  48-49
    3.4.2 利用Fisher 投影构造最优分类超平面  49-51
    3.4.3 模拟实验  51
    3.4.4 小结  51-52
  3.5 结束语  52-54
第四章 标准支持向量机算法研究  54-78
  4.1 标准支持向量机问题简介  54-56
    4.1.1 标准SVM 问题  54-55
    4.1.2 经典求解算法  55-56
  4.2 低维NEWTON 算法  56-61
    4.2.1 算法与分析  56-59
    4.2.2 数值模拟实验  59-61
    4.2.3 结论  61
  4.3 训练支持向量机的极大熵方法  61-68
    4.3.1 SVM 的无约束对偶问题及其熵近似函数的性质  61-63
    4.3.2 SVM 的ε-最优解  63-65
    4.3.3 算法及分析  65-66
    4.3.4 数值模拟实验  66-68
    4.3.5 结论  68
  4.4 训练支持向量机的HUBER 近似算法  68-77
    4.4.1 引言  68
    4.4.2 二次规划的无约束对偶问题  68-69
    4.4.3 对偶问题的Huber 近似及其性质  69-72
    4.4.4 算法提出  72-73
    4.4.5 算法分析  73-74
    4.4.6 数值模拟实验  74-77
    4.4.7 结论  77
  4.5 结束语  77-78
第五章 变形支持向量机算法研究(1)——CGSVM  78-94
  5.1 变形SVM 模型  78-82
    5.1.1 引言  78-79
    5.1.2 二次损失函数支持向量机  79-80
    5.1.3 最小二乘支持向量机LS-SVM  80-81
    5.1.4 Mangasarian 等的变形问题  81
    5.1.5 广义支持向量机GSVM  81-82
  5.2 已有变形算法介绍  82-85
    5.2.1 连续超松弛算法SOR  82-83
    5.2.2 光滑支持向量机SSVM  83-84
    5.2.3 Lagrange 支持向量机LSVM  84-85
  5.3 共轭梯度型支持向量机(CGSVM)  85-89
    5.3.1 线性变形SVM 的无约束Lagrangian 对偶  85-87
    5.3.2 非线性问题无约束Lagrangian 对偶  87
    5.3.3 CGSVM 算法  87-88
    5.3.4 精确线搜索  88-89
  5.4 算法实现与实验  89-92
    5.4.1 线性分类实验  89-90
    5.4.2 非线性分类实验  90-92
    5.4.3 复杂度分析  92
  5.5 结束语  92-94
第六章 变形支持向量机算法研究(2)——ESNSVM  94-106
  6.1 SVM 及其变形问题介绍  94-95
    6.1.1 引言  94
    6.1.2 二次损失函数变形及其Mangasarian 的变形  94-95
  6.2 半光滑方法  95-98
    6.2.1 半光滑(Semi-smooth)方法介绍  95-97
    6.2.2 半光滑SVM  97-98
  6.3 精确半光滑SVM  98-102
    6.3.1 变形SVM 的无约束Lagrange 对偶问题  98-99
    6.3.2 算法提出  99-100
    6.3.3 算法收敛性  100
    6.3.4 广义Jacobian 矩阵B_k的计算和迭代更新  100-101
    6.3.5 基于“二分查找”的精确线搜索  101-102
  6.5 实验仿真  102-105
    6.5.1 与算法LSVM 的实验比较  102-104
    6.5.2 ESNSVM 与半光滑算法Semismooth-SVM 的比较分析  104-105
  6.6 结束语  105-106
第七章 支持向量机的几何算法研究——新的可行方向算法  106-126
  7.1 SVM 的几何解释  106-110
    7.1.1 SVM 介绍  106-107
    7.1.2 C-SVM 的几何解释  107-109
    7.1.3 v-SVM 的几何解释  109-110
  7.2 几何算法介绍  110-113
    7.2.1 Keerthi 等的最近点(Nearest Point)算法  110-111
    7.2.2 Franc 和Hlavác的S-K 算法  111-113
  7.3 一个新的可行方向算法  113-123
    7.3.1 S-K 算法分析  113-115
    7.3.2 新的可行方向算法  115-117
    7.3.3 收敛性分析  117-119
    7.3.4 停止条件  119-121
    7.3.5 推广处理不可分问题  121-123
  7.4 试验与分析  123-125
  7.5 结束语  125-126
第八章 支持向量机的核函数和模型选择研究  126-138
  8.1 引言  126-127
  8.2 一类新的核函数  127-132
    8.2.1 高斯核函数的性能分析  127-130
    8.2.2 一个新的核函数及其性能分析  130-132
  8.3 核参数选择分析  132-135
    8.3.1 距离判别准则  132-133
    8.3.2 夹角判别准则  133-134
    8.3.3 混合策略  134-135
  8.4 实验仿真  135-136
  8.5 结论  136-138
第九章 总结与展望  138-140
参考文献  140-152
致谢  152-154
读博士期间的研究论文和参加的科研项目  154-155

相似论文

  1. 贝叶斯方法下二值与多值序次数据模型与异常点的同时识别,O212.1
  2. 随机网络模型分离,O157.5
  3. 基于分段函数的剂量—反应模型的参数估计和模型选择,R96
  4. 遗传连锁分析中重组率的统计推断,O212
  5. 支持向量机在机器学习中的应用研究,TP181
  6. 雷达高分辨距离像目标识别方法研究,TN957.5
  7. 贝叶斯学习理论及其应用研究,TP181
  8. 江苏农信社通信网模式研究,TN915
  9. 基于NURBS曲面的船舶破舱稳性计算方法研究,U661
  10. 约束条件下的模型选择方法及其应用,O212.1
  11. 机器学习中的模型选择问题研究,TP181
  12. 关于题组随机效应模型的模型选择,O212.1
  13. 主动轮廓模型的研究及其改进模型在目标检测中的应用,TP391.41
  14. 路基路面检测技术与质量控制,U416.1
  15. 黑子的磁场性质与几何性质之间的关系,P182.41
  16. 高速加工插补算法的动力学行为分析与评价,TG506.1
  17. LEO系统呼叫接入算法及编队星间链路性能研究,TN927.2
  18. 基于图像处理技术的自动报靶系统研究,TP391.41
  19. 新型钻头的几何特性分析及实验研究,TG713.1
  20. Q345GJ结构钢材性试验与参数估计,TU511.3

中图分类: > 工业技术 > 自动化技术、计算机技术 > 自动化基础理论 > 人工智能理论 > 自动推理、机器学习
© 2012 www.xueweilunwen.com