学位论文 > 优秀研究生学位论文题录展示
基于无界抽样的正则化回归学习算法的研究
作 者: 储小荣
导 师: 孙红卫
学 校: 济南大学
专 业: 应用数学
关键词: 学习理论 回归学习 无界抽样 样本误差 逼近误差 学习速率
分类号: TP181
类 型: 硕士论文
年 份: 2013年
下 载: 3次
引 用: 0次
阅 读: 论文下载
内容摘要
正则化回归学习是统计学习理论的主要研究领域之一。在回归学习中,通常假设输出变量是一致有界的,但这种假设与许多实际情况相背离,例如输出变量服从Gaussian分布等,近些年基于无界抽样的学习算法的研究开始受到广泛关注。2010年,C. Wang和D. X. Zhou引入输出样本矩有界的假设,利用覆盖数的方法研究了正则化最小二乘回归学习算法的一致性。本文提出更一般的关于输出数据的无界条件,进一步地弱化矩假设,假设输出变量的某个p (p≥2)阶矩有界,文中给出实例,证明我们的无界条件严格弱于矩假设。在上述关于输出数据的假设条件下,我们利用积分算子与误差分解的技巧,研究了最小二乘正则化算法与惩罚项为l~2-范数的系数正则化算法的渐进收敛性,给出了算法解的误差界与学习速率。对于系数正则化,首先讨论了基于非正定核的系数正则化算法,利用样本算子,给出算法优化解f_z的显示表达式,通过引入正则化函数,将误差分为三部分,分别进行估计,得到与一致有界情形下类似的误差界与学习速率。其次,讨论了基于无界抽样的半监督系数正则化算法。这里所谓半监督是指假设空间和学习算法基于两组不同的输入数据,在实践中,由于获取有标号数据十分困难,而无标号数据相对容易获得,但这部分数据无法在监督学习算法中使用,半监督学习同时利用了标号数据与无标号数据所含有的信息。对于最小二乘正则化回归学习,我们研究了抽样满足α-混合条件和φ-混合条件,以及输出数据满足上述无界条件情形下的算法一致性。利用有关强混合抽样过程的概率不等式,研究了算法的渐进收敛性,给出了误差界与学习速率的估计。上述工作同时证明了如下现象:(1)目标函数f_ρ越光滑,学习速率越好;(2)样本之间的相关性越高,学习速率越差;(3)当目标函数的光滑性与样本之间相关性达到一定程度时,学习速率不再提高,即存在饱和效应。(4)在φ-混合过程中,学习速率与无界条件参数p无关;而对于α混合过程,当样本相关性参数t> p/(p-2)且目标函数f_ρ的光滑性参数r≥1/2时,无界条件的影响变弱,且当t足够大时,我们能得到与一致有界抽样相同的学习速率。本文还针对最小二乘正则化回归学习算法,给出T. Zhang所提出的排一分析法的一个简要的算法分析。
|
全文目录
摘要 7-9 Abstract 9-11 第一章 绪论 11-19 1.1 机器学习 11 1.2 统计学习理论 11-14 1.2.1 学习问题 12 1.2.2 ERM 准则 12-13 1.2.3 核方法 13-14 1.3 正则化算法 14-16 1.4 无界条件 16-17 1.5 本论文的概括 17-19 第二章 基于无界抽样的系数正则化回归学习算法的研究 19-39 2.1 引言 19-20 2.2 基于无界抽样的系数正则化算法 20-27 2.2.1 预备知识 20-22 2.2.2 样本误差的估计 22-25 2.2.3 误差界及学习速率 25-27 2.3 基于无界抽样的半监督系数正则化算法 27-39 2.3.1 预备知识 27-28 2.3.2 主要结果 28-31 2.3.3 假设误差 31-33 2.3.4 样本误差 33-36 2.3.5 学习速率 36-37 2.3.6 讨论 37-39 第三章 基于弱相关无界抽样的正则化算法 39-51 3.1 引言 39-41 3.2 主要结果 41-44 3.3 基于φ-混合条件的样本误差 44-46 3.4 基于α-混合条件的样本误差 46-48 3.5 学习速率 48-51 第四章 排一分析法 51-55 4.1 引言 51 4.2 主要引理 51-52 4.3 学习速率 52-55 第五章 结论与展望 55-57 5.1 总结 55 5.2 创新点 55 5.3 展望 55-57 参考文献 57-63 致谢 63-65 附录 65-66
|
相似论文
- 美国“写作教室”理论与实践初探,G633.3
- 建构主义学习理论指导下的科教电视节目编导策略研究,G222.3
- 赖尔的行为主义,B089
- 体验式英语学习对初中英语写作影响的实验研究,G633.41
- 基于视觉反馈与行为记忆的GPU并行蚁群算法,TP301.6
- 基于支持向量机的故障诊断研究,TH165.3
- 小组合作学习在初中英语教学中的运用研究,G633.41
- 英语周记互评在英语写作教学中的效果研究,G633.41
- 放射非线性系统的自适应模糊控制,TP273.4
- 体验学习理论在高职商务英语口语教学中的应用,H319
- 合作掌握学习理论在高中艺术生词汇教学中的应用,G633.41
- 游戏在对外汉语少儿教学中的应用,H195.3
- 布卢姆掌握学习理论研究,G424
- 机械虚拟实验教学平台的研究与实现,G642
- 微格教学系统的设计与实现,TP311.52
- 基于支持向量机的文本分类器设计与实现,TP391.1
- 支持向量机增量学习算法研究,TP18
- 支持向量机遥感图像分类的研究,P237
- 与支持向量回归机对应的密度函数的研究,O174
- 基于成人学习理论的关节置换术病人护理模式的效果评价,R473.6
- n维单形上带有多项式核最小二乘正则化算法的逼近阶,O174.41
中图分类: > 工业技术 > 自动化技术、计算机技术 > 自动化基础理论 > 人工智能理论 > 自动推理、机器学习
© 2012 www.xueweilunwen.com
|