学位论文 > 优秀研究生学位论文题录展示
求解大规模优化问题的有限记忆拟牛顿法
作 者: 金红艳
导 师: 刘陶文
学 校: 湖南大学
专 业: 运筹学与控制论
关键词: 大规模优化 有限记忆拟牛顿方法 非凸极小化 全局收敛 紧凑公式
分类号: O242.23
类 型: 硕士论文
年 份: 2013年
下 载: 9次
引 用: 0次
阅 读: 论文下载
内容摘要
拟牛顿法是一类有效的求解无约束优化问题的方法.然而实例表明拟牛顿法被用于求解非凸函数极小值问题时不一定全局收敛,为此人们提出了拟牛顿法的许多修正形式,如保守BFGS (CBFGS)方法、修正BFGS (MBFGS)方法等,但这些修正仍存在某些不足.为求解大规模优化问题人们对拟牛顿法进行改善得到了有限记忆拟牛顿法,但该类方法在求解病态问题时几乎失效,因此人们在有限记忆类方法中使用正规化策略改善其数值效果,但在其修正公式中,初始矩阵通常只能取常量矩阵而丢失了某些与迭代有关的有用信息,基于已有拟牛顿法和有限记忆拟牛顿法的不足,在本文中,我们提出了带比例因子的BFGS (SBFGS)修正方法以及其有限记忆类形式(L-SBFGS),理论分析和数值测试表明,本文所提出的方法是有效的和数值稳定的.本文首先介绍无约束优化问题的求解方法,重点介绍BFGS算法和有限记忆BFGS算法的研宄及发展现状,并且提出了本文的工作设想.其次我们在CBFGS方法基础上,提出了带比例因子的修正BFGS (SBFGS)算法,与CBFGS方法比较,SBFGS方法产生的拟牛顿矩阵能随迭代进行而被有效修正,因而能更好地近似Hessian矩阵.而且我们证明SBFGS方法在求解非凸函数极小值问题时无论使用Wolfe搜索准则还是Armijo搜索准则来计算步长都具有全局收敛性.再次我们基于Byrd、Nocedal等给出的紧凑表示公式,将提出的SBFGS公式推广到有限记忆框架内,提出了一种求解大规模无约束优化问题的紧凑有限记忆SBFGS (L-SBFGS)算法,特别考虑了包含迭代信息的初始矩阵的选取技巧,然后分别证明该算法在Wolfe搜索准则和Armij o搜索准则下均有全局收敛性以及R-线性收敛速度.最后分别对所提出的SBFGS算法和L-SBFGS算法进行数值测试,并与已有的同类方法进行了数值比较.数值结果表明SBFGS算法和L-SBFGS算法改善了已有方法的数值效果.
|
全文目录
摘要 5-6 Abstract 6-8 符号说明 8-10 第1章 绪论 10-23 1.1 引言 10 1.2 线性搜索法则 10-11 1.3 拟牛顿法 11-18 1.3.1 拟牛顿法概述 13-15 1.3.2 拟牛顿法的研究现状 15-18 1.4 大规模无约束优化问题 18-21 1.4.1 有限记忆方法概述 18-20 1.4.2 有限内存方法的研究现状 20-21 1.5 本文主要工作及结构安排 21-23 第2章 SBFGS公式及其算法的收敛性分析 23-33 2.1 BFGS修正公式—SBFGS 23-24 2.2 SBFGS算法的导出 24-25 2.3 SBFGS算法的收敛性分析 25-33 第3章 L-SBFGS公式及其算法的收敛性分析 33-44 3.1 L-SBFGS公式的推导 33-34 3.2 L-SBFGS算法的导出 34-35 3.3 迭代矩阵的表示 35-39 3.4 算法的导出 39-41 3.5 算法的收敛性分析 41-44 第4章 数值试验 44-55 4.1 CBFGS算法与SBFGS算法数值结果比较及其分析 45-52 4.2 L-CBFGS算法与L-SBFGS算法数值结果比较及其分析 52-55 结论 55-57 参考文献 57-60 致谢 60
|
相似论文
- 非光滑优化信赖域算法的改进研究,O224
- 一类广义NCP函数的性质和互补问题的Derivative-Eree下降算法,O221
- 非线性无约束共轭梯度法,O224
- 有限维变分不等式及互补问题的有效算法研究,O242.23
- 约束优化QP子问题与线性方程组相结合的一个新的超线性收敛算法,O241.6
- 随机规划分解算法研究及其应用,F224
- 求解非线性规划问题的光滑牛顿法及Minimax问题的SQP-Filter算法,O221.2
- 两类非线性二层规划的理论与算法研究,O221.2
- 求解非线性等式约束优化问题的新锥模型信赖域方法,O221.2
- 新锥模型二维子空间信赖域算法,O221.2
- 非线性最优化问题非单调信赖域算法的研究,O224
- 求解不等式约束非线性优化问题的改进的SQP算法研究,O224
- 非线性共轭梯度法的改进,O224
- 不等式约束优化两个新的强次可行和拟强次可行算法,O221.2
- 非线性规划问题的若干算法研究,O221.2
- 两种新的非单调线搜索方法,O224
- 一族修正拟牛顿算法及其收敛性,O224
- 一类新拟牛顿算法及其收敛性,O224
- 基于免疫进化算法的神经进化,TP18
- 改进的遗传算法在非线性方程组中的应用,O241.7
- 一个求解非线性半定规划的基于增广拉格朗日函数的原始对偶内点算法,O221.2
中图分类: > 数理科学和化学 > 数学 > 计算数学 > 数学模拟、近似计算 > 近似计算 > 牛顿-拉弗森(Newton-Raphson)法
© 2012 www.xueweilunwen.com
|