学位论文 > 优秀研究生学位论文题录展示

基于强化学习算法的发酵过程多目标优化

作　者: 宋天恒
导　师: 李大字
学　校: 北京化工大学
专　业: 控制科学与工程
关键词: Q-learning算法 多步Q-learning算法 分批补料发酵过程 多目标优化
分类号: TP18
类　型: 硕士论文
年　份: 2011年
下　载: 35次
引　用: 0次
阅　读: 论文下载
 

内容摘要


分批补料发酵过程的反应特点包括强非线性、时间滞后、参数时变性以及生物状态量难以实时测量等,对产物、底物和时间消耗进行直接的在线控制非常困难。因此,离线优化成为了改善各个生产指标的主要手段。另外,这种复杂的优化包含有多个不可比较的甚至是互相矛盾的目标。这种优化问题需要得到Pareto最优解集,即进行基于Pareto的优化。另一方面,分批补料发酵过程中还有3-5个单独的控制回路用于控制pH值、温度和溶氧等状态量,同样要面对发酵反应的复杂性问题。这种情况下传统的控制算法也不能取得很好的效果。近年来,智能算法在复杂系统的控制与多目标优化发展迅速。作为应用最广泛的一种强化学习算法,Q-learning算法具有结构简单、无需先验知识、需整定参数少等优点,适合复杂系统优化和无模控制。本文提出了一种基于Pareto的离散化Q-learning多目标优化策略(PDQL),用于求解赖氨酸分批补料发酵过程的Pareto最优流加速率轨迹,以获得最优的生产指标。Q-learning算法与Pareto排序法相结合用于产生非支配解集,逐步逼近真实的Pareto前沿,并利用多组不同初始位置,同时共享搜索经验的agent共同搜索以增强并行搜索能力。优化结果与粒子群算法结合聚集函数法进行了对比,结果显示PDQL策略可以得到更多数量的解并具有更好的分布性。此外,针对发酵过程中的中和反应控制与温度控制设计了一种多步Q-learning控制器,利用Q-learning算法可进行无模控制的特点,重新设计误差的状态集,以克服发酵过程的反应复杂性。实验结果与PID控制进行了对比,证明了新控制器的有效性。

全文目录


摘要  4-6
ABSTRACT  6-14
第一章 绪论  14-26
  1.1 引言  14
  1.2 强化学习的发展与现状  14-16
  1.3 Q-learning算法的基本知识  16-19
    1.3.1 Markov决策过程  16
    1.3.2 奖赏策略  16-17
    1.3.3 Q值函数  17-18
    1.3.4 动作选择机制  18-19
    1.3.5 Q-learning基本步骤  19
    1.3.6 Q-learning的优缺点  19
  1.4 补料分批发酵过程概述  19-22
    1.4.1 补料分批发酵过程  20
    1.4.2 发酵过程的一般特点  20-21
    1.4.3 分批补料发酵过程的多目标优化问题  21-22
  1.5 Q-learning算法在优化与控制中的应用  22-23
  1.6 本文的主要工作  23-26
第二章 离散化Q-learning算法的Pareto优化策略  26-46
  2.1 引言  26
  2.2 PDQL优化策略  26-32
    2.2.1 基于Q-learning的优化策略  26-28
    2.2.2 非支配集的构建方法  28-30
    2.2.3 优化策略的步骤  30-32
  2.3 PDQL的函数优化测试  32-44
    2.3.1 单一目标函数测试结果  33-36
    2.3.2 Fonseca函数测试  36-39
    2.3.3 Viennet函数测试  39-40
    2.3.4 Viennet(3)函数测试  40-43
    2.3.5 Deb g(x_2)函数测试  43-44
  2.4 本章小结  44-46
第三章 赖氨酸补料分批发酵过程多目标优化  46-58
  3.1 引言  46
  3.2 赖氨酸补料分批发酵过程模型  46-48
  3.3 优化目标与优化解  48-51
  3.4 优化步骤与比较算法  51-53
  3.5 优化结果与分析  53-56
  3.6 本章小结  56-58
第四章 多步Q-learning算法在发酵过程控制回路中的应用  58-76
  4.1 引言  58
  4.2 多步Q-learning控制器  58-62
    4.2.1 多步Q-learning算法  58-60
    4.2.2 多步Q-learning控制器设计  60-62
  4.3 多步Q-learning控制器在中和反应中的应用  62-66
    4.3.1 中和反应对象模型  63-64
    4.3.2 控制器设置  64-65
    4.3.3 控制结果与分析  65-66
  4.4 多步Q-learning控制器在温度控制中的应用  66-74
    4.4.1 酿酒酵母发酵过程温度控制模型  67-70
    4.4.2 温度控制器设置  70-71
    4.4.3 控制结果与分析  71-74
  4.5 本章小结  74-76
第五章 结论与展望  76-78
参考文献  78-82
致谢  82-84
研究成果及发表的学术论文  84-86
作者简介  86-87
硕士研究生学位论文答辩委员会决议书  87-88

相似论文

  1. 基于蚁群算法的电梯群优化控制研究,TU857
  2. 基于遗传算法的矿山资源优化调度模型的研究,O224
  3. 基于粒子群算法的区域水资源优化配置研究,TV213.4
  4. 电火花加工参数优化的研究,TG661
  5. 基于克隆免疫算法的应急物流车辆路径模型的研究,U116.2
  6. 多层皮革高速裁剪机伺服进给系统多目标优化,TS531
  7. 多星地面站测控调度多目标优化研究,V556
  8. 含风电场电力系统的机组优化调度研究,TM73
  9. 烟滤棒成型设备开松机构的工艺参数优化,TS43
  10. 面向节能的铝工业生产调度问题模型与算法研究,TF808
  11. 多智能体理论及其在电梯群控中的应用研究,TP273.5
  12. 基于混洗蛙跳算法的研究,TP301.6
  13. 建三江分局水资源承载力评价及优化配置研究,TV213.4
  14. 复杂壳体类塑件气辅注射成型工艺优化研究,TQ320.662
  15. 认知无线电网络的累加干扰分析,TN925
  16. 引入加速协同算子的多目标协同进化算法及其在倒立摆控制中的应用,TP13
  17. IMRT逆向计划中多目标优化算法进化策略的研究,R730.5
  18. 双离合器式变速器的仿真与可靠性优化,U463.212
  19. 垃圾焚烧锅炉多目标优化运行评价研究,X705
  20. 风电并网中分布式蓄能技术的研究,TM614

中图分类: > 工业技术 > 自动化技术、计算机技术 > 自动化基础理论 > 人工智能理论
© 2012 www.xueweilunwen.com