学位论文 > 优秀研究生学位论文题录展示

网格中多集群调度模块的设计与实现

作　者: 赵妍妍
导　师: 马培军
学　校: 哈尔滨工业大学
专　业: 软件工程
关键词: 网格多集群调度策略
分类号: TP393.09
类　型: 硕士论文
年　份: 2009年
下　载: 29次
引　用: 1次
阅　读: 论文下载

内容摘要

网格是继传统因特网、Web之后的第三次互联网浪潮,可以称之为第三次因特网的应用。面对新的互联网发展趋势,各大公司纷纷推出自己的网格计算产品,其中又以多集群形成的网格为主要的研究与发展方向。多集群可以把地理上广泛分布的各种资源连成一个逻辑整体,就像一台超级计算机一样,为用户提供一体化信息和应用服务(计算、存储、访问等),最终实现在这个虚拟环境下进行资源共享和协同工作,彻底消除资源“孤岛”,最充分的实现信息共享。本论文以现有网格计算产品为基础,通过修改及扩展其多集群之间的调度策略,从而使该产品可以在多集群调度方面提供更加有效、合理的调度决策,解决各跨地域企业以前资源难以共享的问题,最有效地使用他们的系统,满足客户要求并降低他们计算机资源的拥有和管理总成本。论文遵循现有网格计算产品的体系架构,运用其调度插件机制,开发了三种用于多集群之间的调度策略,包括保证多集群中高优先级作业执行率的抢占式作业调度策略、保证多用户之间公平使用多个集群资源的公平分配作业调度策略和满足客户特殊需求的预约式作业调度策略。其中,调度算法以调度插件形式开发,可以很好的与原调度程序结合;为调度算法提供资源信息的资源收集与共享部分采用扩展原系统模块功能的方式实现;数据传输处理以及日志记录等辅助功能采用与原系统相同的流程进行处理。在调度算法以及各个辅助功能的相互配合之下,最终实现了与原产品风格一致,并且可以为多集群的作业调度提供合理决策的三种集群间的调度策略,取得了较好的平衡多集群之间负载的效果。

全文目录

摘要  4-5
Abstract  5-10
第1章绪论  10-16
  1.1 课题的背景及研究目的  10-11
    1.1.1 课题来源及背景  10
    1.1.2 研究目的  10-11
  1.2 与本课题相关的国内外研究综述  11-14
    1.2.1 网格技术及其发展现状  11-12
    1.2.2 网格环境下调度策略的研究现状  12-14
  1.3 本论文的主要工作内容  14-15
  1.4 本文组织结构  15-16
第2章多集群调度模块的需求分析  16-28
  2.1 多集群调度模块背景产品LSF 分析  16-21
    2.1.1 集群结构  16-17
    2.1.2 作业执行周期  17-18
    2.1.3 多集群分析  18-21
    2.1.4 调度插件机制  21
  2.2 需求的提出  21-24
    2.2.1 多集群调度模块需求的提出  21-22
    2.2.2 三种调度策略的选择  22-23
    2.2.3 调度策略的比较  23-24
  2.3 功能需求  24-25
  2.4 非功能需求  25-26
    2.4.1 正确性  25-26
    2.4.2 可扩展性  26
    2.4.3 其他非功能约束  26
  2.5 技术难点  26-27
    2.5.1 实现与集成的复杂性  26-27
    2.5.2 如何设计与实现高效的调度算法  27
  2.6 本章小结  27-28
第3章多集群调度模块的设计  28-49
  3.1 模块功能及结构设计  28-32
    3.1.1 模块总体实施方案  28-29
    3.1.2 模块结构设计  29
    3.1.3 子模块划分  29-31
    3.1.4 接口设计  31-32
  3.2 调度算法的设计  32-37
    3.2.1 抢占式作业调度算法的设计  32-34
    3.2.2 公平分配作业调度算法的设计  34-36
    3.2.3 预约式作业调度算法的设计  36-37
  3.3 资源收集与共享子模块的设计  37-42
    3.3.1 动态资源计数器的收集与共享  38-40
    3.3.2 预约信息的收集与共享  40-42
  3.4 传输数据处理子模块的设计  42-43
    3.4.1 数据的编码与解码  42-43
    3.4.2 传输数据识别  43
  3.5 错误消息日志记录子模块的设计  43-44
    3.5.1 国际化信息与日志  44
    3.5.2 错误消息及日志的记录方式  44
  3.6 全局数据结构设计  44-48
    3.6.1 抢占式作业调度全局数据结构设计  44-46
    3.6.2 公平分配作业调度全局数据结构设计  46-47
    3.6.3 预约式作业调度全局数据结构设计  47-48
  3.7 本章小结  48-49
第4章多集群调度模块的实现  49-69
  4.1 调度插件机制的使用  49-51
    4.1.1 作业调度插件的插入  49-50
    4.1.2 调度插件与资源收集共享的匹配  50-51
  4.2 调度算法的实现  51-57
    4.2.1 抢占式作业调度算法的实现  51-53
    4.2.2 公平分配作业调度算法的实现  53-55
    4.2.3 预约式作业调度算法的实现  55-57
    4.2.4 新增调度算法与原调度程序的集成  57
  4.3 资源收集与共享的实现  57-63
    4.3.1 动态资源计数器收集的实现  58-61
    4.3.2 预约信息收集的实现  61-62
    4.3.3 不同资源共享实现的对比  62-63
  4.4 传输数据处理的实现  63-67
    4.4.1 使用XDR 程序进行编码和解码  64-65
    4.4.2 LSF 数据头部处理  65-67
  4.5 错误消息及日志记录的实现  67-68
    4.5.1 错误消息记录的实现  67
    4.5.2 日志记录的实现  67-68
  4.6 本章小结  68-69
第5章多集群调度模块的测试及评价  69-81
  5.1 测试过程及结果评价  69-76
    5.1.1 抢占式调度策略测试过程及结果分析  70-73
    5.1.2 公平分配调度策略测试过程及结果分析  73-76
    5.1.3 预约式调度策略测试过程及结果分析  76
  5.2 测试中发现的问题及相应修改结果  76-80
    5.2.1 动态资源计数器收集与传输的误差  77-78
    5.2.2 一个周期调度多个作业导致的误差  78-80
  5.3 算法实现的最终效果  80
    5.3.1 抢占式作业调度策略的实现效果  80
    5.3.2 公平分配作业调度策略的实现效果  80
    5.3.3 预约式作业调度策略的实现效果  80
  5.4 本章小结  80-81
结论  81-83
参考文献  83-88
致谢  88-89
个人简历  89

网格中多集群调度模块的设计与实现

内容摘要

全文目录

相似论文