学位论文 > 优秀研究生学位论文题录展示

网格计算中数据存储相关作业调度模块的设计与实现

作　者: 李成龙
导　师: 王宇颖；孙宏伟
学　校: 哈尔滨工业大学
专　业: 软件工程
关键词: 网格计算调度策略数据存储相关作业
分类号: TP311.52
类　型: 硕士论文
年　份: 2011年
下　载: 32次
引　用: 0次
阅　读: 论文下载

内容摘要

利用互联网将不同的物理机器组成一个“超级计算机”的计算方式叫做网格计算。网格计算可以充分利用网格中闲置的资源,能够有效的使用共享的稀有资源,并且提供数据处理能力超强的服务。本论文是以网格计算产品LSF为基础的,LSF能够非常有效的管理系统中的CPU以及内存等资源,但是却不能很好的管理作业产生的数据以及使用大量数据的作业。在本论文中我们将产生大量数据的作业称为生产型作业,将使用大量数据的作业称为消费型作业,这两种作业统称为数据存储相关作业。生产型作业需要使用的资源称为存储空间,消费型作业需要使用的资源称为数据集。为了能够有效的管理存储空间和数据集,设计并实现了数据存储相关的管理模块。为了能够有效的调度数据存储相关作业,提出数据存储相关作业的调度算法,并设计和实现了数据存储相关作业的调度模块。该调度模块有效地解决了数据存储相关作业在运行时存储空间不足和调度效率低下的问题,使得该产品能够更加有效和安全地管理和调度数据存储相关作业。该调度模块的体系结构和框架遵循现有网格计算产品LSF的体系架构和调度模块框架。其中数据存储相关作业的调度插件以插件形式开发和集成到当前的产品LSF中,并修改了产品中其他模块的相关的逻辑。消费型作业和生产型作业的管理模块实现了数据存储相关作业的相关数据的收集。通过本论文的研究,最终实现了数据存储相关作业的管理和调度模块,并且与产品能够进行很好的整合,在能够合理的分配计算资源且有一定容错措施的基础上,达到了提高数据存储相关作业调度性能的目的。

全文目录

摘要  4-5
Abstract  5-9
第1章绪论  9-17
  1.1 课题的背景及研究目的  9
    1.1.1 课题来源及背景  9
    1.1.2 研究目的  9
  1.2 与本课题相关的国内外研究综述  9-15
    1.2.1 国外网格发展现状  10-12
    1.2.2 国内网格发展现状  12
    1.2.3 常用的网格作业调度算法  12-15
  1.3 本论文的主要工作内容  15
  1.4 本文组织结构  15-17
第2章作业调度模块的需求分析  17-31
  2.1 产品背景分析  17-20
    2.1.1 LSF 的集群物理结构分析  17-18
    2.1.2 LSF 的体系结构  18-20
  2.2 需求的来源  20
  2.3 功能需求  20-26
    2.3.1 作业管理模块的需求分析  21-24
    2.3.2 作业调度插件的需求分析  24-25
    2.3.3 容错和日志模块的需求分析  25-26
  2.4 性能及非功能需求  26
  2.5 约束需求  26-27
  2.6 用户环境需求  27-28
  2.7 数据库的选择  28-29
    2.7.1 SQLite 的体系结构  28-29
    2.7.2 SQLite 数据类型  29
  2.8 本章小结  29-31
第3章作业调度模块的设计  31-47
  3.1 模块总体结构设计  31-32
  3.2 功能模块设计  32-33
  3.3 作业调度插件的设计  33-38
    3.3.1 插件机制  33-34
    3.3.2 作业调度插件的数据结构设计  34-36
    3.3.3 作业调度算法的设计  36-38
  3.4 作业管理模块的设计  38-44
    3.4.1 数据管理进程的设计  38-39
    3.4.2 作业管理模块的数据结构的设计  39-42
    3.4.3 资源管理的配置设计  42-43
    3.4.4 作业通讯管理模块的设计  43-44
  3.5 容错和日志模块的设计  44-46
    3.5.1 容错模块的设计  44-45
    3.5.2 日志模块的设计  45-46
  3.6 本章小结  46-47
第4章作业调度模块的实现  47-65
  4.1 作业管理模块的实现  47-52
    4.1.1 数据管理进程的实现  47-49
    4.1.2 资源管理的实现  49-50
    4.1.3 资源查询的实现  50-51
    4.1.4 收集磁盘存储空间脚本的实现  51-52
  4.2 作业调度插件的实现  52-61
    4.2.1 作业调度插件的初始化的实现  52-53
    4.2.2 作业调度插件的预处理工作的实现  53-54
    4.2.3 作业调度插件的调度阶段的实现  54-59
    4.2.4 作业调度插件的调度决策派遣的实现  59
    4.2.5 作业挂起的原因  59-61
  4.3 容错和日志模块的实现  61-64
    4.3.1 容错模块的实现  61-63
    4.3.2 日志模块的实现  63-64
  4.4 本章小结  64-65
第5章作业调度模块的测试及分析  65-79
  5.1 作业管理模块的测试  65-69
    5.1.1 数据管理进程的功能测试  65-66
    5.1.2 资源管理的功能测试  66-67
    5.1.3 资源查询的功能测试  67-69
    5.1.4 测试结论  69
  5.2 作业调度插件的测试  69-75
    5.2.1 普通作业的功能测试  69-70
    5.2.2 生产型作业的功能测试  70
    5.2.3 消费型作业的功能测试  70-72
    5.2.4 和其他调度策略的交互使用的测试  72-75
    5.2.5 测试结论  75
  5.3 性能及非功能测试  75-78
  5.4 本章小结  78-79
结论  79-81
参考文献  81-86
致谢  86-87
个人简历  87

网格计算中数据存储相关作业调度模块的设计与实现

内容摘要

全文目录

相似论文