学位论文 > 优秀研究生学位论文题录展示

网络计算环境分布式COW盘设计及优化方法

作　者: 罗政
导　师: 谭怀亮
学　校: 湖南大学
专　业: 计算机科学与技术
关键词: 网络计算环境分布式COW盘位图压缩预取算法
分类号: TP333
类　型: 硕士论文
年　份: 2013年
下　载: 0次
引　用: 0次
阅　读: 论文下载

内容摘要

人类社会进入信息时代以来，对计算性能的要求不断提高，网络计算模式能充分的整合计算资源，满足人们对计算性能的高要求，成为当前研究的热点。网络计算模式将计算任务分配给各种分布的计算资源（各客户主机），而将数据（系统数据和用户数据）部署在相应的网络存储设备中，实现了存储与计算的分离，即存储在存储设备的系统数据不再属于某一特定的主体，而是被网络计算环境中所有主机共享。在这种模式下，网络计算环境中存储结构及存储优化变得极为关键。本文主要针对大规模网络计算环境的分布式计算和数据集中存储的特点，结合COW(copy-on-write)写时复制技术,提出了一种分布式COW网络盘的存储体系结构。在这种存储体系下,客户主机的共享数据以只读的方式集中存储在共享源盘中,各客户主机对共享数据的改写块被保存在其相应的分布式COW盘中，在实现存储与计算分离的基础上进一步优化了对共享数据的读写操作。本文的主要研究工作如下：首先，基于COW技术提出了分布式COW网络盘的存储模型,同时结合磁盘记录改写块的稀疏和突发特性，详细描述了分布式COW网络盘体系结构及读写模式，将服务器处理所有客户主机相应COW盘的聚合开销分摊到各个客户主机自身，以加速网络计算环境系统的构建速度。其次，设计了一种改进的64位位图压缩算法以有效减少COW盘位图文件大小，节省服务器磁盘空间和降低分布式COW盘网络传输开销；提出一种适合COW盘改写块突发特性的预取算法，以提高分布式COW盘Cache的命中率。最后，通过实验验证，采用COW网络盘成功的实现了网络计算环境下多主机数据的共享访问，同时实验证明基于改进的COW盘位图压缩和预取算法实现的分布式COW盘降低了多客户主机网络计算环境的构建延迟。

全文目录

摘要  5-6
Abstract  6-14
第1章绪论  14-23
  1.1 课题背景  14-15
  1.2 研究意义  15-16
  1.3 国内外研究现状  16-21
    1.3.1 存储与计算分离的相关研究  16-18
    1.3.2 网络计算模式相关研究  18-19
    1.3.3 共享存储优化策略  19
    1.3.4 位图压缩算法  19-20
    1.3.5 预取算法  20-21
  1.4 本文的主要研究内容  21-22
  1.5 论文组织结构  22-23
第2章理论基础和相关技术  23-36
  2.1 网络计算概述  23-26
    2.1.1 网络计算定义及相关概念  23
    2.1.2 网络计算的形式  23-24
    2.1.3 网络计算的通信模型  24-26
    2.1.4 网络计算的应用  26
  2.2 网络存储技术  26-29
    2.2.1 直接附属存储 (DAS)  26-27
    2.2.2 网络附属存储 (NAS)  27-28
    2.2.3 存储区域网络 (SAN)  28-29
  2.3 存储虚拟化  29-32
    2.3.1 存储虚拟化概念  29-30
    2.3.2 虚拟存储技术的实现方式  30-31
    2.3.3 块级和文件级的存储虚拟化  31-32
  2.4 写时复制技术  32-33
    2.4.1 写时复制技术原理  32
    2.4.2 写时复制技术应用  32-33
  2.5 网络块设备  33-35
    2.5.1 Linux设备类型  33
    2.5.2 Linux块设备层  33-34
    2.5.3 网络块设备  34-35
  2.6 小结  35-36
第3章分布式COW网络盘体系设计  36-50
  3.1 传统的网络存储方式  36-37
    3.1.1 传统网络计算环境存储方式  36-37
    3.1.2 共享数据与私有数据  37
  3.2 分布式COW网络盘存储模型  37-41
    3.2.1 分布式COW盘的存储模型  37-38
    3.2.2 COW机制的应用  38-40
    3.2.3 COW盘位图定义  40-41
    3.2.4 COW盘读写模式  41
  3.3 分布式COW网络盘体系结构  41-45
    3.3.1 COW网络盘体系结构  41-43
    3.3.2 COW盘缓存机制与读写请求  43-45
  3.4 分布式COW网络盘块驱动设计  45-47
  3.5 分布式COW网络盘优势  47-48
    3.5.1 节省磁盘空间  47-48
    3.5.2 分摊服务器开销  48
    3.5.3 管理维护简单  48
  3.6 小结  48-50
第4章分布式COW网络盘位图压缩及预取算法  50-64
  4.1 COW盘改写块统计特性  50-52
    4.1.1 相关定义及统计分析  50-51
    4.1.2 COW盘改写块稀疏特性  51
    4.1.3 COW网络盘突发特性分析  51-52
    4.1.4 多主机改写块规律  52
  4.2 64 位稀疏位图压缩算法  52-59
    4.2.1 COW盘位图统计特性  52-53
    4.2.2 64 位处理技术  53-54
    4.2.3 COW盘位图压缩的原则  54
    4.2.4 64 位稀疏位图算法BSWAH设计  54-57
    4.2.5 算法压缩示例  57-58
    4.2.6 算法实现  58-59
  4.3 COW网络盘的预取机制  59-63
    4.3.1 COW盘预取分析  59-60
    4.3.2 构建概率转移矩阵  60-61
    4.3.3 基于样本命中率的马尔科夫跳转预取  61-62
    4.3.4 COW网络盘的预取算法  62-63
  4.4 小结  63-64
第5章实验结果及性能分析  64-73
  5.1 分布式 COW网络盘块设备驱动测试  64-65
  5.2 位图压缩算法性能测试及分析  65-68
  5.3 COW盘有效数据块预取命中率测试  68
  5.4 网络计算环境构建延迟测试  68-72
    5.4.1 实验平台  68-69
    5.4.2 主机构建计算环境的延迟测试  69-70
    5.4.3 计算环境 COW盘位图压缩性能测试  70-72
  5.5 小结  72-73
结论  73-75
参考文献  75-79
附录A 攻读学位期间所发表的学术论文  79-80
附录B 攻读学位期间参加的科研项目  80-81
致谢  81

网络计算环境分布式COW盘设计及优化方法

内容摘要

全文目录

相似论文