学位论文 > 优秀研究生学位论文题录展示

面向云存储的分布式文件系统关键技术研究

作　者: 赵黎斌
导　师: 李晖
学　校: 西安电子科技大学
专　业: 通信与信息系统
关键词: 云存储 Paxos 文件分块分布式文件系统
分类号: TP333
类　型: 硕士论文
年　份: 2011年
下　载: 741次
引　用: 0次
阅　读: 论文下载

内容摘要

云计算是当前研究与应用的热点问题。云存储作为云计算的底层服务,对上层服务提供重要的支持；同时,云存储可以有效的存储和管理海量数据,所以更是成为专家学者们关注的焦点。云存储是一种架构复杂的分布式文件系统,一是其建立在云计算系统的基础设施之上,这样的基础实施是基于廉价的或虚拟化了的不可信物理硬件；二是其必须支持超大节点规模和海量数据的高效存储,这对于系统架构和模块设计的关键技术提出了巨大的挑战。本文首先研究了面向云存储的分布式文件系统中关键的架构技术。基于主从式结构的分布式文件系统,提出了通过元数据服务器的多个代理机来构建对等式的元数据服务层的通用云存储架构方案,分析与评估表明其具有较高的可用性和可靠性。针对文件系统中元数据和文件数据存储和访问的不同特点,面向云存储的分布式文件系统架构主要分为元数据服务层和块数据服务层。本文随后研究了这两层的关键技术。对于前者,主要研究了基于所提架构中的元数据复制技术。Paxos是众多云存储系统中采用的数据一致性算法。本文通过工程实现上节点监控机制的采用和通信协议的优化,改进了基本的paxos算法,并用其较好的解决了该架构下的元数据复制问题。实验证明了优化后的算法由于减少了数据提交过程中的消息数和网络带宽的使用,性能得到了一定的提升。对于后者,主要研究了其高效的存储技术。在指出目前云存储系统中固定文件分块策略的弊端后,本文提出了一种动态的大小可变的文件分块存储算法,分析和仿真表明,该算法能有效提高系统并行处理能力和平衡热点文件引起的节点负载,同时没有大量文件碎片的产生,具有较高的实用性。

全文目录

摘要  3-4
Abstract  4-7
第一章绪论  7-15
  1.1 研究背景及意义  7-9
    1.1.1 云存储的兴起  7-9
    1.1.2 研究意义  9
  1.2 云存储的研究现状  9-11
  1.3 云存储相关研究  11-12
    1.3.1 云计算、云存储系统与分布式文件系统的关系  11-12
    1.3.2 云计算架构的相关研究  12
  1.4 本文结构安排  12-15
第二章面向云储存的分布式文件系统架构技术  15-33
  2.1 现有的系统架构研究  15-21
    2.1.1 从分布式文件系统到云存储系统  15-16
    2.1.2 GFS架构研究  16-17
    2.1.3 HDFS架构深入研究  17-19
    2.1.4 Dynamo架构深入研究  19-21
  2.2 面向云存储的分布式系统架构方案设计  21-28
    2.2.1 架构设计需求  21
    2.2.2 系统架构方案的提出  21-22
    2.2.3 系统架构方案  22-25
    2.2.4 系统服务交互协议  25-26
    2.2.5 系统架构的关键技术  26-28
  2.3 系统架构分析与评估  28-32
    2.3.1 系统规模分析  28
    2.3.2 服务性能分析  28-30
    2.3.3 系统可靠性分析  30-32
    2.3.4 数据一致性分析  32
  2.4 本章小结  32-33
第三章基于paxos算法的元数据复制技术  33-49
  3.1 复制的一致性问题及paxos算法  34-38
    3.1.1 分布式存储的一致性问题  34-35
    3.1.2 paxos算法简介  35-38
    3.1.3 paxos算法的实现与应用场合  38
  3.2 基于paxos算法的元数据复制一致性问题解决方案  38-47
    3.2.1 元数据复制一致性问题  38-40
    3.2.2 paxos算法的优化与改进  40-42
    3.2.3 应用light weight paxos算法  42-45
    3.2.4 算法应用的容错性分析  45-47
  3.3 light weight paxos算法与应用评测  47-48
    3.3.1 算法仿真环境  47
    3.3.2 算法正确性与性能评测  47-48
  3.4 本章小结  48-49
第四章可变分块大小的块数据存储技术  49-65
  4.1 现有的分块存储技术及不足之处  50-53
    4.1.1 面向云存储的文件分块存储的关键技术  50-52
    4.1.2 固定大小分块储存技术的弊端  52-53
  4.2 smart-blocking有效的动态文件分块存储算法  53-60
    4.2.1 算法的需求  53-54
    4.2.2 算法框架  54-55
    4.2.3 模块1:是否分块的判断  55-57
    4.2.4 模块2:分块大小的计算  57-60
  4.3 算法仿真与评测  60-63
    4.3.1 算法仿真环境  60-61
    4.3.2 仿真结果与分析  61-63
  4.4 本章小结  63-65
第五章结束语  65-67
致谢  67-69
参考文献  69-75
作者攻读硕士期间的研究成果  75
作者攻读硕士期间参加的科研项目  75

面向云存储的分布式文件系统关键技术研究

内容摘要

全文目录

相似论文