学位论文 > 优秀研究生学位论文题录展示

一种无主控制的云存储架构的研究

作　者: 张丽君
导　师: 王占杰
学　校: 大连理工大学
专　业: 计算机应用与技术
关键词: 云存储 P2P通信 动态接管 高扩展 高可用
分类号: TP333
类　型: 硕士论文
年　份: 2011年
下　载: 92次
引　用: 0次
阅　读: 论文下载
 

内容摘要


Internet时代是一个信息时代,大量的信息以井喷的姿势出现在互联网上,未来网络更以海量数据处理应用为中心,如何有效存储和管理成为当前网络面临的难点之一。分布式云存储作为一种新兴的分布式存储,以其结构灵活、响应效率高、管理方便等特性,成为各企事业单位解决数据爆炸性增长方案的首选。但研究发现,无论是传统式的分布式文件系统还是面向Internet的分布式文件系统,它们从可扩展性、可靠性、容错性及服务性能等诸多方面,距离支持海量数据的云存储要求都存在较大的差距。而造成这些不足的原因正是由于这些系统所共同采用的逻辑集中式的体系结构,并且,随着系统规模的不断增大,不足会愈加明显。基于以上问题,在本实验室的分布式环境下,在本文系统、全面地学习和总结分布式存储系统发展现状的基础上,充分考虑到云存储的特点及各种云应用对数据及资源的需求,设计了一种物理与逻辑相统一的云存储架构,该架构通过结合集中式管理的效率及P2P存储方式的健壮性,改变了集中式管理伸缩性差以及整个存储系统对主节点的单点依赖,实现了逻辑与物理相统一的分布式,使具有高可扩展性、高可靠性、用户透明性及强容错性的云存储系统成为可能。首先,本文设计了一个物理与逻辑相统一的无主控制的云存储架构,利用分区自治的管理节点SuperNode节点克服了集中式架构中的单点依赖；其次,通过SuperNode节点间的协作机制,对已存在的应用不会造成任何负面影响,可兼容集中式架构拥有的任何应用,从而提高了整个云存储架构可扩展性；最后,为了实现不需任何手动干预即可自动、快速地接管失效管理节点的子群,设计了一套动态接管机制,通过完善数据节点的心跳机制,使失效管理节点下的数据节点动态地被接管,并加入到新的子群当中继续提供服务,大大增强了云存储系统的容错性。本文中云存储架构的设计区别于其他传统式或现有的存储架构,是真正的云存储,为各行各业有效地进行海量数据的存储与管理打下了坚实的基础,同时本架构可实施于任何普通的PC集群上,极大降低了运行分布式系统的成本。

全文目录


摘要  4-5
Abstract  5-9
1 绪论  9-13
  1.1 课题背景和意义  9-11
    1.1.1 国内外研究现状  9-10
    1.1.2 研究意义  10-11
  1.2 本文主要工作  11-12
  1.3 本文结构  12-13
2 相关技术研究  13-23
  2.1 传统存储系统  13-14
    2.1.1 NFS和AFS  13
    2.1.2 SAN和NAS  13-14
  2.2 集群存储系统  14-17
    2.2.1 Lustre文件系统  14-15
    2.2.2 PVFS和FastDFS  15-17
  2.3 典型P2P式存储系统  17-20
    2.3.1 Napster  18-19
    2.3.2 BitTorrnet  19-20
  2.4 现代分布式存储系统  20-23
3 MP2PDSA的总体设计  23-33
  3.1 MP2PDSA架构的提出  23-28
    3.1.1 架构的出发点  23-28
    3.1.2 设计目标  28
  3.2 无主控制的云存储架构概述  28-33
    3.2.1 MP2PDSA的构建  29
    3.2.2 基本组成的介绍  29-31
    3.2.3 读写过程简介  31-33
4 MP2PDSA的详细设计与实现  33-52
  4.1 MP2PDSA的数据管理机制基础  33-38
    4.1.1 HDFS元数据的存储  33-35
    4.1.2 元数据的加载  35-36
    4.1.3 元数据结构体分析  36-38
  4.2 云存储协作机制  38-44
    4.2.1 MP2PDSA中的通信机制  38-42
    4.2.2 用户透明性的实现  42-43
    4.2.3 高可扩展性的实现  43-44
  4.3 失效子群的动态接管机制  44-52
    4.3.1 心跳机制分析  44-46
    4.3.2 心跳机制的优化  46-49
    4.3.3 失效子群的接管  49-52
5 实验及结果分析  52-60
  5.1 搭建实验平台  52-57
    5.1.1 准备工作  52-53
    5.1.2 软硬件部署  53-57
  5.2 实验结果分析  57-60
结论  60-61
参考文献  61-64
攻读硕士学位期间发表学术论文情况  64-65
致谢  65-66

相似论文

  1. 基于云计算的ITIL运维,TP311.52
  2. 基于Google云计算平台的Web应用系统设计及实现,TP393.09
  3. 基于Hadoop的云存储系统客户端的设计与实现,TP333
  4. 云存储中开放网络资源稳定存储机制的研究与实现,TP333
  5. 云存储中大规模加密小文档存储管理研究与实现,TP333
  6. 基于云存储的手机数据备份系统,TP309.3
  7. 基于云存储的电子病历系统及访问控制策略研究,TP393.08
  8. 云存储中的数据删除技术研究,TP333
  9. 海量存储系统中高可用服务管理的设计与实现,TP333
  10. 面向海量数据的云存储系统实现与应用研究,TP333
  11. 在线云存储系统的设计与应用,TP333
  12. 基于云计算的寻畅网数据管理平台开发,TP311.52
  13. 湖南移动网管集中云存储平台搭建与测试,TP333
  14. 重大事件网络信息资源长期保存方法研究,G250.73
  15. 基于云计算的网络视频监控系统研究与实现,TP277
  16. 高性能服务器自主管理板的设计与实现,TP393.05
  17. 基于Agent技术的网络商务信息存储及检索研究,TP391.3
  18. 银行计算机网络高可用模型研究,TP399-C2
  19. 高可用集群系统仲裁机构设计,TP338.6
  20. 云技术条件下运营商发展NGDC业务的运营模式研究,F626

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 电子数字计算机（不连续作用电子计算机） > 存贮器
© 2012 www.xueweilunwen.com