学位论文 > 优秀研究生学位论文题录展示

基于P2P结构的广域分布式存储相关技术研究

作　者: 杨磊
导　师: 李仁发
学　校: 湖南大学
专　业: 计算机应用技术
关键词: 对等结构分布式存储拓扑一致性数据管理模型副本一致性维护负载平衡
分类号: TP393.02
类　型: 博士论文
年　份: 2013年
下　载: 14次
引　用: 0次
阅　读: 论文下载

内容摘要

P2P计算技术有别于传统客户/服务器服务模式,具有极强的鲁棒性和可扩展性。在互联网信息爆炸的今天,利用P2P技术来构建海量数据分布式存储系统成为最有效的存储组织模式之一。P2P计算环境中的拓扑一致性、节点动态性、异构性和自治性等问题是构建分布式存储系统面临的关键问题和难点。以利用Internet上个人计算机的空闲计算资源、存储资源和网络资源构建一个面向海量用户的海量分布式存储系统为主要应用目标,本文研究了目前主要采用的分布式存储技术,分析了利用P2P技术构建分布式存储系统面临的主要问题,在研究构建P2P存储系统的基础理论和算法基础之上,针对现有P2P存储系统在实时性和容错性上存在的不足,提出一个面向Internet的基于对等结构的分布式存储系统(RSA-Store)框架,对存储覆盖网络构建、数据管理、副本一致性维护和负载均衡等问题提出了相应的解决方案和策略,主要研究工作和创新如下：(1)提出一种新的存储覆盖网络构建机制来改善P2P网络中的拓扑一致性问题。拓扑一致性问题严重制约了存储系统的性能,现有研究通过测量节点之间的网络距离并在此基础上对节点进行分组来改善这种影响,通过网络距离进行分组的方法具有不稳定性和带来大量的聚集开销。针对上述问题,利用Internet结构的自然属性建立一个基于区域语义的层次覆盖网络(RSA-HRing),给出了相应的拓扑维护机制,设计了基于推(Push)拉(Pull)相结合的超节点及其备份节点的选取算法,提出一种预防超节点失效的鲁棒性算法SNFT-RA。在此基础上针对现有网络距离测量方法中采用时延和跳数度量容易带来三角不等式问题,详细描述和分析了通过路径矢量测量网络距离的思想,并将其应用到覆盖网络的路由算法中,提出了一种基于路径矢量(Path-Vector)的覆盖网络路由算法(PVRA)。仿真实验表明,RSA-HRing能显著降低覆盖网络拓扑构建和维护开销PVRA具有较好的路由性能,能够在保持覆盖网络路由规模的同时显著节约实际物理路由开销。(2)结合存储用户访问行为和区域活动特点,在RSA-HRing网络中提出一种基于区域感知的数据管理模型。基于区域感知的数据管理模型采用静态的数据放置策略Ⅰ (nter)-Ⅰ(ntra) BS来保证数据的精确定位和容错性能；同时详细分析了用户区域活动行为特点,提出一种基于区域感知的动态副本生成策略(RA-RCM)来改善数据访问性能。针对数据放置和副本生成策略设计了详细的定位算法和副本管理机制,用数学方法分析了RSA-HRing环境下该模型的访问开销,同时给出了节点失效对数据访问成功率影响的概率分析。仿真实验表明,如果合理控制簇节点规模和备份阈值,RA-RCM算法可以显著的节约数据定位跳数；Ⅰ (nter)-Ⅰ (ntra) BS能够有效应对节点的失效,尤其是在覆盖网层引入SNFT-RA算法后系统具有较好的数据容错能力。(3)提出一种基于节点异构度的覆盖网络副本一致性维护方法(NHDCOM)。异构性是RSA-Store环境下节点的典型特征,现有的副本一致性维护算法对节点异构性缺乏考量,NHDCOM引入了节点能力度量参数-节点异构度,利用Chord环组织副本节点,提出一种基于节点指取表的环分割算法,理论分析证明该算法能够以较小的开销帮助更新源节点获得所有其他副本节点的异构度信息。结合节点异构度,给出了一种求解最小延迟更新内容树(minimum delay update-content tree)的问题模型,利用动态规划的方法提出一种启发式算法-MDUT-H。仿真实验表明,相较现有算法,在不同的节点异构度分布、副本文件大小以及节点规模等环境下,NHDCOM算法具有出色的效率和稳定性。(4)提出一种基于虚拟服务器拆分的负载平衡算法(VSSLBA)。有效的负载平衡算法对RSA-Store系统数据的可用性和实时性将产生积极的影响。在物理节点上建立多个虚拟服务器并根据需要进行虚拟服务器迁移是目前DHT网络中经常采用的负载平衡方法,但这种方法存在单虚拟服务器问题(SVSP)。根据节点问间距的分布概率,建立了基于虚拟服务器的DHT网络负载分布数学模型,详细分析和计算了DHT网络中单虚拟服务器问题(SVSP)发生的概率,提出一种虚拟服务器拆分算法,该算法能够在解决SVSP问题的同时节约虚拟服务器维护开销。仿真实验结果表明,VSSLBA算法在有效解决SVSP问题的同时能够实现良好的负载平衡性能。

全文目录

摘要  5-7
Abstract  7-17
第1章绪论  17-31
  1.1 研究背景及意义  17-18
  1.2 分布式存储技术研究述评  18-27
    1.2.1 区域网络存储技术  18-20
    1.2.2 分布式文件系统  20-22
    1.2.3 广域分布式存储技术  22-24
    1.2.4 基于对等结构的广域分布式存储系统  24-27
  1.3 P2P存储技术面临的主要问题  27-28
  1.4 本文的主要工作和贡献  28-29
  1.5 论文结构  29-31
第2章基于P2P结构的广域分布式存储框架RSA-Store  31-48
  2.1 引言  31
  2.2 P2P存储节点组织方式  31-38
    2.2.1 集中目录式结构  31-32
    2.2.2 纯分布式结构  32-33
    2.2.3 超节点结构(混合P2P方式)  33-34
    2.2.4 结构化P2P网络  34-38
    2.2.5 分析与讨论  38
  2.3 P2P存储系统中的容错技术  38-42
    2.3.1 BFT副本容错  39
    2.3.2 BFT纠错码Quorum容错  39-41
    2.3.3 BFT副本Quorum容错  41
    2.3.4 P2P存储系统BFT容错小结  41-42
  2.4 P2P存储系统实时性保证技术研究  42-43
    2.4.1 P2P存储系统中的服务器选择技术  42
    2.4.2 P2P存储系统中的缓存技术  42-43
  2.5 一种基于P2P结构的广域分布式存储框架RSA-store  43-46
    2.5.1 系统设计思想  43
    2.5.2 系统体系结构设计  43-45
    2.5.3 存储覆盖网络构建  45
    2.5.4 准入机制  45
    2.5.5 数据管理机制  45-46
    2.5.6 副本一致性维护  46
    2.5.7 负载均衡机制  46
  2.7 小结  46-48
第3章基于区域语义的存储覆盖网络构建方法  48-69
  3.1 引言  48
  3.2 相关研究  48-49
  3.3 基于区域语义的存储覆盖网络构建方法  49-57
    3.3.1 RSA-HRing覆盖网络体系结构  50-51
    3.3.2 基于区域语义的节点分簇方法  51
    3.3.3 覆盖网络拓扑结构保持机制  51-55
    3.3.4 RSA-HRing构建开销分析  55-57
  3.4 基于路径矢量的覆盖网络路由算法(Path-Vector Routing Algorithm)  57-62
    3.4.1 算法基本思想  57-58
    3.4.2 算法实现  58-61
    3.4.3 算法性能分析  61-62
  3.5 仿真实验与讨论  62-68
    3.5.1 拓扑构建消耗的消息数比较  62-63
    3.5.2 路由性能比较  63-68
  3.6 小结  68-69
第4章一种基于区域感知的存储数据管理策略  69-84
  4.1 引言  69
  4.2 相关研究  69
  4.3 基于区域感知的数据存储机制  69-75
    4.3.1 文件存储机制  70-71
    4.3.2 数据备份机制  71-73
    4.3.3 文件定位机制  73-75
  4.4 RSA-Store数据访问性能分析  75-77
    4.4.1 数据访问开销  75-76
    4.4.2 节点失效对数据访问成功率影响的概率分析  76-77
  4.6 仿真实验与讨论  77-82
    4.6.1 定位数据的覆盖网跳数比较  77-80
    4.6.2 节点失效对数据定位效果的影响  80-81
    4.6.3 SNFT-RA算法对数据定位效果的影响  81-82
  4.7 小结  82-84
第5章基于节点异构度的副本一致性维护方法  84-100
  5.1 引言  84
  5.2 相关研究  84-86
  5.3 基于节点异构度的副本一致性维护算法  86-91
    5.3.1 前提假设及相关定义  86-87
    5.3.2 节点异构度  87-91
  5.4 更新内容树的建立  91-93
    5.4.1 问题模型  91
    5.4.2 MDU-H算法  91-93
  5.5 NHDCOM的维护  93-94
    5.5.1 副本节点的加入与离开  93
    5.5.2 副本节点的失效  93-94
  5.6 算法性能分析  94-95
  5.7 仿真实验与讨论  95-98
  5.8 小结  98-100
第6章一种基于虚拟服务器拆分的负载平衡算法  100-119
  6.1 引言  100
  6.2 相关研究  100-101
  6.3 SVSP问题  101-108
    6.3.1 SVSP问题定义  101-102
    6.3.2 SVSP数学建模  102-104
    6.3.3 SVSP的概率分析  104-108
  6.4 基于虚拟服务器拆分的负载平衡算法(VSSLBA)  108-112
    6.4.1 算法思想与分析  108-109
    6.4.2 VSSLBA  109-112
  6.5 仿真实验与讨论  112-118
    6.5.1 实验环境  112
    6.5.2 SVSP概率分析仿真  112-114
    6.5.3 虚拟服务器拆分算法的有效性检验  114-116
    6.5.4 VSSLBA对负载平衡性能的影响  116-118
  6.6 小结  118-119
结论  119-122
参考文献  122-132
致谢  132-133
附录A 攻读博士学位期间发表的论文目录  133

相似论文

频繁图结构并行挖掘算法的研究与实现,TP311.13
遥感数据处理网格平台的设计与初步实现,TP79
分布式认证跳表及其在P2P分布式存储系统中的应用,TP333
Linux集群环境下作业调度算法的研究与实现,TP301.6
基于B/S模型的虚,TP311.52
网络环境下的分布式存储系统的设计与实现,TP333
面向云计算中心效能优化的负载平衡方法,TP308
基于DHT的key-value分布式存储系统,TP333
分布式存储系统中容错子系统的设计与实现,TP302.8
数据网格中副本管理策略研究,TP393.01
抗抖动的P2P覆盖网的设计与分析,TP393.02
基于MPI的分布式搜索引擎系统研究,TP391.3
虚拟用户环境中资源动态管理机制研究,TP302
基于城市路网最短路径并行搜索算法的研究,TP301.6
基于Hadoop平台的数据分析和应用,TP274
结构化P2P网络的抗Churn策略研究,TP393.02
An Information-theoretic Account of Information Overload in the Translation of Company Profiles,H315.9
数据中心虚拟化技术研究与实现,TP308
PPDSS存储系统中P2P技术应用与研究,TP333
基于XML的核磁共振数据管理模型的研究及应用,TP311.52
三维多子区激光推进并行算法研究,V43