学位论文 > 优秀研究生学位论文题录展示

基于重复数据消除的大型数据库灾备系统关键技术研究

作　者: 王春杰
导　师: 张凤荔
学　校: 电子科技大学
专　业: 软件工程
关键词: 灾备分块(Chunk) 重复数据消除加密 ESDS 备份
分类号: TP311.13
类　型: 硕士论文
年　份: 2011年
下　载: 65次
引　用: 0次
阅　读: 论文下载

内容摘要

随着经济全球化的深入以及行业信息化程度的不断提升,国际性大企业不断涌现,企业处理数以亿万计的用户产生的爆炸性的生产数据时,数据中心的数据传输和存储能力就显得尤为重要。统计数据表明,这些新增的海量数据中,存在着很多相似甚至相同的数据(称为冗余数据),为此,如何消除冗余信息,节省传输带宽,节约存储空间,以此减轻数据中心的负担,已经成为亟待解决的关键问题。为此,提出了重复数据消除技术,目前,采用重复数据消除技术以改进存储中心数据存储效率、性能,具有重要的理论价值和现实意义。本论文在对备份系统消冗相关技术深入研究的基础上,主要完成了如下的工作:首先创新的提出一种基于磁盘的消冗存储系统的加密方案(ESDS),从加密算法的三个参与方的加密流程展开阐述,并对各种可能遇到攻击者时的安全性进行分析,此算法在用户对传输的数据信息有加密的需求时,能够提供数据可靠性的保障;其次对大型灾备系统的结构和功能进行了设计,并创新的提出了一种综合使用初筛——基于局部性对数据进行存储、基于惯性原理对元数据进行预读——写缓冲的机制来提高消冗的效率的策略。最后在测试环节设计了一种独创的适用于用于对本文消冗模块进行测试的测试数据集的构造方法。设计了包含多个对照系的实验方法对不同消冗方式进行了实验,并对实验数据进行分析得出了最终结论,最后设计了包含多个对照系的测试流程,并对测试数据进行分析得出最终结论。实验结果表明,本论文设计的消冗灾备模块同时支持定长块和基于内容分块消冗方式,备份速度快。

全文目录

摘要  4-5
ABSTRACT  5-9
第一章绪论  9-16
  1.1 课题的研究背景和意义  9-11
  1.2 课题来源  11
  1.3 国内外应用研究发展现状  11-14
    1.3.1 重复数据消除技术研究发展现状  11-14
  1.4 本文研究内容与创新  14-15
  1.5 论文后续章节安排  15-16
第二章网络存储与重复数据消除技术  16-35
  2.1 网络存储  16-20
    2.1.1 网络存储概念  16-19
    2.1.2 网络存储技术的发展趋势  19-20
  2.2 数据备份与恢复技术及容灾技术  20-25
    2.2.1 数据的备份与恢复技术定义  20
    2.2.2 数据备份系统的备份模式与体系结构  20-24
    2.2.3 容灾技术的概念、重要意义与分类  24-25
    2.2.4 容灾系统的体系结构  25
  2.3 重复数据消除技术  25-30
    2.3.1 重复数据消除技术的产生和概念  25-27
    2.3.2 重复数据消除策略的分类  27-29
    2.3.3 重复数据消除技术的应用及发展  29-30
  2.4 文件分块方式研究  30-32
    2.4.1 三种分块算法  30-31
    2.4.2 基于内容的分块算法  31-32
  2.5 Hash 算法  32-34
    2.5.1 MD5 算法  33
    2.5.2 SHA-1 算法  33-34
  2.6 本章小结  34-35
第三章一种适用于基于磁盘的消冗存储系统的加密方案  35-45
  3.1 备份数据可靠加密算法  35-37
    3.1.1 加密数据重复数据消除相关问题  36-37
  3.2 ESDS 的参与方  37-40
  3.3 基于ESDS 的数据文件读写协议  40-42
  3.4 算法安全性分析  42-44
  3.5 本章小结  44-45
第四章基于重复数据消除的大型数据库灾备系统设计  45-75
  4.1 系统要解决的问题  45-46
  4.2 核心策略  46
  4.3 存储系统策略研究  46-53
    4.3.1 基于动态哈希结构的访问策略  47-50
    4.3.2 索引与数据服务器分离的模式  50-51
    4.3.3 数据存放策略  51-52
    4.3.4 数据服务器动态增加  52-53
  4.4 元数据访问策略  53-54
  4.5 消冗流程  54-63
    4.5.1 初筛  54-58
    4.5.2 预读  58-60
    4.5.3 写缓冲  60-61
    4.5.4 消冗的备份流程  61-62
    4.5.5 消冗的恢复流程  62-63
  4.6 系统设计  63-66
    4.6.1 系统结构  64-65
    4.6.2 功能设计  65-66
  4.7 消冗模块设计  66-74
    4.7.1 备份客户端设计  66-70
    4.7.2 索引服务器设计  70-71
    4.7.3 数据服务器设计  71-74
  4.8 存在的问题及解决思路  74
  4.9 本章小结  74-75
第五章实验与系统测试  75-85
  5.1 构建测试数据库方法  75-78
    5.1.1 数据库平台备份文件格式介绍  75
    5.1.2 测试数据集构建  75-78
  5.2 不同消冗方式比较  78-81
    5.2.1 实验环境  78-79
    5.2.2 实验过程设计  79-80
    5.2.3 实验结果及结论  80-81
  5.3 消冗系统测试  81-84
    5.3.1 测试环境  82
    5.3.2 测试过程设计  82-83
    5.3.3 测试结果及结论  83-84
  5.4 本章小结  84-85
第六章结论与展望  85-87
  6.1 本论文研究总结  85
  6.2 前景展望  85-87
致谢  87-88
参考文献  88-92
攻硕期间取得的研究成果  92-93

基于重复数据消除的大型数据库灾备系统关键技术研究

内容摘要

全文目录

相似论文