学位论文 > 优秀研究生学位论文题录展示

基于Chord环的MongoDB数据均衡系统设计与实现

作　者: 李东升
导　师: 李学明
学　校: 重庆大学
专　业: 计算机技术
关键词: 非关系型数据库 MongoDB 自动分片 Chunk块 Chord环
分类号: TP311.13
类　型: 硕士论文
年　份: 2013年
下　载: 2次
引　用: 0次
阅　读: 论文下载
 

内容摘要


伴随着云计算技术的日趋成熟以及SNS社交网站的兴起，网络上的数据呈现着海量式增长。传统的关系型数据库在存储和管理如此庞大的数据时暴露出了许多难以克服的问题：大量并发的读/写请求、海量数据下的高速访问、数据库体系的横向扩展以及数据类型的多样性。因此一种全新的数据库——非关系型数据库逐渐进入了人们的视野。作为非关系型数据库中的佼佼者，MongoDB以其面向对象的查询方式、高速并发的响应速度、类似于SQL的索引以及简单方便地集群扩充等特点，正在被广泛地使用和研究。本文着重研了MongoDB基于Chunk块的数据均衡策略，发现整个集群在数据存储时，存在着两方面的问题：操作请求的实时分发不均衡；数据迁移时，整个集群性能严重下降。本文针对Chunk块数据均衡策略存在的不足，采用P2P系统中的Chord环协议，构造出基于Chord环的数据均衡策略。本文首先分析了Chord环的两大理论：一致性Hash算法和FingerTable路由协议，接着阐述了基于Chord环的数据均衡策论存在的两大优势：①实现数据预分配，降低分片服务器的性能波动；②降低人为因素造成分片服务器数据分发不均衡的情况；最后本文利用Chord环改造了MongoDB集群架构，使用重庆市气象局气象科学研究所的气候情景订正数据作为实验数据，进行了实验验证。并且通过实验分析验证了基于Chord环的均衡策略相较于基于Chunk块的均衡策略性能波动更小以及插入速度更快。

全文目录


摘要  3-4
ABSTRACT  4-7
1 绪论  7-12
  1.1 课题研究背景  7-8
  1.2 课题研究意义  8
  1.3 国内外研究现状  8-10
    1.3.1 国外研究现状  8-10
    1.3.2 国内研究现状  10
  1.4 本文研究的主要内容  10-11
    1.4.1 研究目的  10-11
    1.4.2 研究内容  11
  1.5 论文结构  11-12
2 相关理论及关键技术  12-31
  2.1 NoSQL 的概念  12-14
    2.1.1 NoSQL 的定义  12
    2.1.2 NoSQL 划分  12-14
  2.2 NoSQL 与 SQL 特性  14-16
    2.2.1 CAP 理论  14-15
    2.2.2 ACID 理论  15-16
    2.2.3 BASE 思想  16
  2.3 数据均衡算法  16-26
    2.3.1 谷歌 Bigtable  16-20
    2.3.2 阿帕奇 Cassandra  20-22
    2.3.3 淘宝 OceanBase  22-26
  2.4 内存映射文件  26-28
    2.4.1 虚拟存储器  26-27
    2.4.2 文件映射实现机制  27-28
  2.5 MongoDB 架构  28-30
    2.5.1 数据模型  28-30
  2.6 本章小结  30-31
3 基于 Chunk 块的数据均衡策略  31-42
  3.1 MongoDB 集群架构  31-33
  3.2 Chunk 块策略  33-40
    3.2.1 Chunk 块概念  33-35
    3.2.2 Chunk 块划分  35-38
    3.2.3 Chunk 块迁移  38-40
  3.3 算法分析  40
  3.4 本章小结  40-42
4 基于 Chord 环的数据均衡策略  42-53
  4.1 方法的提出  42
  4.2 基础 Chord 协议  42-52
    4.2.1 一致性 Hash 算法  43-47
    4.2.2 FingerTable 路由协议  47-52
  4.3 本章小结  52-53
5 系统设计和实现  53-55
  5.1 系统开发环境  53
  5.2 使用 Chord 环的 MongoDB 集群  53-54
  5.3 本章小结  54-55
6 实验结果和分析  55-64
  6.1 实验平台  55
  6.2 实验数据  55-56
  6.3 实验结果  56-63
    6.3.1 插入速度波动对比  56-59
    6.3.2 总体插入时间  59-60
    6.3.3 Chord 环数据均衡  60-61
    6.3.4 Chord 环节点加入和退出  61-63
  6.4 本章小结  63-64
7 总结与展望  64-65
致谢  65-66
参考文献  66-69
附录  69
  A. 作者在攻读硕士学位期间参与的科研项目  69

相似论文

  1. 湖南移动网管集中云存储平台搭建与测试,TP333
  2. 基于MongoDB的关系网络分析技术研究与应用,TP311.13
  3. 基于Erlang和异构平台的Key-Value数据库的研究,TP311.13
  4. 基于云计算的纳税服务平台研究与实现,F812.42
  5. 基于MongoDB的云监控设计与应用,TP393.06
  6. 非结构化P2P系统中的搜索机制研究,TP393.02
  7. 分布式实时分发微博系统,TP393.092
  8. 基于Hypertable数据库XML存储和查询技术研究,TP311.13
  9. 非关系型与关系型空间数据库对比分析与协同应用研究,P208
  10. 分布式并行计算下GML空间数据复制同步更新机制研究,P208
  11. 基于NoSQL数据库的海量天文图像分布存储研究,TP391.41
  12. 基于REST+NoSQL的水泵企业系统的设计与实现,TP311.52
  13. 基于关系型与非关系型数据库的电子表单系统设计与实现,TP311.13
  14. 分布式应用系统的编址解析与规约技术研究,TP393.04
  15. 基于MongoDB云存储平台的论坛信息抽取与存储研究,TP333
  16. 基于MapReduce的Web文本挖掘系统的研究与实现,TP391.1
  17. 一种基于MongoDB和HDFS的大规模遥感数据存储系统的设计与实现,TP751
  18. 云存储中数据压缩技术的研究,TP333
  19. 大规模互联网地理标注快速聚类方法研究,TP311.13
  20. 基于MongoDB的SaaS数据层多租户关键技术研究与实现,TP311.13

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程 > 程序设计 > 数据库理论与系统
© 2012 www.xueweilunwen.com