学位论文 > 优秀研究生学位论文题录展示

面向公有云存储的高并发关键技术研究及系统实现

作　者: 梁啟成
导　师: 傅予力; 许祥滨
学　校: 华南理工大学
专　业: 电子与通信工程
关键词: 公有云存储 OpenStack Swift 负载均衡 反向代理缓存
分类号: TP333
类　型: 硕士论文
年　份: 2013年
下　载: 41次
引　用: 0次
阅　读: 论文下载
 

内容摘要


近年来云存储服务已逐渐成熟，许多企业和用户选择将数据存储在云上，其中面向互联网的云存储被称为公有云存储。公有云存储系统不仅要适应海量业务数据存储的增长，还要具备大规模、高并发处理访问的能力，以快速响应用户的大量请求。因此，如何有效提高公有云存储系统的并发处理能力是当前云存储服务领域的项研究重点，具有重要的实际意义。首先，本文介绍了两项能够提供并发能力的关键技术：负载均衡和反向代理缓存。以LVS为例深入研究负载均衡常用的算法和工作模式，并简要地研究了反向代理缓存的实现原理。其次，深入分析研究OpenStack的对象存储Swift项目，建立了个基于负载均衡的多节点公有云存储模型，通过水平扩展代理节点数量即可线性提高系统的并发性能；同时，考虑到系统中存在高频访问的热点存储对象，文章还提出了个基于热点缓存的公有云存储模型，将访问热点的请求转发到反向代理缓存，从而降低了对存储几点的访问内压力，提高系统响应速度。然后，提出基于负载均衡的热点缓存公有云存储模型的高并发公有云存储系统框架，并详细设计出各个功能模块组成及其具体实现方法。其中，对原有Proxy Server加入了热点存储对象判断的功能改进，使得公有云存储系统能自动识别出获取热点存储对象的请求并将其转发交由缓存处理。经测试实验证明，本文提出的高并发公有云存储系统，在多用户访问场景下随着模拟并发数的增大，其并发处理能力呈线性上升趋势增长；而在模拟热点存储对象访问场景中，其TPS（Throughout Per Second）比单代理节点的公有云存储系统提升了8.48%，比多代理节点的公有云存储系统提升了4.29%。综上，基于提议模型搭建的原型系统切实有效地提高了公有云存储服务的并发性能。

全文目录


摘要  5-6
Abstract  6-11
第一章 绪论  11-19
  1.1 研究背景和意义  11-12
  1.2 云存储的概述  12-16
    1.2.1 云存储的定义  12-13
    1.2.2 云存储的架构  13-15
    1.2.3 云存储的分类  15-16
  1.3 公有云存储的现状  16-17
  1.4 提高公有云存储并发性能的意义  17
  1.5 本文研究内容及组织架构  17-19
第二章 集群负载均衡与反向代理缓存  19-32
  2.1 负载均衡的原理  19-20
    2.1.1 硬件负载均衡  19-20
    2.1.2 软件负载均衡  20
  2.2 LVS 负载均衡的三种常用算法  20-24
    2.2.1 Round Robin（RR）算法  21-22
    2.2.2 Weighted Round Robin（WRR）算法  22-23
    2.2.3 Least Connections（LC）算法  23-24
  2.3 LVS 负载均衡的四种工作模式  24-28
    2.3.1 Direct Route 模式  24-25
    2.3.2 NAT 模式  25-26
    2.3.3 TUNNEL 模式  26-27
    2.3.4 Full-NAT 模式  27-28
  2.4 反向代理缓存的原理  28-31
    2.4.1 反向代理技术  28-29
    2.4.2 代理缓存的工作原理  29
    2.4.3 缓存替换机制  29-30
    2.4.4 常用的反向代理缓存服务器  30-31
  2.5 本章小结  31-32
第三章 基于负载均衡的热点缓存公有云存储模型  32-47
  3.1 Swift 云存储架构  32-40
    3.1.1 Swift 的特性及应用领域  32-34
    3.1.2 Swift 的架构概述  34-35
    3.1.3 Swift 的主要组件  35-37
    3.1.4 Swift 的关键存储技术  37-40
  3.2 基于负载均衡的公有云存储  40-43
    3.2.1 并发性能瓶颈分析  40-41
    3.2.2 基于负载均衡的多代理节点 Swift 云存储架构  41-42
    3.2.3 应用场景说明  42-43
  3.3 基于热点缓存的公有云存储  43-45
    3.3.1 热点访问性能分析  43
    3.3.2 热点数据访问的流程  43-45
    3.3.3 热点缓存的 Swift 云存储架构  45
  3.4 本章小结  45-47
第四章 高并发公有云存储系统的设计与实现  47-68
  4.1 系统的功能需求  47-48
  4.2 系统框架和部署架构  48-50
  4.3 多代理节点存储模块的设计与部署  50-61
    4.3.1 身份认证服务子模块  50-52
    4.3.2 代理服务子模块  52-56
    4.3.3 查询服务子模块  56-58
    4.3.4 存储服务子模块  58-61
  4.4 基于 LVS 的负载均衡模块实现  61-64
    4.4.1 负载均衡策略  61-62
    4.4.2 负载均衡工作模式  62-63
    4.4.3 负载均衡模块的配置  63-64
  4.5 基于 Varnish 的热点缓存模块实现  64-67
    4.5.1 Varnish 缓存工作机制  65-66
    4.5.2 缓存模块的配置  66-67
  4.6 本章小结  67-68
第五章 系统性能测试  68-79
  5.1 性能测试工具介绍  68
  5.2 性能测试指标  68-69
  5.3 实验环境  69-72
    5.3.1 单代理节点系统环境部署  70-71
    5.3.2 多代理节点系统环境部署  71-72
    5.3.3 热点缓存的多代理节点系统环境部署  72
  5.4 性能测试与结果分析  72-77
    5.4.1 模拟多用户访问场景  73-75
    5.4.2 模拟热点数据访问请求场景  75-77
  5.5 本章小结  77-79
总结与展望  79-81
参考文献  81-85
攻读硕士学位期间取得的研究成果  85-86
致谢  86-88
附件  88

相似论文

  1. 随机路由在无线传感器网络中的研究与应用,TN929.5
  2. 高校教务管理网上选课系统优化研究,TP393.09
  3. 设计模式在银行支付系统中的应用研究,TP311.52
  4. 容灾备份系统中备份服务器及系统安全机制的研究与实现,TP309.3
  5. 基于负载均衡的混合型应用层组播模型研究,TP393.02
  6. 基于逻辑卷的分级存储系统设计与实现,TP333
  7. 虚拟环境中多网络接口卡I/O调度系统的研究,TP334.7
  8. 图像检索的并行计算方法与系统,TP391.3
  9. 并行与分布入侵检测技术研究,TP393.08
  10. 流媒体服务集群系统关键技术研究,TN919.8
  11. 结构化P2P系统的负载均衡技术研究,TP393.02
  12. 一种改进集群节点负载均衡的策略,TP393.06
  13. 基于SCTP的多路同时传输负载均衡和重传策略研究,TP393.04
  14. 基于多下一跳的负载均衡交换结构研究,TN915.05
  15. 流媒体分发系统的设计及应用,TN919.8
  16. 长途客车空气悬架系统振动特性仿真,U463.33
  17. 分布式文件系统元数据管理技术研究与实现,TP338.8
  18. 某市通信营运公司网络优化方案的设计与实现,TP311.52
  19. 校园网视频播放系统的设计与负载均衡研究,TP393.18
  20. 面向查询操作的元数据服务器集群负载均衡方法研究,TP393.05
  21. 有线交互数字电视系统设计与系统负载均衡研究,TN949.197

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 电子数字计算机（不连续作用电子计算机） > 存贮器
© 2012 www.xueweilunwen.com