学位论文 > 优秀研究生学位论文题录展示

基于Hadoop的云存储系统客户端的设计与实现

作　者: 杨坤
导　师: 陈涛
学　校: 华中科技大学
专　业: 计算机系统结构
关键词: 云计算云存储作业调度云存储系统客户端
分类号: TP333
类　型: 硕士论文
年　份: 2011年
下　载: 395次
引　用: 0次
阅　读: 论文下载

内容摘要

云计算平台hadoop是对Google的GFS以及MapReduce的开源实现,虽然目前hadoop主要还是集中于对海量数据进行计算处理的技术层面,但是不能忽视的是hadoop在设计和实现的过程中,也包含了对数据存储的强大能力的体现,这主要体现在hadoop平台中,所采用的分布式文件系统HDFS,这个基于网络的分布式文件系统,能够很有效的存储大量的数据,实现将用户的文件数据通过网络进行分布式存储。首先分析了hadoop系统平台在读写文件数据的处理方式和实现的机制,包括对HDFS在文件读取和写入两个方面的分析,并且对这个设计思路的不足也进行了分析,这些分析将有助于实现基于hadoop的云存储服务系统,其次在对hadoop系统的作业调度算法研究的基础之上,提出并实现了一种新的作业调度算法—基于反馈的作业调度算法,这种算法的主要思想是当前的作业调度决策,会影响到下一次的作业调度决策,通过不断的学习以前决策的经验和教训,不断的修改集群系统的参数的配置,最终达到一个比较稳定的作业处理的性能。最后,在前面工作的基础之上,主要实现的是基于Hadoop的云存储系统在用户的客户端方面的管理,通过这个平台用户可以管理自己的存储空间和文件,并且将本地文件上传到集群服务器中进行存储,而用户的文件数据存储到磁盘中之前,都必须经过分布式文件系统HDFS的处理,实现将数据文件分散的存储在网络中的各个数据节点之中。

全文目录

摘要  4-5
Abstract  5-8
1 绪论  8-12
  1.1 课题背景  8-9
  1.2 国内外研究现状  9-10
  1.3 研究的内容  10-11
  1.4 本文的组织结构  11-12
2 云计算平台虚拟化技术  12-15
  2.1 服务器虚拟化  12-13
  2.2 存储虚拟化  13
  2.3 应用虚拟化  13-14
  2.4 本章小结  14-15
3 Hadoop 云计算平台数据管理机制  15-30
  3.1 HDFS 数据读写的原理分析  15-23
  3.2 HDFS 数据管理的实现方法分析  23-28
  3.3 Hadoop 平台数据管理的改进分析  28-29
  3.4 本章小结  29-30
4 Hadoop 作业调度算法  30-41
  4.1 FIFO 算法  30-31
  4.2 公平调度算法  31
  4.3 基于反馈的作业调度算法  31-40
  4.4 本章小结  40-41
5 基于Hadoop 的云存储系统客户端的实现  41-52
  5.1 云存储系统结构  41-42
  5.2 云存储系统客户端的功能组织  42-43
  5.3 系统登录  43-44
  5.4 用户管理  44-46
  5.5 文件管理  46-49
  5.6 系统测试与分析  49-50
  5.7 本章小结  50-52
6 总结与展望  52-54
  6.1 全文总结  52-53
  6.2 展望  53-54
致谢  54-55
参考文献  55-58

基于Hadoop的云存储系统客户端的设计与实现

内容摘要

全文目录

相似论文