学位论文 > 优秀研究生学位论文题录展示

多元数据服务器环境下的元数据管理研究

作　者: 潘磊颖
导　师: 冯丹
学　校: 华中科技大学
专　业: 计算机系统结构
关键词: 对象存储系统多元数据服务器分布式元数据管理热点元数据
分类号: TP311.13
类　型: 硕士论文
年　份: 2007年
下　载: 138次
引　用: 2次
阅　读: 论文下载

内容摘要

通常情况下用户请求分为数据请求和元数据请求。虽然元数据很小,但是在存储系统的操作中,元数据操作占50%到80%。因此,元数据的高效管理非常重要。而随着存储体系规模的增大以及数据访问密集度的增加,集中式元数据管理已经渐渐不能胜任。现今的高性能计算不仅对存储系统的I/O带宽和元数据处理性能提出了很高的需求,而且对存储系统的规模和扩展性也有很高的需求。单一的元数据服务器已经不能满足应用对规模和性能日益增长的需求。采用多元数据服务器是存储系统发展的必然趋势。在PB级的存储系统中,通常由数个元数据服务器构成机群来满足上万个用户的并发访问。元数据应该均匀地分配到各个元数据服务器上以保证一般情况下的负载均衡。在基于对象存储系统中实现了基于父目录对象号的哈希方法( Directory Object ID and Filename Hashing , DOIDFH )分布式元数据管理方案,它结合了子树分割和哈希方法的优点,可以将同一目录下的文件均匀地分布到多个MDS中,并部分保留了同一目录下的存储局部性。同时与子树分割方案进行了性能比较,结果表明DOIDFH方案下元数据服务器的负载比较均衡,并且系统响应速度以及吞吐量都优于子树分割方案。分布式存储系统的性能与元数据在多个元数据服务器上的分布情况密切相关,如果大量的访问集中于某些特定的元数据(热点),则系统性能会受到极大的影响。不同情况不同方案下热点问题的解决方式也不相同。通过在各服务器上寻找成为热点的元数据然后将热点元数据在其它节点上做镜像的方法减轻了元数据热点对系统性能的影响。

全文目录

摘要  4-5
ABSTRACT  5-9
1 绪论  9-16
  1.1 课题背景  9-11
  1.2 多元数据服务器环境的相关研究  11-13
  1.3 元数据分布策略的相关研究  13-15
  1.4 本文研究的主要内容  15-16
2 元数据服务器端的设计与实现  16-27
  2.1 对象存储系统的构成  16-19
    2.1.1 元数据服务器  16-17
    2.1.2 对象存储设备  17-18
    2.1.3 客户端  18-19
  2.2 元数据服务器端的设计  19-25
    2.2.1 元数据服务器的功能  19-20
    2.2.2 文件管理模块  20-21
    2.2.3 资源管理模块  21-23
    2.2.4 LDAP 数据库模块  23-24
    2.2.5 多MDS 通信模块  24-25
  2.3 本章小结  25-27
3 DOIDFH 元数据管理策略的研究  27-43
  3.1 元数据管理简介  27-28
  3.2 元数据分配策略  28-31
    3.2.1 元数据类型  28-29
    3.2.2 元数据的分配  29-31
  3.3 DOIDFH 的实现  31-42
    3.3.1 文件操作  31-33
    3.3.2 目录操作  33-35
    3.3.3 列表操作  35-37
    3.3.4 缓冲区设计  37-42
  3.4 本章小结  42-43
4 热点问题研究  43-50
  4.1 热点问题描述  43-44
  4.2 热度的统计  44-47
    4.2.1 子树分割方案下的热度统计  44-46
    4.2.2 DOIDFH 方案下的热度统计  46-47
  4.3 热点的散发  47-49
  4.4 本章小结  49-50
5 方案测试与性能分析  50-56
  5.1 测试环境  50
  5.2 测试结果及分析  50-55
  5.3 本章小结  55-56
6 全文总结  56-58
致谢  58-59
参考文献  59-63
附录1 攻读学位期间申请的专利  63

多元数据服务器环境下的元数据管理研究

内容摘要

全文目录

相似论文