学位论文 > 优秀研究生学位论文题录展示

海量存储系统中元数据管理机制的研究

作　者: 吴婷
导　师: 鞠时光
学　校: 江苏大学
专　业: 计算机应用技术
关键词: 海量存储系统 元数据管理 数据库管理技术 数据生命周期 索引算法
分类号: TP333
类　型: 硕士论文
年　份: 2010年
下　载: 271次
引　用: 3次
阅　读: 论文下载
 

内容摘要


海量存储系统中需要保存Terabyte、Petabyte级别甚至更大规模的数据。数据的元数据如文件的名字、属性、保存地址和访问授权等信息一般由元数据服务器进行管理。在访问海量存储系统的数据前,需要首先查找和获得元数据。因此元数据管理机制将直接关系到海量存储系统的I/O性能。现有的海量存储系统一般采用目录层次结构和哈希算法管理元数据,存在修改元数据和查询目录等操作所需时间和空间开销大等问题,也没有针对海量存储系统中元数据访问特性的优化机制,严重制约了海量存储系统的I/O性能。本文在分析海量存储系统中元数据管理特性的基础上,引入DBMS技术以及数据分级的方法,提高管理元数据的效率。论文的具体工作包括:首先引入二维表保存系统中的元数据信息,提出了基于DBMS的新型元数据管理策略,给出了各类元数据操作的流程;分析了在海量存储系统中用于管理元数据信息时所需的时间和空间开销以及适应不同运行环境的能力;实现了基于DBMS元数据管理策略的原型系统,采集实际文件系统中的元数据,构建多种测试环境进行测试与分析,结果表明基于DBMS的元数据管理策略能有效地减少管理元数据所需的时间和空间开销,提高管理元数据的灵活性,增强适应能力。在分析海量存储系统中元数据时间特性的基础上,依据元数据的生命周期,设计了元数据分级算法,将元数据分为活跃元数据和非活跃元数据;设计了分区索引算法,提高查询活跃元数据的性能;改进了基于哈希函数的索引方法,设计了非活跃元数据的索引算法,减少了管理非活跃元数据所需的时间与空间开销;从查找元数据与更新索引所需的时间与空间开销两方面进行了分析,验证了其能有效地减少了查询元数据和更新索引所需的时间和空间开销;实现了元数据分级索引算法的原型系统,采集实际文件系统中的元数据,构建多种测试环境进行测试与分析,结果表明元数据分级索引算法能有效地提高查询元数据的性能。

全文目录


摘要  5-7
ABSTRACT  7-11
第一章 绪论  11-23
  1.1 研究背景及意义  11-12
  1.2 元数据管理概述  12-20
    1.2.1 元数据  12-13
    1.2.2 海量存储系统的发展  13-15
    1.2.3 元数据管理的发展历程  15-17
    1.2.4 元数据管理的研究现状  17-20
  1.3 研究目标  20-21
  1.4 本文主要工作及组织结构  21-23
第二章 海量存储系统元数据管理的特点及分析  23-27
  2.1 海量存储系统元数据管理特性分析  23-24
  2.2 基于DBMS的海量存储系统元数据管理结构  24-26
  2.3 本章小结  26-27
第三章 基于DBMS的元数据管理策略  27-45
  3.1 现有元数据管理策略的分析  27-30
  3.2 基于二维表的元数据结构  30-33
  3.3 元数据操作算法设计  33-36
    3.3.1 目录操作  33-34
    3.3.2 文件操作  34-35
    3.3.3 文件属性的操作  35
    3.3.4 访问授权的操作  35-36
  3.4 性能分析  36-37
    3.4.1 管理元数据所需的时间与空间开销  36-37
    3.4.2 元数据管理的灵活性  37
  3.5 性能测试  37-44
    3.5.1 原型系统的实现  37-38
    3.5.2 测试环境的构建  38
    3.5.3 测试数据集  38-39
    3.5.4 测试与分析  39-44
  3.6 本章小结  44-45
第四章 元数据的分级索引算法  45-62
  4.1 现有元数据索引算法的分析  45-46
  4.2 基于数据生命周期的元数据分级算法  46-50
  4.3 活跃元数据分区索引算法  50-56
    4.3.1 分区机制  52-53
    4.3.2 子索引定位机制  53-56
  4.4 非活跃元数据索引算法  56-57
  4.5 性能分析  57-58
    4.5.1 查询元数据所需的时间与空间开销  57-58
    4.5.2 更新索引所需的时间与空间开销  58
  4.6 性能测试  58-61
    4.6.1 原型系统的实现  58
    4.6.2 测试环境的构建  58-59
    4.6.3 测试数据集  59
    4.6.4 测试与分析  59-61
  4.7 本章小结  61-62
第五章 总结与展望  62-64
  5.1 工作总结  62-63
  5.2 下一步工作展望  63-64
参考文献  64-67
致谢  67-68
发表论文  68

相似论文

  1. 存储系统中多维元数据索引的高效更新方法研究,TP333
  2. 分布式文件系统客户端的设计与实现,TP338.8
  3. BlueOcean海量存储系统客户端的设计与实现,TP333
  4. 西昌学院图书馆随书光盘管理系统分析与实现,G255.75
  5. 分布式文件系统中元数据管理策略的研究,TP316.4
  6. 电网设备检修工程项目预算管理系统的设计与实现,F426.61
  7. Web资源质量元数据的获取与管理技术的研究与实现,TP311.13
  8. 分布式文件系统元数据管理技术研究与实现,TP338.8
  9. 支持分布式、异构数据仓库财务决策支持系统的研究,O225
  10. 面向查询操作的元数据服务器集群负载均衡方法研究,TP393.05
  11. 面向医保基金风险防控的数据准备技术研究与实现,TP311.13
  12. 基于生命周期的银行业数据备份管理研究,TP309.3
  13. 分布式文件系统元数据管理研究与优化,TP316.4
  14. 流程建模元数据管理系统的设计与实现,TP311.52
  15. 嵌入式GIS地图数据快速显示算法的研究,TP368.1
  16. 基于Web服务的元数据管理研究与应用,TP311.13
  17. 海量遥感影像管理系统的设计与实现,TP75
  18. 分布式文件系统关键技术研究与实现,TP316.4
  19. 基于区域增长的立体匹配算法的研究,TP391.41
  20. 基于HDFS的分布式Namenode节点模型的研究,TP311.13
  21. 面向世博知识共享的元数据模式设计与元数据管理系统的设计与实现,TP311.52

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 电子数字计算机（不连续作用电子计算机） > 存贮器
© 2012 www.xueweilunwen.com