学位论文 > 优秀研究生学位论文题录展示

基于元数据关联特征的分布式查询方法研究

作　者: 朱云生
导　师: 华宇
学　校: 华中科技大学
专　业: 计算机系统结构
关键词: 关联特征元数据查询批量更新
分类号: TP333
类　型: 硕士论文
年　份: 2013年
下　载: 15次
引　用: 0次
阅　读: 论文下载

内容摘要

信息技术的不断发展对信息存储高容量，高性能提出更高的要求，云存储应运而生。大规模存储系统的应用越来越广泛，存储容量从以前的TB（Terabyte）级上升到PB（Petabyte）级甚至EB（Exabyte）级。用户在使用海量存储空间的同时，也发现数据的查找和管理变得越来越困难。现有的元数据管理方法存在可扩展性弱、查询效率低、实时性差等缺点。针对上述缺点，提出了一种基于关联特征的元数据查询方法，可以充分利用多维元数据的关联特征来提高查询效率。系统在局部灵敏哈希(LSH)聚集数据的基础上建立分布式索引。全局索引划分采用LSH哈希表桶内划分的方式来提升系统的扩展性，可以避免大量的数据迁移。索引的维护采用分层架构，每层独立配置，同时具有较好的可扩展性，方便系统管理。为了快速更新分布式索引，系统的索引采用文件存储，并基于版本批量更新。在这种架构下，查询请求采用基于代理的处理模式，每个请求都会分配一台查询服务器作为代理，代理节点负责转发查询请求、收集查询结果并返回给客户端。通过测试，这种查询方法相对于传统的基于一维索引的方式查询效率有了显著的提高，并且系统的响应时间随着数据规模的增大而呈拟线性增长。同时，系统提出的基于版本的批量更新策略，使得系统的索引更新效率相对于MySQL数据库提升10倍左右。

全文目录

摘要  4-5
Abstract  5-8
1 绪论  8-12
  1.1 研究背景及意义  8
  1.2 国内外研究现状  8-9
  1.3 研究目标及主要工作  9-11
  1.4 论文的结构  11-12
2 相关研究工作  12-17
  2.1 传统元数据组织方法及文件关联特征  12-14
  2.2 局部灵敏哈希（LSH）  14-15
  2.3 Bloom Filter  15-16
  2.4 本章小结  16-17
3 查询系统架构设计  17-29
  3.1 系统架构  18-22
  3.2 索引构建  22-26
  3.3 系统的工作流程  26-28
  3.4 本章小结  28-29
4 查询系统索引更新与接口实现  29-42
  4.1 索引更新  29-35
  4.2 元数据查询机制  35-39
  4.3 本章小结  39-42
5 系统测试  42-48
  5.1 测试环境  42
  5.2 功能测试  42
  5.3 性能测试  42-47
  5.4 本章小结  47-48
6 总结和展望  48-50
致谢  50-51
参考文献  51-54

基于元数据关联特征的分布式查询方法研究

内容摘要

全文目录

相似论文