学位论文 > 优秀研究生学位论文题录展示

大规模图片存储与索引系统的设计与实现

作　者: 孟涛
导　师: 黄建忠
学　校: 华中科技大学
专　业: 计算机系统结构
关键词: 图片存储键-值对分层索引平衡二叉查找树可靠性
分类号: TP333
类　型: 硕士论文
年　份: 2013年
下　载: 4次
引　用: 0次
阅　读: 论文下载

内容摘要

随着数码产品的普及，家庭图片类型繁多，且其总量呈爆炸式增长，超出普通用户的管理能力，由此产生了‘为大规模图片文件设计高效存储与检索系统’的应用需求，针对此，设计并实现了一种大规模图片存储管理与检索原型系统。该系统采取C/S基础架构，具备数据上传功能和语义扩展特性，并采取了高效检索机制和优化技术。具体地，数据上传采用高效可靠的文件传输协议（FTP）将用户图片文件传输到服务器上存储；在客户端完成图片语义扩展，并以扩展属性的方式进行定义和保存；在服务器内存中，实现基于分层索引结构的键-值对数据库。对于键值对插入操作，首先通过第一层的Bloom Filter建立检索集，然后对键进行哈希处理获得第二层平衡二叉查找树（AVL树）的地址，最后在AVL树中进行插入操作；对于查询操作，通过第一层的Bloom Filter对查询条件进行过滤，然后对查询条件进行哈希处理获得第二层AVL树的地址，最后在AVL树中进行查询操作。服务器内存键值对数据库的增删改查操作接口通过远程调用的方式提供给客户端。最后，采用往日志文件中进行追加写操作和快照相结合的方式，将内存索引信息同步至磁盘日志文件中，保障了内存索引信息的可靠性。实验结果表明，基于键值对的内存分层索引结构每秒钟可写入48600左右个键值对，可读出377800左右个键值对。以一个拥有140000个文件的目录为例，通过Linux文件系统自带find命令，平均查询时间约为0.5秒。假设每个文件有10个属性，对1400000个键值对建立内存索引结构需耗费30.78秒，其后，通过内存索引结构进行查询的时间约为30微秒，查询性能能提升三个数量级。

全文目录

摘要  4-5
Abstract  5-8
1 绪论  8-14
  1.1 课题来源  8
  1.2 课题研究背景  8-10
  1.3 国内外研究现状  10-12
  1.4 课题研究工作  12
  1.5 论文组织结构  12-14
2 系统需求分析  14-20
  2.1 数据传输  14-15
  2.2 服务器功能接口远程调用  15-16
  2.3 检索机制  16-18
  2.4 索引信息持久化  18-19
  2.5 本章小结  19-20
3 系统设计  20-28
  3.1 系统总体架构  20
  3.2 数据管理模块架构  20-21
  3.3 语义信息传输模块架构  21-22
  3.4 文件检索模块架构  22-26
  3.5 数据上传与下载流程  26-27
  3.6 本章小结  27-28
4 原型系统实现  28-39
  4.1 原型系统简介  28-29
  4.2 关键数据结构  29-32
  4.3 子模块实现  32-38
  4.4 本章小结  38-39
5 性能测试与分析  39-50
  5.1 测试环境  39-40
  5.2 测试结果及分析  40-49
  5.3 本章小结  49-50
6 总结与展望  50-52
  6.1 工作总结  50
  6.2 工作展望  50-52
致谢  52-53
参考文献  53-56

大规模图片存储与索引系统的设计与实现

内容摘要

全文目录

相似论文