学位论文 > 优秀研究生学位论文题录展示

海量数据存储与查询策略的优化研究

作　者: 娄希安
导　师: 陈佳
学　校: 大连海事大学
专　业: 管理科学与工程
关键词: 海量数据存储查询优化策略
分类号: C931.6
类　型: 硕士论文
年　份: 2012年
下　载: 342次
引　用: 0次
阅　读: 论文下载

内容摘要

在全面信息化的过程中,产生了海量的数据和信息资源,非常需要一种方法对海量数据进行科学高效的组织、管理和使用,以满足日益多样的业务应用,同时提高信息资源的管理效率。国内外的分析表明,海量数据管理水平将成为下一轮衡量企业生命力的指标之一。海量数据管理的前景虽然乐观,但目前仍然存在着很多技术上的难题需要克服。存储策略的研究侧重于空间效率的改进,而查询策略侧重于时间效率的提高,不能综合地发挥出系统的整体优势。本文从这一角度出发,以海量数据作为研究对象,研究海量数据存储策略与查询策略的优化。论文首先分析了国内外学者取得的主要理论研究成果,总结了现行主要的存储和查询策略的特点,针对现有研究中存在的问题,提出了优化的内容和目标,接着从海量数据生命周期出发,深入研究了表分区,基于对象存储,查询分解等多项关键技术,然后,提出了利用表分区技术的基于对象存储优化策略和基于查询分解的查询优化策略。而后,针对这些关键技术进行了一系列的探讨,通过研究得出优化策略的基本方案,同时把分布式环境确立为策略验证的环境。最后,在模拟环境中实现了存储部分的配置信息、文件信息和读写操作功能,查询部分设计实现了查询分解、查询优化和结果合成功能；通过以上模块的综合作用,完成了对优化策略的可行性的验证工作。本文从全面信息化的实际需求出发,通过对常规理论的深入研究,提出了海量数据的存储和查询的优化后的策略,并模拟环境中进行了验证；该优化策略平衡了系统的时间效率和空间效率,最终实现了系统优化的预期目标,具有一定的应用价值。

全文目录

摘要  5-6
ABSTRACT  6-10
第1章绪论  10-16
  1.1 海量数据概念的界定  10
  1.2 选题背景  10-11
  1.3 国内外研究现状  11-13
    1.3.1 海量数据存储策略国内外研究现状  11-12
    1.3.2 海量数据查询策略国内外研究现状  12-13
  1.4 论文内容及结  13-16
    1.4.1 论文的研究内容  13-14
    1.4.2 论文的组织结构  14-16
第2章海量数据常规存储策略与查询策略研究  16-26
  2.1 海量数据常规的存储策略  16-21
    2.1.1 海量数据的存储介质与设备研究  17-19
    2.1.2 海量数据的存储模式研究  19-21
  2.2 海量数据常规的查询策略  21-25
    2.2.1 逻辑层策略优化研究  21-23
    2.2.2 数据划分技术策略优化研究  23-25
  2.3 本章小结  25-26
第3章海量数据存储与查询优化策略研究  26-39
  3.1 海量数据分布式存储及相关技术的应用  27-33
    3.1.1 分布式存储策略概述  27-28
    3.1.2 基于对象存储技术  28-29
    3.1.3 列存储技术  29-31
    3.1.4 表分区技术  31-33
  3.2 海量数据分布式查询及相关技术的运用  33-38
    3.2.1 分布式查询策略概述  33-34
    3.2.2 查询分解方法研究  34-35
    3.2.3 查询优化方法研究  35-37
    3.2.4 结果合成方法研究  37-38
  3.3 本章小结  38-39
第4章海量数据存储与查询优化策略的实现  39-65
  4.1 存储优化策略的实现  40-45
    4.1.1 相关技术的应用  40-41
    4.1.2 配置信息模块设计实现  41-42
    4.1.3 文件信息模块设计实现  42-43
    4.1.4 读写操作模块设计实现  43-45
  4.2 查询优化策略的实现  45-51
    4.2.1 查询分解模块设计实现  47-48
    4.2.2 查询优化模块设计实现  48-50
    4.2.3 结果合成模块设计实现  50-51
  4.3 数据库访问的实现  51-64
    4.3.1 数据库的操作步骤  52-60
    4.3.2 数据库的操作方法  60-63
    4.3.3 数据访问的实现  63-64
  4.4 本章小结  64-65
第5章总结与展望  65-67
  5.1 全文总结  65
  5.2 研究展望  65-67
参考文献  67-71
攻读学位期间公开发表论文  71-72
致谢  72

相似论文

支持XML数据查询的F&B索引结构的研究,TP311.13
海量多数据库集成系统的查询处理研究,TP311.13
海量数据压缩、操作和处理方法的研究,TP311.13
图像实时采集、存储与处理方法研究,TP391.41
基于BAP的数据压缩、操作与查询处理系统的实现,TP311.13
番禺区初中语文新诗教学现状及其优化策略,G633.3
边防军分区信息管理系统设计与实现,TP311.52
一种自适应选择处理节点的时空查询算法,TN929.5
基于查询接口的Deep Web模式匹配方法研究,TP311.13
能量高效的无线传感器网络数据查询算法研究,TN929.5
光信息存储技术发展现状及前景分析,TP333
传感器网络中目标跟踪算法研究,TN929.5
Multi-Radio传感器网络中跨层协议的研究,TN929.5
基于.NET的网络教学管理平台的研究与实现,TP311.52
基于GPU的常见散列算法并行实现及优化,TP391.41
概率XML文档中Holistic Twig查询处理算法的研究与实现,TP311.13
不确定数据及相关性表示性实时概率查询处理,TP311.13
大规模稀疏关系数据索引技术研究,TP311.132.3
MySQL数据库源代码分析及存储引擎的设计,TP311.13
数据空间系统中的图像索引技术的研究与实现,TP391.3
部队人员请销假管理系统的设计与实现,TP311.52