学位论文 > 优秀研究生学位论文题录展示

海量多数据库集成系统的查询处理研究

作　者: 刘雨洋
导　师: 李建中
学　校: 哈尔滨工业大学
专　业: 计算机科学与技术
关键词: 模式映射查询分解查询处理查询优化
分类号: TP311.13
类　型: 硕士论文
年　份: 2008年
下　载: 177次
引　用: 0次
阅　读: 论文下载

内容摘要

近年来,数据库中的数据量与日俱增、数据形式多种多样,但各种应用的核心—数据,仍以不同形式存储在不同的系统中,分而不聚,聚而不合,呈分布异构状态。越来越多的用户希望能够透明地获取和处理来自这些海量数据源中的有用数据,实现多个软硬件系统以及不同数据源之间的互操作。然而,这些数据源物理上可能分布在异构环境的多个自治域中,有着不同的数据表示、存储格式、访问控制策略;逻辑上则可能在数据模型、操纵语言和数据语义等方面存在着很大差异。同时,这些数据源的可共享性、共享方式、共享内容等也可能随时发生变化。设计一个支持公共数据模型和统一查询语言的多数据库集成系统,是实现这种交互操作的一种较好办法。多数据库集成系统可以屏蔽现在已有的各种异构数据管理系统不同的访问方法和用户界面,给用户呈现一个访问多数据源的公共接口,提供一个集成处理多种数据源、整合多个数据查询结果的数据交互处理平台。查询处理是多数据库集成系统的关键技术之一,查询分解、结果合并和查询优化是查询处理的核心内容。首先,本文通过定义集成系统中查询处理的基本概念,选定M-SQL作为查询语言,提出了查询处理的基本体系结构。在此基础上,给出了全局查询分解的基本原则和查询分解算法。其次,本文给出结果合并方法。结果合并的过程实质上是对子查询结果进行连接的过程,本文给出了基本的连接算法和非阻塞的连接算法,后者尽快的将一部分数据返回给用户,减少了用户查询等待的时间,提高系统的性能。最后,本文给出基于重写子查询的查询优化方法。基于上述研究结果,本文研制和开发了一个基于Web服务的多数据库集成系统原型,它能够提供对Oracle、Sybase、DB2等数据库系统的透明访问,主要功能涵盖了查询分解,结果合并和查询优化等方面。最后本文给出了对系统的性能分析与评价。

全文目录

摘要  4-5
Abstract  5-10
第1章绪论  10-17
  1.1 课题背景及意义  10-11
  1.2 国内外研究现状  11-14
    1.2.1 信息集成  11-12
    1.2.2 集成系统的查询处理  12-13
    1.2.3 集成系统的查询优化  13
    1.2.4 海量信息的处理方法  13-14
  1.3 研究内容和主要成果  14-15
    1.3.1 M-SQL查询语言  14
    1.3.2 查询分解  14-15
    1.3.3 结果合并  15
    1.3.4 查询优化方法  15
  1.4 章节安排  15-17
第2章系统结构、模式定义和M-SQL查询语言  17-23
  2.1 引言  17
  2.2 系统概述和系统结构  17-18
  2.3 模式映射  18-19
  2.4 一个简单的数据模式示例  19
  2.5 M-SQL查询语言  19-20
  2.6 查询处理器概述  20-22
  2.7 本章小结  22-23
第3章查询分解  23-34
  3.1 引言  23
  3.2 查询语法树的生成  23-26
  3.3 查询计划  26-27
  3.4 查询计划的生成  27-32
    3.4.1 算法描述  27-31
    3.4.2 连接顺序的选择  31-32
    3.4.3 算法分析  32
  3.5 本章小结  32-34
第4章结果合并  34-48
  4.1 引言  34
  4.2 结果合并的框架  34-36
  4.3 连接算法  36-38
    4.3.1 循环嵌套算法  36-37
    4.3.2 基于排序的连接算法  37-38
  4.4 缓存系统  38-41
    4.4.1 分块机制  40
    4.4.2 缓存的替换算法  40
    4.4.3 缓存对结果输出的支持  40-41
  4.5 非阻塞的结果合并算法  41-44
    4.5.1 非阻塞的join算法  42-43
    4.5.2 非阻塞的循环嵌套算法  43-44
  4.6 对海量数据的支持  44-46
    4.6.1 网络传输的支持  45
    4.6.2 结果合并的支持  45-46
  4.7 本章小结  46-48
第5章查询优化  48-52
  5.1 引言  48
  5.2 基于缓存的查询优化  48-49
  5.3 基于改写子查询的优化方法  49-51
    5.3.1 聚集操作和计算  50
    5.3.2 去NULL值  50
    5.3.3 排序  50-51
    5.3.4 除去冗余操作  51
  5.4 本章小结  51-52
第6章系统实现和实验结果  52-60
  6.1 系统实现  52-53
  6.2 实验配置  53-54
  6.3 实验结果  54-59
    6.3.1 查询结果的正确性  55-56
    6.3.2 查询处理  56-57
    6.3.3 数据量变化  57-58
    6.3.4 缓存的变化  58-59
  6.4 本章小结  59-60
结论  60-61
参考文献  61-65
攻读硕士学位期间发表的学术论文  65-67
致谢  67

相似论文

支持XML数据查询的F&B索引结构的研究,TP311.13
概率XML文档中Holistic Twig查询处理算法的研究与实现,TP311.13
多核环境下内存数据库查询优化的研究,TP311.13
达梦嵌入式数据库的执行计划缓存研究,TP311.13
不确定数据及相关性表示性实时概率查询处理,TP311.13
面向非结构化数据查询优化的存储系统,TP333
达梦嵌入式数据库子查询的实现和扁平化,TP311.13
RFID复杂事件实时查询处理及其优化策略,TP391.44
基于Agent实时监控系统的研究与实践,TP277
基于社交网络好友关系的图查询算法研究与应用,TP391.3
基于JAVA的多数据库中间件的设计与实现,TP311.10
数据资源汇聚的可视化建模技术研究与应用,TP311.52
粒子群算法在查询优化中的应用,TP391.3
基于XML的异构数据交换技术研究,TP311.13
异构数据库系统中的查询分解与并发控制方法研究,TP311.13
基于宽表的SaaS多租户数据存储机制研究,TP393.09
多租户环境下的数据存储模式和映射机制研究,TP393.09
无线传感器网络中面向节能的多查询优化研究,TN929.5
基于模式映射的XML与关系数据库的存储技术的研究,TP311.13
畜产品溯源系统中异构数据整合问题研究,TP311.13