学位论文 > 优秀研究生学位论文题录展示

基于物化视图的数据查询与整合技术研究

作　者: 刘安
导　师: 宁洪
学　校: 国防科学技术大学
专　业: 计算机科学与技术
关键词: 用户模式信息集成物化视图查询优化
分类号: TP311.13
类　型: 硕士论文
年　份: 2010年
下　载: 39次
引　用: 0次
阅　读: 论文下载

内容摘要

进入新的千年以后,随着信息技术飞速发展,信息量极度膨胀,各种大规模数据库在世界各地不断新建,如何有效的运用这些数据库的信息,如何高效的实现各分布数据库信息集成就成为急需解决的问题。在实现分布异构数据库集成过程中研究人员一般面临着如何实现集成查询和如何减少信息网络传输开销,提高查询效率两大难题。为了解决目前分布、异构数据库集成中遇到的各种困难,文中提出以元数据信息库为基础,基于用户模式的查询整合方案。该方案将要查询的各分布数据库的元数据按照统一的标准集成到一个元数据库中,并在用户模式与元数据之间建立映射,利用用户模式的整体概念,实现信息的整合查询,并提出以物化视图的方法实现查询优化。该方案的最终目标是通过对有关内容的研究,解决数据资源整合的共性问题,建立一个通用的数据共享与整合平台,形成面向特定主题的、元数据集中、基础数据分布的虚拟中心数据库,支持在多个领域的应用。笔者所在课题组前期已经建立了元数据库,开发了元数据导入与管理工具。在此工作基础上,本文主要对以下内容进行了研究:1、如何支持领域专家在元数据的基础上建立用户模式及其到元数据的映射,形成一组新的面向查询用户的统一的查询概念。2、支持最终用户选择用户模式进行信息查询,即对围绕用户模式组织的查询语句的处理,包括根据映射关系转换为针对各个数据源的实际查询、实现查询结果的整合清理并最终以用户模式的形式呈现给用户。3、分析上述查询处理过程的效率,提出以物化视图的方式实现查询优化,具体研究了物化视图的动态选择方法、查询与物化视图的匹配算法、以及物化视图的维护更新等问题。4、在上述研究基础上,设计实现了一个围绕用户模式组织查询的信息集成查询工具原型系统(VOscherV1.0),该系统采用基于物化视图的查询优化方法处理查询。从网上下载生物数据进行测试,表明了该工具的有效性,经进一步测试完善后,该工具将用于人肝脏蛋白质组生物信息的集成。

全文目录

摘要  10-11
ABSTRACT  11-13
第一章引言  13-25
  1.1 课题研究背景  13-22
    1.1.1 高通量、分布异构数据集成需求  13-14
    1.1.2 信息集成方法概述  14-17
    1.1.3 信息集成中的主要难点问题  17
    1.1.4 元数据和用户模式在解决信息异构问题中的作用  17-20
    1.1.5 信息集成中优化方法概述  20-21
    1.1.6 物化视图用于信息集成优化  21-22
  1.2 课题研究内容  22-23
    1.2.1 课题来源  22-23
    1.2.2 主要研究内容  23
  1.3 研究目的与意义  23-24
  1.4 论文结构组织  24-25
第二章基于物化视图的信息集成技术研究  25-34
  2.1 基于物化视图的信息集成系统整体结构设计  25-28
  2.2 元数据  28
  2.3 用户模式与用户查询  28-30
    2.3.1 用户模式和模式映射  28-29
    2.3.2 围绕用户模式组织的用户查询  29-30
  2.4 基于物化视图优化思想概述  30-32
    2.4.1 物化视图结构设计  30
    2.4.2 物化视图的选择  30-31
    2.4.3 物化视图的匹配  31-32
    2.4.4 物化视图维护  32
  2.5 本章小结  32-34
第三章根据用户模式查询的查询处理技术  34-49
  3.1 用户模式和模式映射的建立  34-37
    3.1.1 用户模式的建立  34-35
    3.1.2 模式映射的建立  35-37
  3.2 用户查询的组织方式与处理流程  37-39
    3.2.1 用户查询的组织方式  37-38
    3.2.2 用户查询的处理流程  38-39
  3.3 用户查询语句的查询重写  39-45
    3.3.1 查询重写的原则和方法  39-40
    3.3.2 查询重写算法设计  40-45
  3.4 查询结果生成  45-48
    3.4.1 中间查询结果处理方法  45-46
    3.4.2 查询结果整合  46-48
    3.4.3 输出最终结果  48
  3.5 本章总结  48-49
第四章基于物化视图的查询优化技术  49-77
  4.1 基于物化视图优化的整体组织结构  49
  4.2 物化视图的组织形式  49-54
    4.2.1 物化视图与用户模式  49-51
    4.2.2 物化视图的存储组织  51-54
  4.3 物化视图选择方法研究  54-58
    4.3.1 物化视图选择考虑的因素  54-55
    4.3.2 物化视图静态选择方法  55
    4.3.3 物化视图动态选择算法  55-58
  4.4 基于物化视图的匹配策略  58-71
    4.4.1 物化视图三种匹配形态  58-59
    4.4.2 单一物化视图匹配  59-63
    4.4.3 视图组匹配算法  63-71
  4.5 物化视图的维护  71-73
    4.5.1 视图信息维护和物化信息维护  71-72
    4.5.2 映射信息更改响应维护  72
    4.5.3 用户模式更改响应维护  72-73
  4.6 测试与实例  73-76
  4.7 本章小结  76-77
第五章分布式异构数据库集成查询工具原型系统  77-87
  5.1 开发平台与工具  77
  5.2 VOscherV1.0 介绍  77-81
    5.2.1 用户模式的建立  77-78
    5.2.2 模式映射的建立  78-79
    5.2.3 执行用户查询  79-80
    5.2.4 物化视图优化实现  80-81
  5.3 系统功能测试  81-85
    5.3.1 实例查询测试  81-84
    5.3.2 基于物化视图的优化性能分析  84-85
  5.4 本章小结  85-87
第六章结束语  87-88
  6.1 工作总结  87
  6.2 前景展望  87-88
致谢  88-89
参考文献  89-92
作者在学期间取得的学术成果  92

相似论文

海量多数据库集成系统的查询处理研究,TP311.13
海量多数据库集成系统的Mediator和Wrapper机制的设计与实现,TP311.13
医疗信息集成平台中HL7消息解析和存储的设计与实现,TP311.52
医疗信息集成平台中DICOM中间件及访问控制模型的设计与实现,TP311.13
A公司信息化管理优化研究,TP315
基于Web挖掘技术研究及其在数字图书馆中的应用,G250.76
高校信息集成平台的设计与实现,TP311.52
多核环境下内存数据库查询优化的研究,TP311.13
达梦嵌入式数据库的执行计划缓存研究,TP311.13
基于服务总线的模具企业信息集成系统,TP311.52
面向非结构化数据查询优化的存储系统,TP333
达梦嵌入式数据库子查询的实现和扁平化,TP311.13
RFID复杂事件实时查询处理及其优化策略,TP391.44
基于社交网络好友关系的图查询算法研究与应用,TP391.3
基于ArcGIS图元的军事标图技术研究,TP311.52
汽车产业链配套企业的协同管理模式及信息集成研究,F270.7
面向半导体制造过程中的缺陷数据集成与分析,TN305
多格式海量数据统一存取的效率优化,TP311.13
海量数据存储与全文检索,TP333
车用双层卷焊管制造技术研究,TG457.6
SGMW青岛分公司制造执行系统的研究与应用,F426.471