学位论文 > 优秀研究生学位论文题录展示

列数据库中间结果管理和数据访问技术的研究

作　者: 赖路双
导　师: 陈虎; 荣霓
学　校: 华南理工大学
专　业: 软件工程
关键词: 列数据库查询内存管理中间结果重用
分类号: TP311.13
类　型: 硕士论文
年　份: 2013年
下　载: 5次
引　用: 0次
阅　读: 论文下载

内容摘要

随着社会信息化的不断发展，人们的交流方式逐渐从开始的当面交流向使用工具交流转变，如QQ、微信等；从而使得网络数据每天有上PB级甚至是几PB级的数据量的增加，导致大部分企业的现有数据库都很难有效存储、处理每天产生的网络数据，再加上企业各自每天对网络数据的分析产生的冗余信息，导致企业数据库崩溃就在所难免了。另外，由于数据格式的多样性，如单纯的网页信息、音频信息、视频信息等各种格式数据，这也是现有数据比较棘手的问题；所以，理所当然的，数据的快速的存储和有效查询等操作成为当今整个互联网的主题，而作为数据存储曾经的优良介质----数据库，就成为各大企业关注的焦点；各种对应解决方案版本的数据库也就应运而生，如现在的文件数据库，MonetDB、NoSQL等；本论文研究是基于《异构列数据库查询系统》项目进行的技术研究的；此项目主要原理是把查询语句分解成对应的原语依赖树，然后利用GPU的高度并行的特性，对原语操作进行加速；再结合CPU，把GPU计算结果进行合并，形成最终的查询结果；这种数据库主要针对的情况是在对大数据量操作时，由于物理内存空间大小的有限，而需要操作的数据量又远超过内存空间大小，并且查询操作频繁，导致内存跟硬盘的数据交换相当频繁；而由于硬盘的读写速度远远落后于内存的读写速度这种现象，提出了一种方法来减少内存和硬盘之间的交互操作，提高查询速度，即在物理层面上，对内存的分配和回收机制进行了限制，从而达到快速分配和回收内存的目的。在软件层面上，分析各个查询之间的关系，分析其中内在联系，从而达到有效使用计算过的查询来服务于当前查询，加速当前查询的速度，提高数据库的整体性能。从各项测试结果可以看出，有效的文件读取方法，能明显提高文件读取速度；而通过本文的内存管理技术，使得内存的分配和回收速度有极大提高，并且内存的利用率稳定在一个客观的百分比上；同样，通过使用中间结果重用管理技术，中间结果的重复引用的次数明显增加，极大地减少了数据库的计算负载，从而有效加速了数据库的查询速度。

全文目录

摘要  5-6
Abstract  6-10
第一章绪论  10-16
  1.1 选题目的及意义  10-11
  1.2 论文研究内容和组织结构  11-12
  1.3 MonetDB 内存管理简介  12-14
  1.4 国内外相关研究情况  14-16
第二章中间结果管理子系统  16-30
  2.1 系统总体框架  17-18
  2.2 中间结果子系统的总体结构  18-19
  2.3 中间结果管理的数据结构  19-22
  2.4 中间结果的可用性判定  22-24
  2.5 中间结果的选择  24-26
  2.6 中间结果之间的操作  26-28
  2.7 中间结果的使用  28-29
  2.8 本章总结  29-30
第三章中间结果缓冲的内存管理  30-39
  3.1 伙伴算法简介  30-31
  3.2 内存管理的数据结构  31-32
  3.3 内存的分配  32-34
  3.4 内存的回收  34-38
  3.5 本章总结  38-39
第四章列数据库的数据文件访问  39-44
  4.1 列数据文件的读取  39
  4.2 排序数据文件与索引的文件结构和内存结构  39-41
  4.3 排序索引文件的生成  41-42
  4.4 使用索引优化查询依赖图  42-43
  4.5 本章总结  43-44
第五章系统测试结果  44-50
  5.1 中间结果替换测试  44-45
  5.2 内存管理测试  45-46
  5.3 列数据库数据文件读取测试  46-49
  5.4 本章总结  49-50
总结及展望  50-51
参考文献  51-53
致谢  53-54
附件  54

列数据库中间结果管理和数据访问技术的研究

内容摘要

全文目录

相似论文