学位论文 > 优秀研究生学位论文题录展示

网络安全OLAP分析中查询优化技术的设计与实现

作　者: 刘延庆
导　师: 韩伟红
学　校: 国防科学技术大学
专　业: 计算机科学与技术
关键词: OLAP 数据流混合数据查询系统查询优化网络安全态势感知
分类号: TP393.08
类　型: 硕士论文
年　份: 2009年
下　载: 34次
引　用: 1次
阅　读: 论文下载

内容摘要

随着互联网在世界范围内的迅猛发展,各种入侵和攻击行为越来越频繁,正向着组织化、规模化的趋势发展。因此迫切需要对网络安全状态进行实时监测,并在海量的安全数据中发现潜在的变化趋势,进而对大规模网络的宏观安全态势进行把握。联机分析处理(OLAP)是对海量的网络安全数据进行查询和分析的关键技术之一。它可使分析人员能够通过快速的、一致的和交互式的访问来获取并理解各种可能的信息视图。当前,OLAP技术越来越多地应用于各类实时监控系统。通过对网络安全实时数据的OLAP分析,分析人员能够对当前网络态势进行准确的把握。由于OLAP常常用于海量数据和实时数据的分析,如何提高OLAP查询和分析效率成为研究的关键。因此,在存储空间、计算机处理能力有限的条件下,如何对海量安全数据、实时数据进行查询优化是本文工作的核心。本文的主要工作概述如下:1.基于网络安全态势的感知、监控和分析对实时性的需求,本文在Mondrian多维分析引擎的基础上加入实时数据分析功能,设计了一种新的混合数据查询系统。它支持海量历史数据查询、实时数据查询、以及既包含实时数据又包含历史数据的查询。2.由于维度的概念分层,细粒度的物化视图通常可进一步聚集得到粗粒度的物化视图。本文设计了基于物化视图间聚集关系的查询优化技术,通过物化视图与维表响应用户查询,提高查询效率。3.针对实时数据,本文设计了分块聚集增量查询技术。混合数据查询系统对上一次查询结果进行缓存,当新数据到达时通过对缓存结果增量更新来响应用户查询,无需重新进行聚集操作。4.将以上优化技术应用到网络安全数据的多维分析中并加以实现,对海量安全数据及实时安全数据的查询效率都有一定的提高。

全文目录

摘要  9-10
ABSTRACT  10-11
第一章绪论  11-18
  1.1 研究背景  11-12
  1.2 研究现状  12-16
    1.2.1 数据仓库与联机分析处理技术  12-15
    1.2.2 OLAP 查询优化技术  15
    1.2.3 网络安全态势感知技术  15-16
  1.3 论文结构  16-18
第二章相关技术  18-32
  2.1 OLAP相关技术  18-23
    2.1.1 数据立方体  18-19
    2.1.2 OLAP基本操作  19-20
    2.1.3 OLAP系统分类  20-21
    2.1.4 OLAP实现方式  21-23
  2.2 查询优化相关技术  23-25
    2.2.1 索引技术  23
    2.2.2 数据分区技术  23-24
    2.2.3 物化视图技术  24-25
  2.3 多维数据查询语言MDX  25-27
    2.3.1 MDX中的重要概念  25-26
    2.3.2 MDX基本语法  26
    2.3.3 MDX与SQL的区别  26-27
  2.4 开源的OLAP引擎Mondrian  27-30
    2.4.1 系统结构  27-28
    2.4.2 用户接口  28-29
    2.4.3 查询系统  29-30
  2.5 本章小结  30-32
第三章 OLAP查询优化技术的设计  32-48
  3.1 混合数据查询系统结构及特点  32-35
    3.1.1 混合数据查询系统结构  32-34
    3.1.2 混合数据查询系统特点  34-35
  3.2 基于物化视图聚集关系的查询优化技术  35-40
    3.2.1 物化视图间的聚集关系  35-37
    3.2.2 基于物化视图间聚集关系的查询优化  37-39
    3.2.3 实验结果  39-40
  3.3 分块聚集滑动窗口的增量查询技术  40-44
    3.3.1 分块聚集滑动窗口  40-41
    3.3.2 分块聚集增量查询  41-44
    3.3.3 实验结果  44
  3.4 混合数据查询系统中大窗口查询  44-47
    3.4.1 大窗口连续查询  45-46
    3.4.2 大窗口一次查询  46
    3.4.3 实验结果  46-47
  3.5 本章小结  47-48
第四章原型实现  48-62
  4.1 YH-OLAP系统结构  48-51
    4.1.1 YH-OLAP体系结构  48-50
    4.1.2 YH-OLAP实现模块  50
    4.1.3 系统性能优化  50-51
  4.2 系统关键模块设计  51-58
    4.2.1 数据立方体定义  51-54
    4.2.2 连接初始化  54-55
    4.2.3 Schema文件初始化  55
    4.2.4 物化视图查询优化的实现  55-57
    4.2.5 增量查询优化的实现  57-58
  4.3 查询实例  58-61
    4.3.1 历史数据多维分析实例  58-60
    4.3.2 实时数据分析实例  60-61
  4.4 本章小结  61-62
第五章展望与总结  62-64
  5.1 本文总结  62
  5.2 下一步研究  62-64
致谢  64-65
参考文献  65-69
作者在学期间取得的学术成果  69

网络安全OLAP分析中查询优化技术的设计与实现

内容摘要

全文目录

相似论文