学位论文 > 优秀研究生学位论文题录展示

高速数据网络中实时流量监测相关技术研究

作　者: 元张毅
导　师: 马严
学　校: 北京邮电大学
专　业: 计算机应用技术
关键词: 高速网络实时监测流数据库键值对
分类号: TP311.13
类　型: 硕士论文
年　份: 2011年
下　载: 20次
引　用: 0次
阅　读: 论文下载

内容摘要

在高速网络中,网络流量呈现数量巨大、突发性强、特征异构以及动态多样等特征,而基于传统数据库的流量监测系统通常具有有限的响应速度,因此,很难将其直接应用于高速网络中。本文对高速流量的实时监测相关技术进行了深入研究。为了满足其持续查询和统计监测两类需求,对高速流量及相关存储技术进行了分析和调研,在保持现有传统数据库的易用性的情况下,结合流数据库的特性,寻求一种新的实时监测高速流量的方案。在比较各类典型的数据库之后,本文深入研究了MySQL的内存型数据引擎Heap,并根据其特性将其作为流数据库,应用于高速网络之中存储高速实时流量信息,从而能够满足短时间内大规模流量信息持续查询的监测需求。另外,本文基于MySQL的框架自行设计并开发了一种新的Key-Value(键值对)型存储引擎,能够高效地存储和查询键值对信息,并将其应用于一个IP到地点转换的实例之中。在将此存储引擎进一步改进,加入极值及数量统计的功能后,可将此存储引擎用于高速网络的实时监测中,满足超大规模流量信息的统计监测的需求。本文提出了一种新的融合多种存储方式、满足高速流量实时监测的方法,具有一定的研究和工程意义。该技术也可为研究者在传统数据库与流数据库融合和过渡方面抛砖引玉。

全文目录

摘要  4-5
ABSTRACT  5-8
第一章绪论  8-12
  1.1 引言  8
  1.2 课题研究背景及意义  8-10
    1.2.1 实时流量监测简介  8-9
    1.2.2 流数据库简介  9-10
    1.2.3 Key-Value存储简介  10
  1.3 课题研究的重点及创新点  10-11
  1.4 本文的组织结构  11-12
第二章高速实时流的分析研究  12-18
  2.1 相关工作  12
  2.2 流的分析  12-14
    2.2.1 流的定义  12-13
    2.2.2 流的特性  13
    2.2.3 监测需求  13-14
  2.3 流的存储  14-18
    2.3.1 数据量预估  14-15
    2.3.2 流存储调研  15-18
第三章高速实时流的持续查询  18-31
  3.1 传统数据库和流数据库  18-19
  3.2 数据库调研  19-23
    3.2.1 TelegraphCQ  19-20
    3.2.2 Borealis  20
    3.2.3 MySQL  20-21
    3.2.4 小结  21-23
  3.3 Heap存储引擎的研究  23-26
    3.3.1 总体架构  23
    3.3.2 自增长数据结构  23-24
    3.3.3 自动增长缩减结构  24-26
    3.3.4 小结  26
  3.4 Heap的流量持续查询  26-31
    3.4.1 Heap的环境搭建  26-27
    3.4.2 Heap的应用策略  27-28
    3.4.3 Heap的应用实现  28-31
第四章高速实时流的统计监测  31-46
  4.1 Key-Value数据库  31-33
    4.1.1 原理介绍  31
    4.1.2 与关系型数据库的对比  31-32
    4.1.3 与关系型数据库的结合  32-33
  4.2 Key-Value存储引擎的设计  33-36
    4.2.1 Key-Value的设计原则  33
    4.2.2 存储引擎的体系结构  33-35
    4.2.3 存储引擎的基本流程  35
    4.2.4 Key-Value引擎的算法  35-36
  4.3 Key-Value存储引擎的实现  36-39
    4.3.1 Insert的实现  37-38
    4.3.2 Select的实现  38
    4.3.3 Where的实现  38-39
    4.3.4 Delete/Update的实现  39
  4.4 Key-Value存储引擎的改进  39-41
    4.4.1 加强总数统计  40
    4.4.2 引入极值统计  40-41
  4.5 实例:IP地点查询服务  41-44
  4.6 Key-Value存储引擎的应用前景  44-46
第五章相关实验与结果分析  46-48
  5.1 Heap表相关实验  46-47
    5.1.1 结论验证  46-47
    5.1.2 性能测试  47
  5.2 Key-Value引擎相关实验  47-48
第六章总结与展望  48-50
  6.1 工作总结  48-49
  6.2 未来展望  49-50
参考文献  50-52
致谢  52-53
攻读硕士期间论文发表情况  53

高速数据网络中实时流量监测相关技术研究

内容摘要

全文目录

相似论文