学位论文 > 优秀研究生学位论文题录展示

网络流量的离线分析

作　者: 林平
导　师: 雷振明
学　校: 北京邮电大学
专　业: 信号与信息处理
关键词: 流量监测流量分类流统计特征深度报文检测深度流检测
分类号: TN915.06
类　型: 博士论文
年　份: 2010年
下　载: 389次
引　用: 6次
阅　读: 论文下载

内容摘要

网络流量分析分类技术,是网络运营商实现网络流量监测,进而有效管理网络的重要手段。目前,网络带宽资源被P2P业务大量占用,使运营商的基础网络建设陷入了“拥塞-扩容-再拥塞”的非正常局面,盈利能力相应降低,且运营商的服务质量也出现了问题,网络安全问题层出不穷。解决以上问题需要运营商在识别网络业务的基础上,针对用户不同的业务质量要求,提供差异化的服务质量保证,并抑制病毒等异常流量,以实现运营商利益最大化。因此,深度感知网络应用,提供网络业务控制和管理手段,构建可管理的和谐网络,已经成为网络运营商目前亟需研究的一个热门课题。本文致力于网络流量分类技术及分析分类系统的研究,主要研究内容和创新点如下：离线网络流量分析分类系统的设计与实现：分析网络流量特征并进行业务识别,首先需要一个分析工具。现有的网络流量测量工具很多,却没有专门的系统能够对大数据量网络镜像报文进行网络业务流量特征的分析及不同分类方法分类性能的评估。因此,本文设计并实现了一个离线网络流量分析分类系统,能够对大数据量网络镜像报文进行离线分析。该系统侧重于分析网络业务的流统计特征及其流量分布规律,并以直观的图形界面进行展现,使用户能够获得对网络业务的特征模式的直观的认识。此外,该系统还提供了多种分类方法,特别是基于流统计特征的分类方法,可以作为基于流统计特征分类的实验平台,并可以测量不同分类方法对不同网络业务的分类性能,以及评估不同网络流量分类方法在不同网络环境下的适用性。该系统为后续的网络流量分析与分类实验提供了良好的实验平台。基于流统计特征的网络流量分类方法的研究：已有网络流量分类方法大都是将单个流特征或流的社会特征分别用于分类,本文将单个流特征和流的社会特征进行了有机的结合,在我们设计并实现的离线网络流量分析分类系统基础上,通过对网络业务特征的分析,提出了一组易于提取、具有线性可分的流统计特征,采用多项逻辑斯谛回归算法即可实现网络流量分类。该分类方法较传统流量分类算法有较低的复杂度,同时可以有效解决以往对等网络(P2P)业务识别率较低的问题。此外,本文还针对现有分类算法对训练数据的质量比较敏感,仅在训练数据中的业务标识完全正确的前提下才能发挥较好的性能,而当训练数据标识中存在相当比例错误时,分类性能将急剧降低的问题,首次提出了一种基于自适应层次聚类的多变量的决策树分类算法。实验结果表明,较现有的分类算法,该算法能在不影响准确率的情况下可以显著提高分类召回率,并能有效识别训练数据中通过协议指纹无法识别的流量。本章的实验平台即利用的是第三章设计并实现的离线网络流量分析分类系统。在线多策略流量分类方法的研究与系统改进：虽然业界已对在线的基于流统计特征的网络流量分类方法进行了大量研究,但普遍存在前提条件苛刻、针对业务种类较为简单、对所有网络流进行分类使得分类效率不高等问题。本文利用第三章设计并实现的分析分类系统,在基于对协议指纹分布规律、长短流分布规律、网络业务的协议分布及常用端口的业务分布等网络流量分布规律分析的基础上,首次提出了能综合考虑多种因素的在线多策略流量分类方法。该方法不仅能在线分类,而且由于对不同的流采用了不同的识别策略,与现有在线流量分类方法及前一章提出的分类方法相比,能大幅提高现有分类方法的效率和分类及时性,并能较好地节省系统资源开销。此外,本文还利用提出的在线多策略流量分类方法对所设计并实现的离线分析分类系统进行了改进,并就基于不完全流特征对UDP长流进行分类的性能进行了分析。

全文目录

摘要  4-6
ABSTRACT  6-12
第一章绪论  12-22
  1.1 互联网的发展现状  12-15
    1.1.1 互联网的规模  12-13
    1.1.2 互联网业务  13-14
    1.1.3 互联网的带宽资源  14-15
    1.1.4 互联网的安全问题  15
  1.2 网络流量监测的意义  15-17
  1.3 网络流量分析面临的问题  17-18
  1.4 论文研究内容和创新点  18-20
  1.5 论文结构  20-22
第二章网络流量分类技术  22-37
  2.1 网络流量分类方法  22-35
    2.1.1 基于端口的流量分类方法  22-23
    2.1.2 基于报文载荷关键字的流量分类方法  23-26
    2.1.3 基于协议解析的流量分类方法  26-27
    2.1.4 基于流统计特征的流量分类方法  27-32
    2.1.5 基于多种分类方法组合的流量分类方法  32-33
    2.1.6 网络流量分类方法总结  33-35
  2.2 网络流量分类性能指标  35-37
    2.2.1 准确率  35-36
    2.2.2 精细度  36
    2.2.3 加密报文和私有协议识别能力  36
    2.2.4 维护成本  36-37
第三章离线网络流量分析分类系统的设计与实现  37-58
  3.1 概述  37-38
  3.2 相关研究  38-40
  3.3 离线网络流量分析分类系统的设计与实现  40-55
    3.3.1 系统设计初衷  40
    3.3.2 系统架构和环境设置  40-41
    3.3.3 监测系统的设计和实现  41-48
      3.3.3.1 报文处理模块(PktProcessor)  43
      3.3.3.2 网络流量分析模块(FlowAnalyser)  43-44
      3.3.3.3 轮询模块(Poll)  44
      3.3.3.4 网络流量分类模块(FlowClassifier)  44-46
      3.3.3.5 写文件模块(FileWriter)  46-47
      3.3.3.6 报文过滤存储模块(Filter和saveCap模块)  47
      3.3.3.7 其他模块  47
      3.3.3.8 下一步工作  47-48
    3.3.4 基于B/S结构的Web分析系统的设计和实现  48-55
      3.3.4.1 基本框架  48
      3.3.4.2 系统功能  48-55
      3.3.4.3 下一步工作  55
  3.4 功能验证  55-56
  3.5 本章小结  56-58
第四章基于流统计特征的网络流量分类方法  58-80
  4.1 概述  58-59
  4.2 基于流统计特征的低复杂度的网络流量分类方法  59-67
    4.2.1 引言  59
    4.2.2 网络镜像数据说明  59-60
    4.2.3 特征分析  60-64
    4.2.4 多项逻辑斯谛回归算法  64-65
    4.2.5 实验结果  65-67
    4.2.6 小结  67
  4.3 提高网络流量分类方法的召回率的研究  67-78
    4.3.1 引言  67-69
    4.3.2 相关研究  69-70
    4.3.3 基于自适应层次聚类的多变量决策树网络流量分类方法  70-75
      4.3.3.1 混有两种未知流的训练数据对现有分类器的影响  70-71
      4.3.3.2 自适应多层次聚类  71-72
      4.3.3.3 自适应终止条件  72-74
      4.3.3.4 多变量判决树生成  74-75
    4.3.4 实验  75-78
    4.3.5 小结  78
  4.4 本章小结  78-80
第五章在线多策略流量分类方法的研究与系统改进  80-112
  5.1 概述  80-81
  5.2 网络镜像报文描述  81-82
  5.3 网络流量分布规律  82-97
    5.3.1 网络业务类型划分  82
    5.3.2 网络业务的流量分布  82-84
    5.3.3 网络业务的协议分布  84-86
    5.3.4 标准端口的网络业务分布  86-88
    5.3.5 网络中的长短流分布  88-94
    5.3.6 网络业务的协议指纹出现位置分析  94-96
    5.3.7 小结  96-97
  5.4 TACS系统的改进—在线多策略网络流量分类体系  97-100
  5.5 UDP长流分类器的设计  100-109
    5.5.1 实验数据说明  100-101
    5.5.2 流统计特征属性  101-106
      5.5.2.1 初始流统计特征  101-102
      5.5.2.2 属性选择算法  102-103
      5.5.2.3 筛选出的流统计特征  103-104
      5.5.2.4 UDP流统计特征分析  104-106
    5.5.3 分类结果  106-109
  5.6 其它相关结论  109
  5.7 下一步工作  109-110
  5.8 本章小结  110-112
结束语:总结与展望  112-114
参考文献  114-124
附录:缩写词说明  124-125
致谢  125-126
攻读学位期间发表的学术论文目录  126

网络流量的离线分析

内容摘要

全文目录

相似论文