学位论文 > 优秀研究生学位论文题录展示

大规模通信网络流量异常检测与优化关键技术研究

作 者: 郑黎明
导 师: 邹鹏
学 校: 国防科学技术大学
专 业: 计算机科学与技术
关键词: 网络安全 流量异常检测 优化  支持向量机 概要数据结构 关联分析 在线学习
分类号: TP393.06
类 型: 博士论文
年 份: 2012年
下 载: 110次
引 用: 0次
阅 读: 论文下载
 

内容摘要


随着网络通信技术的迅速发展、互联网应用的持续深化、所承载信息的日益丰富,互联网已经成为人类社会重要的基础设施。但网络中配置错误、DDoS攻击、蠕虫爆发、突发访问等事件时有发生,互联网面临着严峻的安全挑战。异常检测因为能检测未知攻击而被学术界和工业界人士所重视,研究者提出了大量异常检测方法和系统,但是随着网络带宽的持续增长和网络攻防博弈的持续进行,网络本身处于动态演化的过程,网络攻击手段和方法也在不断演化,导致异常检测系统在检测精度、运行效率、安全性和易用性方面都面临着严峻挑战。如异常检测系统泛化能力差和网络流量的动态性、突发性和漂移性导致检测精度较差;基于特征签名的入侵检测系统不能适应网络带宽的高速增长;各类异常检测系统容易被攻击者绕过;异常检测系统训练数据难于获取等。因此在大规模通信网络环境下,综合考虑多方面要素,提出具有高检测精度和高运行效率的异常检测方法,并优化已有检测算法具有十分重要的意义,也是全球网络安全领域学术界和工业界共同关注的前沿性科学问题。本文首先分析了已有各类流量异常检测方法,重点分析了异常检测系统在检测精度、运行效率、安全性和易用性方面的不足,针对这些不足,结合了聚类、关联分析、数据流、信息论、在线学习等技术,从不同应用场景出发提出了两种异常检测方法,并针对已有异常检测系统提出了一系列优化策略,所取得的主要研究成果如下:1、提出了一种基于多维序列分类的骨干网上异常检测方法。在已有的研究中基于熵的检测方法因具有较高的检测精度而被研究者广泛采用,但是熵值的计算算法时间和空间复杂度较高,熵序列各时间点之间以及多维熵序列之间的相关性被研究者所忽视。研究发现,网络攻击在某些维度上通常聚集在固定的特征值上,在另外一些维度上则在取值空间上均匀散布,而且网络流量本身在各个维度上呈现Power-Law分布特性,很容易把网络流区分为大流量和小流量,基于上述分析提出了高效的多维熵值估算算法。各个维度上的熵序列存在较强的相关性,为了提高检测精度采用OCSVM对多维熵序列进行分类,同时利用不同时刻的多维熵序列构成的检测向量之间的连续变化趋势优化检测精度。在真实的骨干网流量数据集上,从运行效率和检测精度两方面进行实验,验证了所提方法相比传统的熵检测方法运行效率更高,检测效果更好。2、提出了一种基于Filter-ary-Sketch的流量异常检测与过滤方法。通常的异常检测系统只能在异常发生时发去告警,但是网络管理者在没有详细异常信息的情况下无法对异常告警做出反应,不能迅速采取有效的方法抑制该异常带来的影响。同时,基于特征分布的检测方法虽然具有较高的检测精度,但是其存在安全缺陷,网络攻击者可以构建特殊的攻击绕过该类检测系统。研究发现,可以把网络流量看作数据流,在该流量数据流上构建Hash概要数据结构,获取流量在各个维度上的Hash直方图,在Hash直方图上采用OCSVM进行分类来检测异常。该方法既能规避基于熵的检测方法存在的安全缺陷,又能有效提高检测精度,最关键的是它能够在异常发生后,按照Hash直方图中保存的流量概要信息,采用相对熵定位导致分布差异的异常桶,在此基础上提出了恶意数据包过滤算法。通过骨干网上真实流量数据从运行效率、检测精度和过滤算法三个方面进行了对比实验,验证了所提算法在时间和空间复杂度上虽然比传统算法高,但是只要合理控制参数依然能够达到满意的效率;在检测精度上同样能够达到基于熵的方法类似的精度;特别是所提方法能够高效地过滤恶意数据包。3、提出了一种基于检测统计量相关性分析的检测精度优化方法。已有多种异常检测方法,不同的检测方法采用了不同的特征统计量,特征统计量不同时刻的取值之间、同一时刻不同特征统计量之间都存在相关性。本文首先分析了同一统计量时间上的相关性,正常情况下可以把特征统计量看作随机过程,采用支持向量回归模型对该统计量进行预测,而且异常发生时该随机过程在连续多个时间窗口都会出现类似的偏差。随后分析了不同统计量之间存在的相关性,无论是在正常情况下还是在异常发生时各统计量都或多或少呈现出相关性,且各个检测统计量对异常的检测能力存在较大差异。在上述分析的基础上,提出了多窗口关联检测算法,利用时间上的相关性提高单个检测系统的精度;提出了多测度关联检测算法,利用各统计量之间的相关性提高整个系统的检测精度。通过骨干网上真实流量数据,选取了几类典型的检测方法,验证了所提方法能够有效提高整个系统的检测精度。4、提出了流量异常检测中分类器的提取与训练方法。基于分类或聚类的方法是流量异常检测中很重要的一类方法,但是网络流量本身具有漂移特性,网络攻击手段和方法也在不断演化,异常检测模型也需要不断更新,这样才能一直精确的刻画网络的正常模式。但是流量异常检测中分类器的提取与训练方法却往往被研究者所忽视。本文综合考虑多个不同评价标准,对比分析了分类向量的构建和分类器的选择问题,提出了采用Hash直方图构建分类向量,采用OCSVM作为分类器能够达到较好的运行效率、较高的检测精度并能够规避其他方法存在的安全缺陷。随后提出了自适应的在线分类器训练方法,为了进一步提高检测精度和运行效率,借鉴上一章中的结论,提出了基于TRW的检测精度优化和新增样本选择算法。在真实的骨干网流量数据集上,从整个系统检测精度和训练算法两方面进行了对比实验,验证了所提算法能够有效提高整个系统的检测精度,通过在线训练算法后的分类器比普通分类器分类效率更好,训练成本更低。综上所述,本文研究工作针对大规模通信网络流量异常检测中存在的检测精度、运行效率、安全性和易用性方面存在的问题,围绕异常检测及其优化问题涉及的若干个关键技术展开研究。本文对于促进该问题的理论研究和实用化具有一定的理论和应用价值。

全文目录


摘要  10-13
Abstract  13-16
第一章 绪论  16-50
  1.1 研究背景  16-29
    1.1.1 需求背景  16-20
    1.1.2 问题提出  20-29
  1.2 相关研究工作  29-43
    1.2.1 流量异常检测  30-38
    1.2.2 检测精度优化研究  38-41
    1.2.3 异常检测系统评估指标  41-43
  1.3 本文研究工作  43-48
    1.3.1 主要研究工作  44-47
    1.3.2 主要创新点  47-48
  1.4 论文结构  48-50
第二章 基于多维序列分类的骨干网异常检测  50-78
  2.1 问题提出  50-53
  2.2 相关研究  53-58
    2.2.1 基于熵的异常检测  53-56
    2.2.2 基于多时间序列分类的异常检测  56-57
    2.2.3 数据流上熵值估算  57-58
  2.3 多维熵序列分类检测算法  58-64
    2.3.1 多维熵值估算算法  59-61
    2.3.2 多维分类检测  61-63
    2.3.3 检测精度优化研究  63-64
  2.4 实验与结果分析  64-75
    2.4.1 熵值估算算法实验  65-68
    2.4.2 多维分类检测验证实验  68-69
    2.4.3 精度对比实验  69-73
    2.4.4 讨论  73-75
  2.5 本章小结  75-78
第三章 基于 Filter-ary-Sketch 的流量异常检测与过滤  78-98
  3.1 问题提出  78-82
  3.2 相关研究  82-84
    3.2.1 概要数据结构  82-84
    3.2.2 相对熵测度  84
  3.3 数据结构与算法  84-89
    3.3.1 Filter-ary-Sketch 数据结构  85-86
    3.3.2 基于 Filter-ary-Sketch 的异常检测算法  86-88
    3.3.3 恶意流量过滤算法  88-89
  3.4 实验与结果分析  89-96
    3.4.1 实验数据  89-90
    3.4.2 检测算法精度实验  90-93
    3.4.3 恶意流量过滤实验  93-95
    3.4.4 效率分析  95-96
  3.5 本章小结  96-98
第四章 基于检测统计量相关性分析的精度优化研究  98-118
  4.1 问题提出  98-102
  4.2 检测统计量相关性分析  102-106
    4.2.1 自适应残差构建  102-104
    4.2.2 趋势相关性分析  104
    4.2.3 多统计量相关性分析  104-106
  4.3 系统结构与算法  106-111
    4.3.1 系统结构  106
    4.3.2 多窗口关联检测算法  106-109
    4.3.3 多统计量关联检测算法  109-111
  4.4 实验与结果分析  111-116
    4.4.1 实验设计  111-112
    4.4.2 多窗口关联检测算法验证  112-113
    4.4.3 精度对比实验  113-116
  4.5 本章小结  116-118
第五章 流量异常检测中分类器的提取与训练方法研究  118-132
  5.1 问题提出  118-120
  5.2 分类器的选择与使用分析  120-122
    5.2.1 分类向量的构建  120-121
    5.2.2 分类器的选择  121-122
  5.3 增减式在线训练算法  122-123
  5.4 基于 TRW 的精度优化与样本选择算法  123-125
  5.5 实验与结果分析  125-131
    5.5.1 实验数据  125
    5.5.2 实验设计  125-126
    5.5.3 检测精度对比实验  126-129
    5.5.4 在线训练算法验证实验  129-131
  5.6 本章小结  131-132
第六章 结论与展望  132-135
  6.1 总结  132-133
  6.2 研究展望  133-135
致谢  135-137
参考文献  137-151
作者在学期间取得的学术成果  151-153
攻读博士学位期间参加的科研项目  153

相似论文

  1. 基于SVM的常压塔石脑油干点软测量建模研究,TE622.1
  2. 超声波钎焊填缝及钎缝优化工艺研究,TG454
  3. 曲拉精制干酪素褐变因素及工艺优化研究,TS252.5
  4. 压气机优化平台建立与跨音速压气机气动优化设计,TH45
  5. 常温低温组合密封结构的有限元分析与优化设计,TH136
  6. 涡轮S2流面正问题气动优化设计研究,V235.11
  7. 基于SVM的高速公路路面浅层病害的自动检测算法研究,U418.6
  8. 基于蚁群算法的电梯群优化控制研究,TU857
  9. 偏振条件下辐射能和熵传输的数值模拟,TK124
  10. 基于PCA-SVM的液体火箭发动机试验台故障诊断算法研究,V433.9
  11. 流动与混合过程中不可逆损失的研究,TK12
  12. 中心回燃式燃烧室燃烧特性研究,TK223.21
  13. 内置式高效永磁同步电机的设计研究,TM341
  14. 内点法在大型电力系统无功优化中的应用研究,TM714.3
  15. 轴向磁通感应子式高温超导电机的基础研究,TM37
  16. 基于信息熵的课堂观察量化评价模型研究,G632.4
  17. AVS视频解码器在PC平台上的优化及场解码的改善,TN919.81
  18. 多重ANN/HMM混合模型在语音识别中的应用,TN912.34
  19. AES算法及其DSP实现,TN918.1
  20. 多层卫星网络稳定性设计研究,TN927.23
  21. 空间目标ISAR成像仿真及基于ISAR像的目标识别,TN957.52

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 计算机网络 > 一般性问题 > 计算机网络测试、运行
© 2012 www.xueweilunwen.com