学位论文 > 优秀研究生学位论文题录展示

演化数据流的异常检测研究

作　者: 胡雪艳
导　师: 高春鸣
学　校: 湖南师范大学
专　业: 计算数学
关键词: 演化数据流异常检测 SR树局部异常因子张量分解核密度估计
分类号: TP311.13
类　型: 硕士论文
年　份: 2009年
下　载: 99次
引　用: 2次
阅　读: 论文下载

内容摘要

随着计算机与网络通信技术的飞速发展和应用领域的不断扩大,在传感器网络管理、金融风险分析、互联网流量管理和网络入侵检测等诸多领域里,处理的数据不再是有限存储的数据集合,而是短时间内大量到达,随时间动态变化的演化数据流。传统的数据库技术无法使用有限空间来快速处理这种海量、高速的数据流从而获取实时的有用信息。如何对这些场景中大量的数据流实时准确地进行异常检测以达到相关的应用需求已成为当前数据流挖掘的研究热点。由于演化数据流具有快速到达只能一次遍历的特征,数据流异常检测的最大挑战在于如何快速捕获数据流的实时变化并及时响应,从而得到近似的检测结果。本文综述了目前国内外关于数据流异常检测的研究成果;在分析现有研究成果的基础上,针对数据流的不同应用场景,分别提出了解决方法。针对中低维的集中式数据流,采用LOF算法和SR树索引结构结合的方法设计了SR IncLOF算法,特别针对高维的集中式数据流场景,提出了基于张量分解的异常检测算法;对于分布式数据流场景,构建了一个分布式的数据流异常检测模型,设计了结合核密度和微簇树数据结构的异常检测算法。通过不同类型数据集的实验验证了本文算法的异常检测性能相比其他同类算法都有较大的提高。本文的研究内容包括以下几个方面:针对基于密度的LOF算法所存在的不足进行改进,提出一种结合SR索引树的异常检测优化算法SR IncLOF算法,能够解决集中式的低中维数据流异常检测问题。该算法通过SR索引树来快速查找每个数据点的KNN集和KRNN集,采用局部异常因子LOF刻画异常程度,不但能够快速地增量更新,有效地解决了数据流的快速演化和一次遍历等问题,而且复杂度较低,支持实时要求非常高的数据流异常检测。针对高维的集中式数据流异常检测问题,分析了基于张量分解的高维索引技术,提出了基于张量分解的异常检测算法。该算法以张量的视角来模拟演化数据流,对此进行张量分解,基于张量分析来近似数据流的分布,并且通过自适应采样能得到关于数据流的最佳近似矩阵,易于实施。针对分布式数据流场景,提出基于核密度的分布式异常检测技术,提出了两种新的异常点定义,分别对应于基于距离和基于密度的异常分布。针对此问题提出两种有效的算法,第一个算法基于核密度估计技术来快速近似的获取数据流的分布,同时采取指数衰减技术解决数据流的时间演化;第二个算法结合微簇(micro-cluster)技术处理数据的划分问题。综上所述,本文针对演化数据流的不同应用场景,分别提出了不同的解决方案,通过理论分析和模拟数据集的实验表明,本文提出的算法具有较高的精度和反馈率,并且时间复杂度和空间复杂度较低,更加适用于演化数据流场景。

全文目录

中文摘要  3-5
英文摘要  5-9
1.绪论  9-17
  1.1 引言  9
  1.2 课题研究背景及意义  9-12
  1.3 研究框架与创新点  12-15
  1.4 论文组织结构  15-17
2.数据流异常检测相关技术和问题  17-27
  2.1 国内外研究现状  17-19
  2.2 有关定义  19-21
  2.3 数据流异常检测中的关键技术  21-23
  2.4 已有的数据流异常检测算法  23-26
  2.5 本章小结  26-27
3.基于 SR_IncLOF 索引树的增量异常检测  27-45
  3.1 引言  27-28
  3.2 SR_IncLOF 的基本原理  28-32
  3.3 SR_IncLOF 算法  32-38
  3.4 算法分析  38-42
  3.5 实验结果  42-43
  3.6 本章小结  43-45
4.基于张量分解的异常检测  45-55
  4.1.引言  45
  4.2 问题描述及相关定义  45-49
  4.3 算法框架  49-51
  4.4 WSTA 算法  51-52
  4.5 性能分析  52-54
  4.6 本章小结  54-55
5.基于核密度估计的分布式异常检测  55-69
  5.1 引言  55-56
  5.2 问题的形式化描述和相关定义  56-59
  5.3 Naive 异常检测算法  59-62
  5.4 基于微簇的异常点检测算法  62-64
  5.5 实验结果与分析  64-67
  5.6 本章小结  67-69
6.结语  69-71
  6.1 总结  69-70
  6.2 展望  70-71
参考文献  71-79
攻读硕士学位期间发表的学术论文  79-81
致谢  81-82

演化数据流的异常检测研究

内容摘要

全文目录

相似论文