学位论文 > 优秀研究生学位论文题录展示

基于直方图和FP增长的离群点关联规则的挖掘

作　者: 李龙姣
导　师: 程国达
学　校: 南京财经大学
专　业: 计算机应用技术
关键词: 数据挖掘高维离群点 KNN距离直方图 FP增长离群点关联规则
分类号: TP311.13
类　型: 硕士论文
年　份: 2013年
下　载: 1次
引　用: 0次
阅　读: 论文下载

内容摘要

由于高维空间数据的稀疏性和维灾问题使得高维空间离群点的挖掘和分析始终是数据挖掘的难点之一，本文在现有高维空间离群点挖掘算法的基础上，提出了用数据直方图和FP增长(FrequentPattern-Growth)相结合的方法挖掘出现离群点的维之间的关联规则，从而能更好地认识离群点和解释离群点之间的关系。到目前为止，人们对高维离群点的挖掘提出了许多方法，比如数据约减、投影变换、特征选取等，但是在这些方法中也存在着各种不足和问题，其中不仅存在计算复杂度比较大问题，而且对离群点的产生机制、离群点之间的关系缺乏深入的研究，为此本文在这两方面做了些工作，针对上述问题提出了基于直方图和FP增长的离群点关联规则挖掘的方法。该方法首先计算每一维上数据点的KNN(K-NearestNeighbors)距离，形成直方图，利用直方图判断在该维上哪些点是全局离群点，哪些点是局部离群点和边缘离群点，从而降低计算复杂度，然后用FP增长算法挖掘满足一定支持度和置信度的频繁出现离群点的维之间的关联规则，用于解释离群点之间的关系。利用本文提出的方法对合成数据和现实数据进行了详细的分析，实验表明该方法不仅提高了计算效率，而且挖掘出来的结果能够很好地解释离群点产生的原因，揭示离群点发生的规律，这些都表明该方法不仅有效，而且具有很强的现实意义。

全文目录

摘要  4-5
ABSTRACT  5-8
第一章绪论  8-16
  1.1 数据挖掘概论  8
  1.2 数据挖掘的功能  8-9
  1.3 数据挖掘的应用  9-11
  1.4 数据挖掘工具  11-14
  1.5 论文概述  14-16
    1.5.1 论文的主要工作  14
    1.5.2 论文的组织结构  14-16
第二章离群点及离群点检测方法  16-20
  2.1 离群点挖掘概述  16
  2.2 离群点检测方法  16-20
第三章高维离群点检测方法  20-25
  3.1 高维数据引起的问题  20
  3.2 高维数据的处理方法  20-21
  3.3 现有高维大数据离群点挖掘算法分析  21-25
    3.3.1 数据约减  21-22
    3.3.2 投影变换  22-24
    3.3.3 特征选取  24-25
第四章高维空间中离群点关联规则的挖掘  25-35
  4.1 现有方法存在的问题  25
  4.2 方法依据  25-26
  4.3 方法步骤  26
  4.4 数据稀疏度  26-28
  4.5 通过直方图判别离群点  28-32
    4.5.1 识别离群点类型  28-29
    4.5.2 根据直方图识别离群点  29-32
  4.6 “离群点—维”关系表  32-33
  4.7 基于 FP 增长的离群点关联规则挖掘  33-35
第五章实验分析  35-56
  5.1 合成数据集测试结果与分析  35-45
  5.2 现实数据集测试结果与分析  45-56
第六章总结与展望  56-57
参考文献  57-62
攻读硕士学位期间参加的项目及发表的论文  62-63
致谢  63

基于直方图和FP增长的离群点关联规则的挖掘

内容摘要

全文目录

相似论文