学位论文 > 优秀研究生学位论文题录展示

基于信息论的特征选择算法研究

作　者: 张跞
导　师: 黄金杰
学　校: 哈尔滨理工大学
专　业: 控制理论与控制工程
关键词: 模式识别特征选择信息论互信息
分类号: TP391.4
类　型: 硕士论文
年　份: 2013年
下　载: 13次
引　用: 0次
阅　读: 论文下载

内容摘要

随着计算机技术和信息技术的飞速发展，人们对于计算机越来越迫切的希望其能具有人类认知能力。JohnMcCarthy1956年在Dartmouth学会首次提出“人工智能”概念，在此之后，其中包括模式识别等人工智能学科得到了飞速发展。模式识别的定义就是通过计算机对于输入的某一具体事物将其正确分类。数据获取、预处理、特征提取和选择、分类决策这四部分组成了模式识别系统。随着新技术的不断出现，在模式识别系统中，数据的规模越来越大并具有样本少、维数高等特点，这给传统的分类学习带来了巨大的挑战。因此，怎样在数据呈现高维特性时剔除其中的冗余或无关特征，避免维灾难问题，从而使得在高维数据环境下依然可以使用传统学习算法进行学习训练，这是当前研究人员们面临的一道难题。因此特征选择是模式识别系统中非常重要的一部分，也是设计一个性能优良分类器的前提和必要。本文首选介绍了特征选择问题的定义以及分类，概述了特征选择的历史现状以及研究趋势，然后阐述了信息论中的一些基本概念和理论以及基于信息论的特征选择的基本思想，最后分别提出了一种改进的基于最大相关最小冗余有监督特征选择算法和一种基于信息论的无监督特征选择算法，并且在数据集上分别进行实验，验证了算法的有效性。

全文目录

摘要  5-6
Abstract  6-9
第1章绪论  9-16
  1.1 研究的目的和意义  9-10
  1.2 特征选择概述  10-14
    1.2.1 特征选择的定义  10-11
    1.2.2 特征选择算法的分类  11-13
    1.2.3 特征选择研究的历史与现状  13-14
    1.2.4 特征选择研究的趋势  14
  1.3 本文主要研究内容与结构安排  14-16
第2章基于信息论的特征选择  16-24
  2.1 特征选择的基本框架  16-19
    2.1.1 搜索策略  17-18
    2.1.2 评价测度  18-19
  2.2 信息论概述  19-22
    2.2.1 熵原理及信息熵的引入  19
    2.2.2 信息熵  19-20
    2.2.3 联合熵  20
    2.2.4 条件熵  20
    2.2.5 互信息  20-21
    2.2.6 信息熵和互信息的计算方法  21-22
  2.3 基于信息论的特征选择  22-23
  2.4 本章小结  23-24
第3章一种改进的基于最大相关最小冗余的算法  24-33
  3.1 相关性和冗余性的互信息表示方法  24-25
    3.1.1 相关性  24
    3.1.2 冗余性  24-25
  3.2 一些基于最大相关最小冗余的算法  25-26
    3.2.1 MIFS 算法  25
    3.2.2 MIFS-U 算法  25-26
  3.3 一种改进的基于最大相关最小冗余的算法  26-29
    3.3.1 算法设计  27
    3.3.2 算法描述和框图  27-29
  3.4 实验结果及分析  29-32
    3.4.1 实验数据集  29
    3.4.2 实验设置  29-30
    3.4.3 实验结果以及分析  30-32
  3.5 本章小结  32-33
第4章一种基于互信息的无监督特征选择算法  33-43
  4.1 无监督特征选择概述  33-34
  4.2 基于互信息的无监督特征选择算法  34-38
    4.2.1 基于特征关联的无监督特征选择算法  34-35
    4.2.2 基于互信息的无监督特征选择 UFS-MI  35-38
  4.3 一种基于互信息的无监督特征选择算法  38-40
    4.3.1 算法思想与设计  38-39
    4.3.2 算法描述和框图  39-40
  4.4 实验结果和分析  40-42
    4.4.1 实验数据集  41
    4.4.2 实验设置  41
    4.4.3 实验结果及分析  41-42
  4.5 本章小结  42-43
结论  43-44
参考文献  44-48
攻读硕士学位期间发表的学术论文  48-49
致谢  49

基于信息论的特征选择算法研究

内容摘要

全文目录

相似论文