学位论文 > 优秀研究生学位论文题录展示

基于VSM模型的文档表示和贝叶斯网络的软传感器研究

作　者: 顾奕哲
导　师: 林家骏
学　校: 华东理工大学
专　业: 控制科学与工程
关键词: 向量空间模型权重向量贝叶斯网络软传感器可靠性
分类号: TP391.1
类　型: 硕士论文
年　份: 2014年
下　载: 18次
引　用: 0次
阅　读: 论文下载

内容摘要

随着社会现代化信息技术的快速发展,网络信息资源飞速增加,大量的信息资源蕴含着丰富的状态信息,预示着社会、事件及环境可能的状态变化,通过明确的指向性和目的性牵引着社会的改变,为人们的生活和工作带来巨大的便利。但信息资源的增长也导致虚假信息的快速膨胀和人们获取正确可靠的信息能力之间的矛盾日益突出。因而,如何有效地对复杂多变的状态信息进行可靠性预测,已经逐渐成为人们关注的重点。首先,由于状态信息大多以网络文档的形式呈现,无法直接使用计算机进行处理,因而将网络文档转化成计算机能够处理的结构是状态信息可靠性预测的重要基础与前提。针对网络文档结构化问题,即文档表示问题,先对文档分类技术中向量空间模型的TF-IDF权重进行研究。再针对TF-IDF权重中的特征项在类间分布以及关于文档主旨的信息缺失,分别引入信息增益和文档的全局权重进行补充,完善和实现有效的文档表示。在此基础上,基于改进的TF-IDF权重算法,建立一个网络文档表示系统,实现快速高效的大规模文档表示。其次,贝叶斯网络是一个数据挖掘和不确定知识表示的理想模型,在目标识别、不确定知识推理和预测等多方面产生了成功的应用。同时,有别于处理向量化的物理数据的硬传感器,针对由一维线性字符组成的网络文档,在对其结构化的基础上,建立基于贝叶斯网络的状态信息可靠性预测模型,即基于贝叶斯网络的软传感器模型,帮助人们准确地定位各种状态信息的文档集,并利用软传感器模型对网络文档描述的状态信息的可靠性进行有效的预测,为人们提供可靠的状态信息、支持。最后,本文使用开源文档集对改进的TF-IDF特征项权重算法进行测试,分析比较改进算法的效果。另外,针对开源文档集,构建基于贝叶斯网络的软传感器模型,分析比较由软传感器模型建立的文档数据分布与文档数据的真实分布,验证软传感器模型对于文档数据分布的建模效果；同时对基于贝叶斯网络的软传感器模型方法与统计分析方法的状态信息可靠性预测进行比较,证明软传感器模型在状态信息可靠性预测方面的有效性。在此基础上,使用对门户网站自行采集的网络文档集,基于贝叶斯网络的软传感器模型,进行状态信息可靠性预测的实际应用。

全文目录

摘要  5-6
Abstract  6-11
第1章绪论  11-17
  1.1 课题的背景与意义  11-12
  1.2 文档表示的发展及研究状况  12-13
  1.3 软传感器的发展及研究状况  13-15
    1.3.1 国外发展及研究状况  13-15
    1.3.2 国内发展及研究状况  15
  1.4 本文的研究目标和主要内容  15-16
  1.5 本文的主要结构  16-17
第2章文档表示及贝叶斯网络理论框架综述  17-29
  2.1 文档表示  17-24
    2.1.1 文档表示的定义  17
    2.1.2 文档表示的流程  17-18
    2.1.3 特征选择算法综述  18-21
    2.1.4 文档表示(结构化)模型  21-24
  2.2 贝叶斯网络的理论框架  24-28
    2.2.1 贝叶斯网络的表示  24-25
    2.2.2 贝叶斯网络中的独立关系  25-26
    2.2.3 贝叶斯网络的结构构建  26-27
    2.2.4 贝叶斯网络的参数学习  27-28
  2.3 小结  28-29
第3章基于VSM模型改进的特征权重算法构造文档表示系统  29-39
  3.1 词的重要性度量  29
  3.2 TF-IDF权重算法  29-32
    3.2.1 算法的基本思想  29-31
    3.2.2 TF-IDF权重算法的不足  31-32
  3.3 TF-IDF权重算法改进  32-34
    3.3.1 信息增益的引入  32-33
    3.3.2 文档全局权重的引入  33
    3.3.3 改进的TF-IDF权重算法  33-34
  3.4 构造网络文档表示系统  34-38
    3.4.1 系统设计的目标  34
    3.4.2 网络文档表示系统的框架  34-35
    3.4.3 文档预处理  35-36
    3.4.4 特征选择与文档表示  36-37
    3.4.5 文档表示的性能评估  37-38
  3.5 小结  38-39
第4章基于贝叶斯网络的软传感器模型构建  39-50
  4.1 状态信息可靠性的概率度量  39-40
  4.2 结构化的网络文档数据分布  40
    4.2.1 结构化网络文档数据的分布特征  40
    4.2.2 结构化网络文档数据的高斯混合模型表示  40
  4.3 高斯混合模型(GMM)  40-44
    4.3.1 高斯混合模型的表示  40-41
    4.3.2 高斯混合模型的参数估计  41-42
    4.3.3 高斯混合模型的贝叶斯网络图形化  42-44
  4.4 构建基于贝叶斯网络的软传感器模型  44-48
    4.4.1 基于贝叶斯网络的软传感器模型表示  44-45
    4.4.2 基于贝叶斯网络的软传感器模型构建  45-46
    4.4.3 基于贝叶斯网络的软传感器模型参数估计  46-48
    4.4.4 状态信息的可靠性预测  48
  4.5 小结  48-50
第5章实验测试及结果分析  50-67
  5.1 实验环境和实验目的  50
    5.1.1 实验平台  50
    5.1.2 实验目的  50
  5.2 实验语料  50-53
    5.2.1 实验语料一  50-51
    5.2.2 实验语料二  51-52
    5.2.3 实验语料的分词与结构化  52-53
  5.3 实验结果及结果分析  53-66
    5.3.1 特征权重算法的实验结果与分析  53-58
    5.3.2 状态信息可靠性预测的实验结果与分析  58-64
    5.3.3 软传感器模型的状态信息可靠性预测应用  64-66
  5.4 小结  66-67
第6章总结与展望  67-69
  6.1 本文总结  67-68
  6.2 展望  68-69
参考文献  69-74
致谢  74-75
作者在攻读硕士学位期间的成果  75

基于VSM模型的文档表示和贝叶斯网络的软传感器研究

内容摘要

全文目录

相似论文