学位论文 > 优秀研究生学位论文题录展示

数据密集型计算环境下贝叶斯网的学习、推理及应用

作　者: 马冯
导　师: 刘惟一
学　校: 云南大学
专　业: 通信与信息系统
关键词: 数据密集型计算贝叶斯网络吉布斯抽样社区发现
分类号: TP311.13
类　型: 博士论文
年　份: 2013年
下　载: 63次
引　用: 0次
阅　读: 论文下载

内容摘要

随着网络应用的普及和信息采集技术的进步,人类生产和收集数据的能力迅速发展,人们需要面对的数据量也日益增长。这些数据通常呈现出数据量巨大,且分布在多个站点上的情况。数据密集型计算(Data-Intensive Computing)的出现,使得对这种新情况下的大数据进行有效处理成为可能。数据密集型计算指能推动前沿技术发展的对海量和高速变化的数据的获取、管理、分析和理解。目前它已经成为了数据研究和分析领域中的一个研究热点问题。贝叶斯网络(Bayesian Network,BN),是概率理论和图论相结合的产物。它是一种帮助人们将概率、统计应用于复杂领域、进行不确定性推理和数据分析的有效工具。然而由于传统的贝叶斯网络在对数据进行处理时,默认是将所有的数据置于同一个站点之上,因此在数据密集型的环境之下,就很难直接将传统的贝叶斯网络的相关理论和方法直接运用于其上。因此,对传统的贝叶斯网络进行扩展,使得其相关的理论,方法和结论可以运用于数据密集型计算环境之下就显得十分必要。本文的主要工作和创新之处总结如下：(1)对传统的贝叶斯学习方法进行扩展。在数据密集型的计算环境下,数据通常都是呈现出大量且分布与多个站点上的情况,因此需要对传统的贝叶斯网学习方法进行适当的扩展,从而使得它能够应用于新的环境之下。由于贝叶斯网的构建通常分为参数学习和结构学习两个部分,而若在已经确定了贝叶斯网结构的情况下,分布式的参数学习的扩展方法相对比较容易,因此本文重点讨论了分布式环境下的结构学习方法。考虑到在实际应用中,数据各个站点上的数据往往是不断到达各个站点的,因此本文重点讨论了第二种情况。(2)对传统的贝叶斯推理方法进行扩展。传统的贝叶斯推理方法,也是在默认所有的数据集在同一个站点上时进行的。在数据密集型计算环境下,如果在各个站点上分别利用传统的贝叶斯推理方法进行推理,那么推理出的结果仅仅是适用于各个站点的。不同站点之间,由于数据内容不尽相同,因此推理出的结果很可能也就不完全一致,甚至会出现部分冲突的现象。本文选取了一种常用的贝叶斯推理方法进行扩展,这种方法选取了吉布斯抽样(Gibbs Sampling)为随机算法的核心组成内容。并最终获取一个适用于全体数据集合的推理结果。此算法的有效性在文中后面的章节中给予了理论证明和实验验证。(3)提出一种数据密集型计算环境下的贝叶斯网具体应用——社区发现。社区发现是近些年来的一个研究热点问题,文中提出了一种利用关联规则发现过程中的频繁项目集,来构建相应的网络,并最终进行社区发现的方法。这个方法有两个优点,一方面它可以直接应用于数据密集型计算环境之下,从而扩展了传统贝叶斯网的应用范围；另一方面,它又充分利用了关联规则发现过程中的频繁项目集信息,构建出了一个能反映隐关系的网络,并在其上进行社区发现。

全文目录

摘要  3-5
Abstract  5-9
第1章绪论  9-14
  1.1 研究背景及意义  9-10
  1.2 研究现状分析  10-12
    1.2.1 数据密集型计算的研究现状  10-11
    1.2.2 贝叶斯网的研究现状  11
    1.2.3 研究内容的必要性  11-12
  1.3 本文工作  12
  1.4 全文组织  12-14
第2章数据密集型计算和贝叶斯网  14-31
  2.1 数据密集型计算简介  14-25
    2.1.1 数据密集型计算概念  14-15
    2.1.2 数据密集型计算面临的挑战  15-25
    2.1.3 数据密集型计算的典型应用  25
  2.2 贝叶斯网简介  25-31
    2.2.1 贝叶斯网络概念  26-27
    2.2.2 贝叶斯网络学习  27-28
    2.2.3 贝叶斯网络推理  28-29
    2.2.4 贝叶斯网络的应用  29-31
第3章数据密集型计算环境下贝叶斯网的学习方法  31-47
  3.1 传统贝叶斯网的学习方法  31-32
  3.2 传统学习方法在数据密集型计算环境下面临的问题  32-33
  3.3 数据密集型计算环境下的贝叶斯网学习方法  33-47
第4章数据密集型计算环境下贝叶斯网的推理方法  47-62
  4.1 传统贝叶斯网的推理方法  47-50
  4.2 传统推理方法在数据密集型计算环境下面临的问题  50
  4.3 数据密集型计算环境下的贝叶斯网推理方法  50-62
第5章数据密集型计算环境下贝叶斯网的应用——社区发现  62-88
  5.1 问题的提出  62-63
  5.2 本方法的基本思想  63-81
    5.2.1 数据密集型计算下的频繁项目集融合方法  64-66
    5.2.2 数据密集型计算环境下构建基于频繁项集的基础网络  66-73
    5.2.3 数据密集型计算环境下根据构建的网络来进行社区发现  73-81
  5.3 实验模型  81-86
  5.4 实验结果及分析  86-88
第6章结束语  88-90
参考文献  90-103
致谢  103-104
附录  104-105
  1 在读期间(2009.09-今)承担的科研项目  104
  2 在读期间(2009.09-今)完成及发表的著作、论文  104-105

数据密集型计算环境下贝叶斯网的学习、推理及应用

内容摘要

全文目录

相似论文