学位论文 > 优秀研究生学位论文题录展示

信息检索中迁移Markov网络模型的研究

作　者: 余美华
导　师: 王明文
学　校: 江西师范大学
专　业: 计算机应用技术
关键词: 信息检索迁移学习 Markov网络 Kullback-leibler偏离度
分类号: TP391.3
类　型: 硕士论文
年　份: 2009年
下　载: 50次
引　用: 2次
阅　读: 论文下载

内容摘要

Web信息的快速增长,给信息检索系统带来了巨大挑战。传统的检索模型需要在一个相对固定的数据集上通过训练得到,不具备开放的学习功能,而Web上的信息[0]是实时更新的,检索模型由于无法对新的数据进行学习,检索性能必将随着Web信息的更新而逐渐下降,现有的解决办法之一是将新数据加入到原有的数据集中对模型重新进行训练,由于模型对原有数据集学习所获得的知识并没有被保留,这势必浪费大量的时间进行重复学习;另一种方法则是在新数据集上对模型进行训练,若新的数据集数据量不够则会影响模型的学习效果。因而,如何使得检索模型能较好学习新的数据并实现在目标数据集上的准确检索[2,4,,8,11],成为了信息检索模型研究的热点之一。本文中我们将检索模型在发生变化的数据上的训练可以看作是一个学习迁移的过程[2,14],检索模型在原有数据集上的训练势必对其在新数据上的学习有所影响,即在原有数据集上建立模型中所获得的知识对该模型在新数据上的训练有所帮助,从而减少由于数据发生改变而导致模型需要重新进行学习所耗费的时间。因此,为解决上述问题,我们结合迁移学习理论[1]和Markov网络理论[9],提出了一种新的方法,思想是迁移Markov网络用于实现检索模型的学习,通过获取先验知识,实现在目标数据集上高效检索目的。具体的思路是:首先建立一个数据集上的初始检索模型,其次,衡量用于建模的先验数据集和目标数据集中数据分布的差异性,在本文中我们使用Kullback–Leibler divergence[3,7](KL偏离度)的测量公式来度量这一分布的不同。且所得的KL偏离值也可用于确定检索公式中的平衡参数(也就是确定迁移先验数据中知识的“量”),然后,通过迁移旧数据集上的先验知识到目标数据集上,我们对基于Markov网络的检索模型进行修正,并在目标数据集上进行检索。这样就可以将以将以往被摒弃的先验数据通过有效的迁移学习利用到目标数据集的学习中,使检索模型能够快速学习并实现目标文档的高效检索。多组实验结果验证了我们的新方法在性能上要优于BM25算法[6,21,26],T-检验[16,20]的结果也显示模型的性能提高水平是显著的。本文的工作和创新点在于:1.首次将迁移学习理论用于信息检索领域,将知识的迁移和有指导的迁移学习等思想成功应用在基于Markov网络的信息检索模型[5,6,63,68]中,从构造的Markov网络中成功地学习先验数据。2.本文通过迁移先验数据集的知识,并利用部分新数据集,来修正所提出的检索模型,并最终实现基于Markov网络的检索模型能在新的数据集上的高效检索。这样可以大大减少重新建立一个适用于新数据集的检索模型所耗费的时间。3.通过实验验证并分析了进行迁移学习后的基于Markov网络的信息检索模型的性能,并将常用的BM25算法与经过迁移学习的Markov网络信息检索模型的性能进行比较。实验表明本文提出迁移基于Markov网络模型的方法表现比较优异,在很大程度上提高了检索效率。

全文目录

摘要  3-5
ABSTRACT  5-9
第一章绪论  9-13
  1.1 研究背景  9-10
  1.2 研究意义  10
  1.3 本文工作  10-12
  1.4 论文结构  12-13
第二章背景知识和相关研究  13-18
  2.1 迁移学习理论  13-16
    2.1.1 迁移学习发展历史  13-14
    2.1.2 迁移学习的思想  14-16
  2.2 迁移学习的应用研究  16-18
第三章信息检索概述  18-32
  3.1 信息检索背景  18-19
  3.2 信息检索流程  19-20
  3.3 信息检索模型  20-28
    3.3.1 布尔模型  22-23
    3.3.2 向量空间模型  23-26
    3.3.3 概率模型  26-27
    3.3.4 语言模型  27-28
  3.4 信息检索的评测  28-29
  3.5 信息检索的发展与未来  29-32
第四章 Markov 网络检索模型  32-37
  4.1 相关定义  32-33
  4.2 Markov 网络的构造  33-37
    4.2.1 Markov 网络结构  33-34
    4.2.2 索引项相关的度量  34-35
    4.2.3 Markov 网络检索模型  35-37
第五章迁移基于 Markov 网络检索模型  37-47
  5.1 构造不同数据集的索引项空间子网络  37-38
  5.2 测量不同索引项网络的距离  38
  5.3 迁移基于 Markov 网络的检索模型  38-40
  5.4 试验结果与分析  40-47
    5.4.1 文档集的统计分析  40
    5.4.2 预处理  40-41
    5.4.3 实验流程  41-47
第六章总结与展望  47-49
  6.1 总结  47
  6.2 未来的工作  47-49
参考文献  49-55
致谢  55-56
简历  56

相似论文

生物医学领域检索系统查询扩展技术研究,TP391.3
面向海量邮件的检索系统研究与实现,TP393.098
基于跨语言信息检索的企业竞争情报收集系统模型研究,TP391.3
基于策略Agent的个性化信息检索系统的研究与实现,TP391.3
基于稀疏非负矩阵分解的图像检索,TP391.41
跨语言文本分类的研究,TP391.1
基于分类模型监测电子商务违禁信息的研究与实现,TP393.09
排序学习损失函数的研究,TP181
基于内容的商品图像分类技术研究,TP391.41
基于点击的用户聚类的研究,TP311.13
英汉跨语言问答系统中的文档语义检索,TP391.1
图像与文本数据间的异构迁移学习,TP391.41
基于概率的潜在语义分析模型在搜索引擎商业文本分类系统中的应用研究,TP391.1
基于Web的医学文献数据库的设计与实现,TP311.13
基于语义Web的信息检索技术研究,TP391.3
基于OWL的地名本体构建与检索机制研究,P208
面向地名本体服务的空间信息检索研究,P208
基于内容与链接的页面价值算法研究,TP393.092
基于对等网络的搜索引擎关键技术研究,TP391.3
J2EE集成开发框架及其应用,TP311.52
基于迁移学习理论的Markov检索模型,TP391.3