学位论文 > 优秀研究生学位论文题录展示

基于迁移学习理论的Markov检索模型

作　者: 朱莹婷
导　师: 王明文
学　校: 江西师范大学
专　业: 计算机科学与技术
关键词: 信息检索多步迁移学习 Markov网络 Kullback-leibler偏离度
分类号: TP391.3
类　型: 硕士论文
年　份: 2010年
下　载: 100次
引　用: 0次
阅　读: 论文下载

内容摘要

在传统的信息检索中,检索模型是在静态数据集上训练得到的,模型一经训练,结构和参数都相对固定下来,没有根据新的数据自动修正的机制。但现实中,Web上的信息是实时更新的,经过一段时间训练好的模型往往会因为随后新数据的加入而使得检索性能明显下降。为了解决这个问题,传统的模型必须对新的数据重新进行学习,但在新的数据上重新训练一个模型需要耗费大量的时间,而且在旧数据上训练了很久的模型也因得不到利用而被浪费,因此,如何避免重新训练且很好地利用旧数据在新的数据上进行检索成为一个关键的迁移学习问题。在本文中,我们在传统的基于Markov网络的信息检索模型基础上提出一个基于迁移学习理论的Markov检索模型(简称TLMR模型)。它利用Markov网络在旧数据上建立信息检索模型,由于Markov网络能够表示学习更新机制,可应用新数据集来更新已有的Markov网络,也即将已有的知识迁移到新的检索模型中。在这篇文章中,我们通过计算新、旧数据中词关系的Markov网络之间的KL距离来度量新、旧数据之间的关联程度,利用它来估计迁移量参数。而且,在现实中Web上的信息并非只更新一次就不再变化,在旧数据上迁移一次得来的新模型,将其再次迁移到再次更新的数据上检索性能是否仍然会好,这是值得探索的。在本工作中,我们将TLMR模型在多个数据集上进行多步迁移,以此来探讨其适应动态数据的能力。在TREC数据集上的单步与多步迁移实验表明模型能很好地在多个数据集间迁移,多步迁移实验也表明模型的学习能力与学习顺序无关。本文的工作和创新点在于:1.在目前将迁移学习理论研究只应用于分类的情况下,将迁移学习理论用于信息检索领域,将知识的迁移和有指导的迁移学习等思想成功应用在基于Markov网络的信息检索模型中,利用在新旧数据上构造的Markov网络来进行知识的迁移。2.在迁移学习的基础上提出将TLMR模型在多个数据集上进行多步迁移,从而观察在以Markov网络表达数据信息的前提下,旧知识在经过多步迁移后是否仍对新的检索任务有所帮助,以此来探讨TLMR模型对动态数据的适应能力。3.通过在TREC数据集上的单步和多步实验证明了TLMR模型能在多个数据集上进行很好地迁移,多步迁移结果也证明模型的学习能力与学习顺序无关,符合人类的认知规律。

全文目录

中文摘要  3-4
Abstract  4-8
第一章绪论  8-12
  1.1 研究背景  8-9
  1.2 研究意义  9-10
  1.3 本文工作  10-11
  1.4 论文结构  11-12
第二章迁移学习理论  12-20
  2.1 迁移学习的起源  12
  2.2 迁移学习的发展历史  12-14
  2.3 迁移学习的分类  14-17
  2.4 认知迁移  17-19
  2.5 迁移学习的应用  19-20
第三章信息检索模型  20-26
  3.1 布尔模型  20-21
  3.2 向量空间模型  21-22
  3.3 概率模型  22-23
  3.4 语言模型  23-25
  3.5 基于本体论的信息检索模型  25-26
第四章 Markov 网络检索模型  26-32
  4.1 相关定义  26-27
  4.2 Markov 网络的构造  27-32
    4.2.1 Markov 网络结构  27-28
    4.2.2 索引项相关的度量  28-29
    4.2.3 Markov 网络检索模型  29-32
第五章基于迁移学习理论的Markov 检索模型  32-42
  5.1 问题定义  32-33
  5.2 构造不同数据集的索引项空间网络  33
  5.3 计算词网之间的相似度  33-34
  5.4 基于迁移学习理论的 Markov 检索模型  34-36
    5.4.1 单步迁移 Markov 检索模型  34-35
    5.4.2 多步迁移 Markov 检索模型  35-36
  5.5 实验  36-42
    5.5.1 数据集  36
    5.5.2 评价指标  36-37
    5.5.3 预处理  37-38
    5.5.4 实验结果及分析  38-42
第六章总结与展望  42-43
  6.1 总结  42
  6.2 未来的工作  42-43
参考文献  43-50
致谢  50-51
简历  51

相似论文

生物医学领域检索系统查询扩展技术研究,TP391.3
面向海量邮件的检索系统研究与实现,TP393.098
基于跨语言信息检索的企业竞争情报收集系统模型研究,TP391.3
基于策略Agent的个性化信息检索系统的研究与实现,TP391.3
基于稀疏非负矩阵分解的图像检索,TP391.41
跨语言文本分类的研究,TP391.1
基于分类模型监测电子商务违禁信息的研究与实现,TP393.09
排序学习损失函数的研究,TP181
基于点击的用户聚类的研究,TP311.13
英汉跨语言问答系统中的文档语义检索,TP391.1
基于概率的潜在语义分析模型在搜索引擎商业文本分类系统中的应用研究,TP391.1
基于Web的医学文献数据库的设计与实现,TP311.13
基于语义Web的信息检索技术研究,TP391.3
基于OWL的地名本体构建与检索机制研究,P208
面向地名本体服务的空间信息检索研究,P208
基于内容与链接的页面价值算法研究,TP393.092
基于对等网络的搜索引擎关键技术研究,TP391.3
J2EE集成开发框架及其应用,TP311.52
基于聚类分析的搜索引擎自动性能评价研究,TP391.3
粒子群算法在查询优化中的应用,TP391.3