学位论文 > 优秀研究生学位论文题录展示

用于搜索的网页可视化摘要技术研究

作　者: 焦斌星
导　师: 吴枫; 俞能海
学　校: 中国科学技术大学
专　业: 信号与信息处理
关键词: 可视化摘要网页内部图像网页外部图像可视化摘要比较最优可视化摘要
分类号: TP391.41
类　型: 博士论文
年　份: 2012年
下　载: 274次
引　用: 0次
阅　读: 论文下载

内容摘要

互联网的发展使得搜索引擎成为了用户寻找信息的最主要手段,而准确和迅速是用户对搜索引擎的最主要需求。然而目前搜索引擎的准确度还无法完全满足用户的需求,所以如何能让用户在现有的还不够准确的搜索技术下也能够迅速找到想要的信息成为了一个非常迫切的需求。网页中含有很多可视化的多媒体信息,比如图像、动画、视频等等。俗话说“一幅图抵得上千言万语”,搜索引擎在展现搜索结果的时候加上这些多媒体信息,能够让用户在很短的时间内得到更多的信息量,以便于用户迅速找到想要的信息。这些有可能帮助用户搜索的可视化多媒体信息被称为网页的可视化摘要。由于图像是动画和视频的基本组成部分,所以本文对图像作为可视化摘要的关键问题进行了深入的研究。网页自身含有的图像是可视化摘要的一个可靠来源,我们称之为网页内部图像。对于这类图像,我们提出重要性模型对其表征网页的能力进行衡量：越重要的图像,越适合作为可视化摘要。然而,也有很多网页不存在重要的内部图像,所以我们提出从互联网中获取与目标网页相关的图像,我们称之为网页外部图像。对于这类图像,我们提出算法对其与目标网页的相关性进行衡量：越相关的图像,越适合作为可视化摘要。另外,我们将这两种基于自然图像的可视化摘要与缩略图等合成图像进行了比较,并以分析结果为出发点,提出了最优可视化摘要的选择算法。本文的主要研究结果有如下几点：1.提出了网页内部图像的重要性衡量模型。由于在网页中存在大量的广告图像,装饰图像等,所以我们提出基于图像特征提取和机器学习的算法来衡量图像重要性。该算法从四个层次提取图像特征,并利用基于提升树的LamdaMART算法对图像的重要性建立模型。2.提出了网页外部图像的获取和相关性衡量算法。我们提出了基于关键词提取和图像搜索的外部相关图像的获取方法,并基于图像的文字信息与视觉信息衡量其与目标网页的相关性。外部图像获取系统能够为近一半的无重要内部图像的网页找到相关的外部图像,且相关性衡量算法能够达到很高的精度。3.对网页内部图像,网页外部图像以及缩略图,Visual Snippet进行了深入的比较。我们利用人工标注的数据比较可视化摘要在不同网页中的效果,比如,重要性得分很高的内部图像是有内部图像的网页的可靠可视化摘要,而缩略图适合作为满足“可视区域较小”,或“在截屏区域内有重要图像”,或“截屏区域内有常见网站的logo"等特点的网页的可视化摘要。另外,我们还通过用户研究分析可视化摘要在理解网页和重新寻找网页这两个应用中的实用性。4.提出了从网页内部图像和网页外部图像中选择最优可视化摘要的统一算法。由于网页内部图像和网页外部图像各有其优缺点,所以我们提出了基于聚类的最优可视化摘要选择算法。好的可视化摘要需要满足相关性、重要性和典型性这三个特性,所以该算法利用之前提出的相关性和重要性模型衡量可视化摘要的前两个特性,而利用聚类去体现典型性。我们将相关性和重要性作为聚类的先验知识,采用近邻传播聚类算法将三者有机地结合起来。在聚类完成之后,最好的聚类中心被选为最优可视化摘要。算法在客观和主观评价上都显示了很好的性能。客观评价中,算法的NDCG@1能够达到0.6左右。主观评价中,算法选出的图像被多数用户认同可以用以表征目标网页。

全文目录

摘要  5-7
ABSTRACT  7-9
目录  9-13
图表目录及缩略语  13-16
  插图目录  13-14
  表格目录  14-16
第1章绪论  16-26
  1.1 研究背景与研究意义  16-20
    1.1.1 研究背景  16-19
    1.1.2 研究意义  19-20
  1.2 关键问题与研究任务  20-23
    1.2.1 关键问题  20-21
    1.2.2 研究任务  21-23
  1.3 研究内容与结构安排  23-26
第2章基本知识  26-38
  2.1 搜索引擎  26-31
    2.1.1 基本结构  26-28
    2.1.2 排序方法  28-29
    2.1.3 查询页面  29-30
    2.1.4 评价方法  30-31
  2.2 图像表征  31-33
    2.2.1 图像的视觉特征  31-32
    2.2.2 图像在网页中的文字信息  32-33
  2.3 机器学习  33-38
    2.3.1 基本概念  34-35
    2.3.2 Logistic Regression  35-36
    2.3.3 Ranking SVM  36-38
第3章网页内部图像的重要性衡量  38-52
  3.1 简介  38-39
  3.2 系统概述  39-40
  3.3 特征提取  40-44
    3.3.1 图像层次特征  41-42
    3.3.2 网页块层次特征  42-43
    3.3.3 网页层次特征  43-44
    3.3.4 站点层次特征  44
  3.4 学习算法  44-48
    3.4.1 MART  44-46
    3.4.2 LamdaMART算法  46-48
    3.4.3 图像重要性模型训练过程  48
  3.5 实验  48-50
    3.5.1 实验设定  48-49
    3.5.2 算法性能评价  49-50
  3.6 本章小结  50-52
第4章网页外部图像获取及相关性衡量  52-66
  4.1 简介  52-53
  4.2 系统概述  53-54
  4.3 外部图像获取  54-56
    4.3.1 网页关键词提取  54-56
    4.3.2 外部图像搜索  56
  4.4 外部图像相关性排序  56-62
    4.4.1 文字相似性  56-59
    4.4.2 视觉重要性  59-62
    4.4.3 排序方法  62
  4.5 实验  62-64
    4.5.1 实验设定  62-63
    4.5.2 外部图像获取算法评价  63
    4.5.3 外部图像排序算法评价  63-64
  4.6 本章小结  64-66
第5章可视化摘要的比较  66-74
  5.1 简介  66-67
  5.2 Visual Snippet  67
  5.3 最优可视化摘要比较  67-69
    5.3.1 设定  67-68
    5.3.2 各种可视化摘要的比较  68-69
  5.4 用户研究  69-72
    5.4.1 设定  70-71
    5.4.2 结果与讨论  71-72
  5.5 本章小结  72-74
第6章最优可视化摘要的选择算法  74-90
  6.1 简介  74-75
  6.2 好的可视化摘要的特性  75
  6.3 最优可视化摘要选取算法  75-81
    6.3.1 算法概述  75-76
    6.3.2 近邻传播聚类算法  76-78
    6.3.3 偏向参数设定  78-79
    6.3.4 相似性矩阵  79-80
    6.3.5 最优可视化摘要选取  80-81
  6.4 实验  81-88
    6.4.1 实验设定  81-82
    6.4.2 算法的客观评价  82-85
    6.4.3 参数选择  85-87
    6.4.4 算法的主观评价  87-88
  6.5 本章小结  88-90
第7章总结与展望  90-94
  7.1 论文总结  90-92
  7.2 未来研究展望  92-94
参考文献  94-102
致谢  102-104
在读期间发表的学术论文与取得的其他研究成果  104-106
作者简介  106

用于搜索的网页可视化摘要技术研究

内容摘要

全文目录

相似论文