学位论文 > 优秀研究生学位论文题录展示

主题搜索引擎的研究与实现

作　者: 刘庆龙
导　师: 柳青
学　校: 云南大学
专　业: 计算机系统结构
关键词: 主题搜索 网络爬虫 搜索策略 nutch 增量提取
分类号: TP391.3
类　型: 硕士论文
年　份: 2011年
下　载: 71次
引　用: 0次
阅　读: 论文下载
 

内容摘要


随着互联网的迅速发展,互联网的信息与日剧增,信息技术的应用让人们无论是生活的便捷还是工作上的效率得到的质的提高。通用搜索引擎的出现为人们提供了更为方便的信息服务。通用搜索引擎的广泛应用也让它在互联网时代的地位无可替代。随着信息的疯狂增长,通用搜索引擎越来越难以满足用户对某个主题领域的信息的查找。面向主题的搜索引擎的出现为解决这些问题应运而生。在主题搜索引擎中,如何提高主题爬虫效率以及以何种策略在web中进行爬去,这是主题搜索引擎的研究热点问题之一。而互联网的动态性、复杂性以及异构性要求主题爬虫能高效的实现信息爬取,在保证信息的高质量的同时,提高信息的实时性。论文讨论了搜索引擎的发展概况,分析了搜索引擎的组成以及工作原理。主题爬虫作为主题搜索引擎的核心部分在论文中得到了详细的分析。同时对抓取主题URL策略提出了一种主题相关的改进算法。由于主题搜索引擎对实时性的要求要高于通用搜索引擎,本文提出了一种URL增量算法,能够及时有效的抓取互联网上新的页面。论文最后阐述了以开源框架nutch为基础的搜索引擎的实现过程,对原有的nutch中文分词技术进行了改进。最后对其进行了测试,实验和结果证明了抓取主题相关URL的改进算法和URL增量算法的有效性和应用价值。

全文目录


摘要  3-4
Abstract  4-5
目录  5-7
第一章 引言  7-11
  1.1 研究背景与意义  7
  1.2 搜索引擎的发展状况  7-9
  1.3 搜索引擎评价  9
  1.4 本文组织结构  9-11
第二章 搜索引擎概述及核心技术  11-25
  2.1 搜索引擎的分类  11-12
  2.2 搜索引擎的原理  12-14
  2.3 搜索引擎的主要模块  14-16
  2.4 信息采集  16-20
    2.4.1 网络信息爬取  17
    2.4.2 网络爬虫策略  17-18
    2.4.3 网络爬虫原理  18-19
    2.4.4 网络爬虫中重要组成部分  19-20
  2.5 文本处理  20-21
  2.6 中文分词技术  21-24
    2.6.1 基于字符串匹配的分词方法  22-23
    2.6.2 基于统计的分词方法  23-24
  2.7 索引技术  24
  2.8 本章小结  24-25
第三章 主题搜索引擎研究与分析  25-30
  3.1 主题搜索引擎与通用搜索引擎的比较  25-26
  3.2 网页信息的结构化提取  26-27
  3.3 主题搜索引擎的体系结构  27-29
  3.4 主题信息的抓取  29
  3.5 本章小结  29-30
第四章 主题爬虫搜索策略研究  30-42
  4.1 面向主题的爬虫信息提取  30-34
    4.1.1 主题爬虫信息提取的优点  30
    4.1.2 主题相关性算法研究  30-31
    4.1.3 PageRank算法  31-32
    4.1.4 HITS算法  32-33
    4.1.5 PageRank算法和HITS算法的区别  33-34
  4.2 抽象的相关排序模型  34-36
    4.2.1 一个具体的相关排序模型  35
    4.2.2 向量空间模型  35-36
  4.3 主题相关判断算法  36-37
  4.4 抓取主题相关URL的改进算法  37-39
  4.5 URL增量算法  39-40
  4.6 本章小结  40-42
第五章 主题搜索引擎的实现  42-57
  5.1 环境的搭建过程  42-43
    5.1.1 Nutch部署  42
    5.1.2 Nutch前端部署  42-43
  5.2 相关改进算法的实现  43-44
  5.3 nutch添加中文庖丁解牛分词插件  44-53
    5.3.1 在analysis-zh文件夹中建立plugin.xml和build.xml  44-46
    5.3.2 在扩展点实现插件  46-47
    5.3.3 在lib-paoding-analyzers文件夹中建立plugin.xml和build.xml  47-48
    5.3.4 修改nutch配置文件  48-52
    5.3.5 生成paoding-analysis.jar包  52-53
    5.3.6 重新编译ant  53
  5.4 用Nutch抓取网页  53-55
  5.4 系统测试及结果分析  55-56
  5.5 本章小结  56-57
第六章 总结与展望  57-59
参考文献  59-62
攻读硕士期间发表的论文  62-63
致谢  63

相似论文

  1. 基于比对技术的非法网站探测系统的实现与研究,TP393.08
  2. 多核环境下内存数据库查询优化的研究,TP311.13
  3. 基于WebHarvest的中文财经新闻搜索引擎的设计与实现,TP311.52
  4. 基于Nutch的企业搜索引擎的研究与实现,TP391.3
  5. 主题搜索引擎关键技术研究,TP391.3
  6. 红外热像仪自动调焦和图像采集技术的研究,TP391.41
  7. 面向海量数据的云存储系统实现与应用研究,TP333
  8. 网络舆情分析关键技术研究与实现,TP393.09
  9. 网络舆情数据获取与话题分析技术研究,TP393.09
  10. Deep Web查询接口集成及搜索策略研究,TP393.09
  11. 垂直搜索引擎技术在网络舆情巡控中的研究与应用,TP391.3
  12. 求解组合优化问题的混合蛙跳算法的研究,TP301.6
  13. 面向企业竞争情报的主题搜索研究与实现,TP391.3
  14. 基于Lucene的汽车信息垂直搜索引擎的设计与实现,TP391.3
  15. 小干扰稳定分析软件包SSAP的完善和在交直流并行输电系统中的应用,TM769
  16. 面向农产品信息的主题搜索引擎与信息推荐,TP391.3
  17. 面向中医药的多元语义搜索引擎,TP391.3
  18. 个性化搜索引擎的研究与设计,TP391.3
  19. 搜索引擎中网络爬虫技术研究,TP391.3
  20. 主题搜索与Web挖掘的研究及系统实现,TP391.3
  21. 基于网络评论的文本倾向性分类技术的研究与实现,TP311.52

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机的应用 > 信息处理（信息加工） > 检索机
© 2012 www.xueweilunwen.com