学位论文 > 优秀研究生学位论文题录展示

垂直搜索引擎技术在网络舆情巡控中的研究与应用

作　者: 冯效栋
导　师: 曲海鹏
学　校: 中国海洋大学
专　业: 计算机技术
关键词: 垂直搜索网络爬虫 HeritriX Lucene 网络舆情
分类号: TP391.3
类　型: 硕士论文
年　份: 2010年
下　载: 166次
引　用: 0次
阅　读: 论文下载

内容摘要

随着互联网的普及和发展,网上信息量爆炸式增长。截至2009年底,中国互联网网民规模达到3.84亿人,普及率达到28.9%,全球网站数量已经突破2亿,网页数量达数百亿。互联网对人们工作、生活的影响进一步加大。网友言论活跃达到前所未有的程度,不论是国内还是国际重大事件,都能迅速形成网上舆论,通过网络来表达观点、传播思想。如何正确把握网络舆论动态,为科学决策提供准确的依据,是互联网舆情工作的核心任务。在如此丰富的web资源中,如何有效的搜索舆情信息是一件困难的事情。专业化的搜索引擎的开发就是解决这个问题的最好办法。垂直搜索引擎侧是针对某一特定领域、某一特定人群或某一特定需求提供的有一定价值的信息和相关服务,搜索的特点是专、精、深,搜索结果不会带有闲杂信息。普通的网页搜索以综合搜索、横向搜索为主要特点,在满足搜索信息量大的同时却难以兼顾搜索的准确度与相关度的质量,很难满足追求精准的个性化、专业化搜索需求。总的来说,垂直搜索引擎是针对某一个行业的专业搜索引擎,是搜索引擎的细分和延伸。本文详细介绍了垂直搜索引擎的系统结构和功能特点,对垂直搜索引擎技术用于舆情巡控系统建设进行了论证和改进,设计了适合垂直搜索引擎的网络爬虫,在对Heritrix和Lucene进行深入分析的基础上,实现了一个高性能,高负荷,合理、有效,规范和实用的具有较好实用性的网络舆情系统,实现对网络舆情的快速监控。该系统能够快速监控网络舆情信息,对网络舆情数据和信息进行组织整理,存储,加工,索引,方便舆情管理人员完成日常工作；同时该系统还支持友好直观的用户界面,操作简单,方便用户使用。该舆情系统开发的总的设计目标就是将垂直搜索引擎技术加入到舆情系统的设计中,实现网络舆情管理的系统化、规范化和自动化,提高网络舆情的整体管理水平。

全文目录

摘要  5-6
Abstract  6-10
1 绪论  10-15
  1.1 选题背景  10-11
  1.2 网络舆情巡控技术研究的意义  11-12
  1.3 网络搜索引擎技术发展现状及展望  12-14
  1.4 论文的主要研究内容  14-15
2 垂直搜索引擎简介  15-22
  2.1 通用搜索引擎  15-19
    2.1.1 搜索器  15-19
    2.1.2 索引器  19
    2.1.3 检索器  19
    2.1.4 用户接口  19
  2.2 垂直搜索引擎  19-21
  2.3 舆情巡控搜索引擎技术选取  21-22
3 垂直搜索引擎详细技术分析和设计  22-29
  3.1 基于HERITRIX的网络爬虫  22-23
    3.1.1 HERITRIX简介  22-23
    3.1.2 HERITRIX安装  23
  3.2 基于LUCENE的索引器和搜索器  23-29
4 互联网舆情巡控系统分析  29-32
  4.1 互联网舆情巡控系统分析  29-30
    4.1.1 互联网舆情巡控系统需求分析  29
    4.1.2 用户对象分析  29-30
    4.1.3 系统设计原则  30
  4.2 总体构架  30-32
5 网络舆情巡控系统实现  32-55
  5.1 硬件需求  32
  5.2 用户管理子系统  32-35
  5.3 搜索子系统  35-47
  5.4 索引子系统  47-48
  5.5 查询子系统设计  48-50
  5.6 互联网舆情巡控系统展示  50-55
6 总结与展望  55-56
  6.1 总结  55
  6.2 展望  55-56
参考文献  56-58
致谢  58-59
个人简历  59
发表的学术论文  59

垂直搜索引擎技术在网络舆情巡控中的研究与应用

内容摘要

全文目录

相似论文