学位论文 > 优秀研究生学位论文题录展示

基于WebHarvest的中文财经新闻搜索引擎的设计与实现

作　者: 隋玉航
导　师: 薛志东
学　校: 华中科技大学
专　业: 软件工程
关键词: 搜索引擎网络爬虫中文分词
分类号: TP311.52
类　型: 硕士论文
年　份: 2011年
下　载: 30次
引　用: 0次
阅　读: 论文下载

内容摘要

随着互联网的迅速发展,其所承载的信息量呈爆炸式增长,因此,如何有效地利用这些丰富的信息资源逐渐成为研究人员关注的课题。搜索引擎在当今互联网领域起着十分重要的作用,它是获取知识信息的主要工具。同时,随着用户需求的进一步扩大,获取更加准确、更加深层的专业信息,成为搜索引擎的一项新要求。针对目前新的需求变化,本文提出了一个基于webharvet的中文新闻搜索引擎。首先详细介绍了搜索引擎的系统结构,然后从网络爬虫、索引引擎、Web服务器以及其中涉及到的一些算法进行详细的说明。并在此基础上,开发了一个基于webharvet的中文新闻搜索引擎。简而言之,新闻搜索引擎是按照初始的URL列表到指定的Web页面中进行页面解析,并把解析到的新闻创建建索引后存入到数据库.用户在客户端访问web服务器上的索引并取出数据库中相应的新闻信息。除了常见的搜索引擎相关组件之外,系统设计了一个并发网络爬虫,在考虑到性能需求的同时兼顾了新闻数据抓取的精确度,并在此基础上添加了过滤,文本去重,持久化等一系列组件。在构建爬虫相关组件中采用了许多成熟的设计模式来进行各个模块的整合和功能优化。而索引部分采用了Lunece构建索引,通过IKanalyzer进行中文分词和词法分析,并针对不断更新的数据进行索引的合并和优化。另外,结合用户需求,添加了用户评分和权限等相关操作,主要目的是为开发一个面向用户的体验良好的中文新闻搜索引擎。在介绍搜索引擎的章节中,详细地描述了相关技术点,同时列出了构建该系统的相关代码和逻辑图表。

全文目录

摘要  3-4
Abstract  4-7
1 绪论  7-10
  1.1 系统开发背景  7
  1.2 系统开发目的  7
  1.3 系统国内外现状研究  7-8
  1.4 论文的主要研究工作  8-10
2 相关关键技术和算法分析  10-20
  2.1 Web-Harvest  10-13
  2.2 SSH 框架  13-17
  2.3 基于特征码的网页去重算法  17-19
  2.4 本章小结  19-20
3 系统分析与设计  20-37
  3.1 需求分析  20-21
  3.2 系统总体设计  21-23
  3.3 新闻爬虫设计  23-27
  3.4 索引和搜索设计  27-30
  3.5 用户评分及登录注册模块设计  30-31
  3.6 数据库的设计  31-36
  3.7 本章小结  36-37
4 系统实现  37-48
  4.1 系统开发环境与运行环境  37-38
  4.2 新闻爬虫实现  38-43
  4.3 索引部分的实现  43-44
  4.4 用户前端部分的实现  44-47
  4.5 本章小结  47-48
5 系统测试  48-53
  5.1 测试环境  48
  5.2 系统测试  48-49
  5.3 测试结果与分析  49-52
  5.4 本章小结  52-53
6 总结与展望  53-54
  6.1 全文总结  53
  6.2 展望  53-54
致谢  54-55
参考文献  55-57

基于WebHarvest的中文财经新闻搜索引擎的设计与实现

内容摘要

全文目录

相似论文