学位论文 > 优秀研究生学位论文题录展示

校园BBS舆情数据收集与提取系统的设计与实现

作　者: 陈丽萍
导　师: 黄佳庆
学　校: 华中科技大学
专　业: 通信与信息系统
关键词: 网络舆情电子布告栏系统(BBS) 网络爬虫数据收集模板化提取
分类号: TP393.094
类　型: 硕士论文
年　份: 2009年
下　载: 148次
引　用: 5次
阅　读: 论文下载

内容摘要

随着互联网的快速发展,网络文化安全问题日益突出,同时网络舆情监控也变得日益重要。对于高校而言,复杂的网络环境不仅有很大的正面意义,对学校的思想教育工作也是极大的挑战,所以为了能够防微杜渐,高校需要及时掌握校园网络舆情的发展规律。BBS作为校园网内最活跃的公共平台,对于校园网BBS舆情信息的监测自然成为研究的重点,而这一课题首先需要解决的问题就是收集BBS页面数据,并提取出相关信息作为进一步舆情分析的数据基础。基于上述情况,本文首先对Web页面收集技术即网络爬虫进行了研究,并将其原理与BBS特性充分结合,提出了一个定向于校园BBS的舆情数据收集与提取系统。该系统采用正则表达式进行统一资源定位符(URL)过滤,此方法能够快速滤除不符合要求的URL。另一方面,系统将Bloom Filter算法应用到URL去重中,大大节省了已访问URL的存储空间。对于所获得的页面,系统根据它们对应URL的特征进行分类存储,然后进行模板化提取以增强系统的灵活性,其中模板采用可扩展标记语言(XML)的格式,提取规则通过标签序列和索引来实现。本文将BBS数据归为三大类,并采用不同方式收集,文章主要介绍了采用增量方式来获取更新数据的部分。最后,本文通过参数测试确定当循环间隔约为4h时,系统重复率或漏检率最低处于最佳状态。在此循环间隔下,本文还进行了系统功能测试,测试结果表明该系统能够满足需求,达到了预定目标。

全文目录

摘要  4-5
Abstract  5-8
1 绪论  8-11
  1.1 课题背景与意义  8
  1.2 国内外研究现状  8-9
  1.3 研究内容  9-10
  1.4 论文组织结构  10-11
2 网络爬虫  11-16
  2.1 网络爬虫基本概念  11-12
  2.2 网络爬虫的爬行策略  12-14
  2.3 网络爬虫研究热点  14-15
  2.4 本章小结  15-16
3 数据收集与提取系统的设计  16-27
  3.1 系统需求分析  16-17
  3.2 系统总体设计  17-19
  3.3 系统功能模块设计  19-26
  3.4 本章小结  26-27
4 数据收集与提取系统的实现  27-39
  4.1 数据收集层的实现  27-33
  4.2 数据提取层的实现  33-37
  4.3 数据库存储实现  37-38
  4.4 本章小结  38-39
5 数据收集与提取系统的测试  39-44
  5.1 系统测试环境  39
  5.2 系统性能测试  39-41
  5.3 系统功能测试  41-43
  5.4 本章小结  43-44
6 总结与展望  44-46
  6.1 论文总结  44
  6.2 研究展望  44-46
致谢  46-47
参考文献  47-49

校园BBS舆情数据收集与提取系统的设计与实现

内容摘要

全文目录

相似论文