学位论文 > 优秀研究生学位论文题录展示

基于增量爬虫与微博的视频资源推广技术研究

作　者: 刘慧
导　师: 陆枫
学　校: 华中科技大学
专　业: 计算机应用技术
关键词: 微博爬虫刷新策略群体智慧
分类号: TP393.092
类　型: 硕士论文
年　份: 2012年
下　载: 28次
引　用: 0次
阅　读: 论文下载

内容摘要

近年来，互联网上的视频资源激增至了一个前所未有的水平。巨量增长的视频资源耗费着大量的服务器存储与带宽资源。然而，在线视频资源的利用率依然不高，视频资源提供商回报率低。对于无目的用户浏览，新兴的社交网络能发挥显著作用，具有一定热度的视频资源均能通过群体智慧得到传播。通过充分利用增量爬虫、微博模型、微博标注等一系列互联网资源的采集与推广技术，研制相应的视频资源推广策略，尽可能多地将各类视频推送给用户，满足时新性、多样性、热门等技术要求，提高视频资源的利用率。首先，为提供最新最热的视频资源，针对现有爬虫技术普遍存在的刷新代价大和数据冗余等问题，研制了适用于视频资源采集的刷新策略，基于信息周期理论,利用效用值上下边界确定该刷新策略，以较小刷新代价获得较好的视频资源时新度，也就是保障能以最小的刷新次数尽快获取最新的视频资源。其次，通过整合视频播放服务与微博模式，利用微博基于信任的传播链帮助增加用户粘性，并借助群体智慧采集视频精彩时间点标注信息，形成良性循环。最后，基于研制的推广策略，开发了一套基于微博的视频资源推广网站——微亮点。实验证明，经过改进的基于效用值上下边界方法更适用于视频资源的采集，能很好的平衡时新度以及刷新代价。微亮点在上线后，运行稳定，获得较好的用户体验。通过视频统计证实其确实能在页面的首页推荐最热视频，从而帮助进行微博分享传播，增加视频资源的利用率。

全文目录

摘要  4-5
Abstract  5-8
1 绪论  8-15
  1.1 课题背景和研究目的、意义  8-10
  1.2 国内外研究概况  10-14
  1.3 本文主要内容及章节安排  14-15
2 基于信息周期的视频资源增量爬虫研究  15-25
  2.1 爬虫刷新策略的基础概念  15-17
  2.2 信息周期与页面刷新策略  17-20
  2.3 基于上下效用值边界的视频资源重爬技术  20-23
  2.4 本章小结  23-25
3 视频整合平台与微博系统的结合  25-30
  3.1 Web视频资源描述信息  25
  3.2 微博系统的基本功能  25-26
  3.3 视频整合平台与微博系统的功能结合  26-29
  3.4 本章小结  29-30
4 系统设计与实现  30-48
  4.1 系统目标  30
  4.2 增量爬虫相关技术  30-35
  4.3 微博相关技术  35-38
  4.4 总体设计  38-39
  4.5 视频资源采集模块  39-44
  4.6 视频微博系统模块  44-47
  4.7 本章小结  47-48
5 系统测试与分析  48-58
  5.1 增量爬虫测试与分析  48-54
  5.2 微博测试  54-57
  5.3 本章小结  57-58
6 全文总结  58-59
致谢  59-60
参考文献  60-63
附录1 （攻读硕士学位期间发表论文目录）  63

基于增量爬虫与微博的视频资源推广技术研究

内容摘要

全文目录

相似论文