学位论文 > 优秀研究生学位论文题录展示

微博网络关键节点和关键链路识别方法研究与软件研制

作　者: 蒋昌礼
导　师: 姚兴苗
学　校: 电子科技大学
专　业: 电子与通信工程
关键词: 社交网络微博网络爬虫关键节点关键链路 PageRank
分类号: TP393.092
类　型: 硕士论文
年　份: 2013年
下　载: 28次
引　用: 0次
阅　读: 论文下载

内容摘要

微博凭借其短小、实时、便捷和参与广泛的特点成为了最热门的在线社交网络之一。目前存在的微博网络研究主要关注其粉丝关系网络，而本文创新之处在于研究微博博客的转发网络，该网络由某一类具有相关主题的博文转发网络组成，能够表征出针对某一类微博事件，参与者在其中起到的作用，同时能够发掘出参与者之间的链接关系。本文研究主体为微博博客转发网络，研究该网络中相关网络数据的获取技术，研究该网络关键节点和关键链路的识别技术，并研制软件以获得具体网络中的关键节点和关键链路，具体内容：（1）首先运用网络爬虫技术爬取和主题关键字相匹配的微博博文，其次获取到微博用户转发该条博文所形成的博文转发网络。该转发网络中的节点为博文转发者，转发网络中的有向链接则为微博用户之间对该博文转发的关系。再次由于微博转发网络规模巨大，在每个转发网络中去除叶子节点得到第一次简化的网络。最后再把多个同类博文转发网络进行融合，得到关于该类博文的整体转发网络拓扑邻接矩阵。在该邻接矩阵中根据计算分析需要递归地进行第二次网络简化。（2）基于网页排名算法PageRank的思想设计出博客转发网络的PageRank值传递函数，结合博客转发邻接矩阵计算出每个转发者的PageRank值，排名靠前的就是关键节点，连接关键节点之间最短的有向链接就是关键链路。关键节点的识别算法中涉及博客转发网络环的化简，关键链路的识别使用了基于六度分割理论的多点最短有向路径算法。（3）基于上述研究成果，实现了微博网络关键节点和关键链路识别软件的研制。该软件分为三大模块：数据采集模块、数据处理模块和界面显示模块。分别对应了网络数据爬取与化简、关键节点关键链路识别和操作界面与网络拓扑图显示。通过系统的研究、设计、实现和测试，证明了该系统能够正确识别博客转发网络中的关键节点和关键链路。这为社交网络的监督、管理以及商业兴趣导向的分析提供了重要的参考依据。

全文目录

摘要  5-6
ABSTRACT  6-13
第一章绪论  13-20
  1.1 研究背景  13-14
  1.2 研究意义  14-16
  1.3 研究现状  16-17
  1.4 本文研究内容  17-18
  1.5 论文章节安排  18-20
第二章在线社交网络相关关键技术  20-30
  2.1 网络爬虫技术  20-24
    2.1.1 传统网络爬虫  21-22
    2.1.2 聚焦网络爬虫  22
    2.1.3 聚焦网络爬虫相关研究  22-24
      2.1.3.1 网页的特性  22-23
      2.1.3.2 网页内容与主题相关度的判定模型  23-24
    2.1.4 聚焦网络爬虫需要解决的关键技术  24
  2.2 微博博客转发网络数据融合技术  24-25
  2.3 在线社交网络社团发现技术  25-26
  2.4 在线社交网络关键节点关键链路识别技术  26-28
  2.5 本章小结  28-30
第三章微博博文转发网络的爬取技术  30-48
  3.1 新浪微博特点  30-33
    3.1.1 新浪微博的用户特征  30-31
    3.1.2 新浪微博的功能  31
    3.1.3 新浪微博的转发特点  31-33
  3.2 网络爬虫关键技术解决方法  33-37
    3.2.1 模拟浏览器访问的爬虫权限解决方法  33-35
    3.2.2 多线程微博网页搜索方法  35-37
  3.3 转发主页发现与解析  37-41
    3.3.1 与主题关键字匹配的博文发现  37-38
    3.3.2 转发主页的发现与主页中转发者的解析  38-40
    3.3.3 抓取的转发节点数据存储  40-41
  3.4 多网络数据的融合与化简  41-47
    3.4.1 基于博文转发的树状网络生成  41-43
      3.4.1.1 树状网络的生成  41-43
      3.4.1.2 树状网络的简化  43
    3.4.2 多颗树状网络的融合  43-45
      3.4.2.1 邻接矩阵的生成  44
      3.4.2.2 其它树状网络融入邻接矩阵方法  44-45
    3.4.3 邻接矩阵的递归简化  45-47
  3.5 本章小结  47-48
第四章博文转发网络关键节点和关键链路的识别  48-61
  4.1 相关工作  48-51
    4.1.1 博文转发网络特点  48
    4.1.2 针对博文转发网络关键节点识别方法研究  48-51
  4.2 基于 PageRank 的关键节点识别  51-56
    4.2.1 PageRank 值的传递  51-54
    4.2.2 转发网络中环状网络的解决办法  54-56
  4.3 关键节点识别算法的整体流程  56-58
  4.4 关键链路的识别  58-60
  4.5 本章小结  60-61
第五章微博网络关键节点关键链路识别系统研制  61-72
  5.1 软件系统结构  61-62
  5.2 软件各功能模块实现  62-67
    5.2.1 数据采集模块  62-64
    5.2.2 数据处理模块  64
      5.2.2.1 树状网络融合实现  64
      5.2.2.2 关键节点关键链路识别实现  64
    5.2.3 界面模块  64-67
  5.3 软件数据测试  67-68
  5.4 软件测试结果分析  68-71
    5.4.1 单网络分析  68-69
    5.4.2 多网络分析  69-71
  5.5 本章小结  71-72
第六章结论  72-74
  6.1 工作总结  72
  6.2 工作展望  72-74
致谢  74-75
参考文献  75-78
个人简历  78-79
硕士研究生期间取得的研究成果  79-80

微博网络关键节点和关键链路识别方法研究与软件研制

内容摘要

全文目录

相似论文