学位论文 > 优秀研究生学位论文题录展示

数据中心中的一种可扩展和高效的可靠组数据传输方法

作　者: 曹家鑫
导　师: 陈国良; 田野
学　校: 中国科学技术大学
专　业: 计算机软件与理论
关键词: 组播 P2P数据中心数据分发
分类号: TP308
类　型: 博士论文
年　份: 2013年
下　载: 108次
引　用: 0次
阅　读: 论文下载

内容摘要

可靠组数据传输是数据中心中的一个重要传输模式。在可靠组数据传输中,数据源需要可靠的把数据分发给一个接收端的集合。可靠组数据传输被广泛的应用于现代数据中心系统中,如GFS、Amazon EC2和Vindows AZure。可靠组数据传输对这些数据中心中的系统的性能起着至关重要的作用。在数据中心中,可能同时存在大量的可靠组数据传输,而且每个传输组可能包含大量的接收者。这些可靠组数据传输还为数据中心网络贡献了大量的流量。因此,数据中心中的可靠组数据传输需要具有可扩展性和高带宽利用率。现有的方法不适用于在数据中心中进行可靠组数据传输,因为它们或者不具有可扩展性(如可靠IP组播),或者不能高效的利用网络带宽(如基于终端的覆盖网络系统)。另一方面,现有的方法也没有针对数据中心的结构特点进行数据传输,不能充分的利用数据中心网络的带宽。近年来,数据中心网络的发展有两个明显的趋势：1)现代的数据中心网络拓扑结构(如BCube、CamCube)都为可靠组数据传输提供了多棵边不相交的Steiner树；2)网络设备提供了数据包缓存能力,因为它们集成了CPU和内存。这些网络发展的趋势为数据中心中的可靠组数据传输系统的设计提供了新的机会。通过探索这些数据中心网络发展趋势所提供的设计空间,本文提出Datacast来解决数据中心中的可靠组数据传输的问题。Datacast是一个集中式设计的系统,它的目标是在数据中心中提供一个可扩展的和具有高带宽利用率的可靠组数据传输服务。Datacast包括了下列主要工作：1.针对现有的方法不能在较短时间内计算出数据中心中足够多的边不相交的Steiner树的问题,本文设计了一个多棵边不相交的Steiner树算法。该算法首先根据数据中心网络的拓扑结构特点构造多棵边不相交的生成树,再对其进行剪枝,最后使用BFS (Breadth First Search)修复被网络故障破坏的Steiner树。该算法具有较低的时间复杂度,并且可以在存在网络故障的情况下计算出足够多的边不相交的Steiner树。2.为了实现每一棵Steiner树上的高效的可靠组数据传输,本文提出了一个单速率组播拥塞控制算法。通过借助网络设备的数据包缓存能力,Datacast拥塞控制算法首次提出以重复请求包作为拥塞控制信号,使用基于速率的AIMD (Additive Increase and Multiplicative Decrease)方法进行组播的拥塞控制。Datacast拥塞控制算法有效的同步了接收者,帮助Datacast取得了可扩展性和高带宽利用率。Datacast拥塞控制算法简单有效的解决了网络中的经典的单速率组播拥塞控制问题。3.本文对Datacast拥塞控制算法进行了数学建模。本文提出的数学模型主要针对Datacast拥塞控制算法的基本方法AIMD进行分析。通过对这个模型的分析,本文提出了两个定理,分别描述了Datacast对缓存的需求和其带宽利用率。本文发现,当缓存大小大于一个很小的阈值(如125KB)时,Datacast可以在全速率工作,并且发送的重复数据包很少(如1.19%)。这个模型从理论上证明了Datacast拥塞控制算法帮助Datacast取得了可扩展性和高带宽利用率。4.针对在只有部分网络设备支持数据缓存情况下Datacast的数据传输问题,本文提出了Datacast的增量部署方案。在Datacast增量部署方案中,本文首先提出了一个具有线性时间复杂度的Steiner树最大传输速率改进算法,该算法通过加入原Steiner树的反向边来使接收者从对等结点中获取数据,有效的提高了Steiner树的最大传输速率。然后,本文提出用增加辅助缓存结点的方法来解决虚假的拥塞控制信号问题。Datacast增量部署方案使Datacast可以在只有部分网络设备支持数据缓存能情况下高速的进行数据传输。5.本文在NS3上实现了Datacast,并使用ServerSwitch平台搭建了Data-cast。本文通过仿真和实验验证了Datacast。仿真和实验的结果都验证了本文的理论结果,也说明了Datacast取得了可扩展性和高带宽利用率。

全文目录

摘要  5-7
ABSTRACT  7-16
主要符号对照表  16-17
第一章绪论  17-27
  1.1 数据中心中的可靠组数据传输  17-19
    1.1.1 可靠组数据传输的定义及应用场景  17
    1.1.2 可靠组数据传输需要具有的性质  17-19
  1.2 现有的解决方案及存在的主要问题  19-20
    1.2.1 可靠IP组播  19
    1.2.2 基于终端的覆盖网络系统  19-20
  1.3 新的机遇与挑战  20-23
    1.3.1 多棵边不相交的Steiner树  20-21
    1.3.2 可行的网络设备包缓存能力  21-23
  1.4 本文的主要工作  23-27
第二章背景介绍  27-35
  2.1 现有的组播系统  27-31
    2.1.1 可靠IP组播  27-30
    2.1.2 基于终端的覆盖网络系统  30-31
  2.2 解决可靠组数据传输问题的新思路  31-33
  2.3 本章小结  33-35
第三章 Datacast的关键技术  35-55
  3.1 Datacast的主要目标及设计原则  35-36
  3.2 Datacast的系统结构  36-38
  3.3 Datacast控制信息传输协议  38-39
  3.4 数据中心中的多棵边不相交的Steiner树算法  39-45
    3.4.1 多棵边不相交的Steiner树的计算  40-45
    3.4.2 在多棵Steiner树的数据分发  45
  3.5 Datacast数据传输协议  45-52
    3.5.1 基于数据包缓存的数据传输  45-49
    3.5.2 拥塞控制算法  49-50
    3.5.3 CS(Content Store)管理机制  50-51
    3.5.4 PIT(Pending Interest Table)管理机制  51-52
  3.6 Datacast对网络故障的处理方法  52
  3.7 本章小结  52-55
第四章 Datacast拥塞控制算法的数学建模  55-63
  4.1 建立模型  55-58
  4.2 模型分析  58-62
    4.2.1 缓存的需求  58-60
    4.2.2 重复数据包的比例  60-62
  4.3 本章小结  62-63
第五章 Datacast的增量部署  63-69
  5.1 部分网络设备缓存支持时Datacast存在的问题  63-64
    5.1.1 Datacast的传输速率剧减问题  63-64
    5.1.2 虚假的拥塞控制信号问题  64
  5.2 Datacast增量部署方案  64-67
    5.2.1 Steiner树最大传输速率改进算法  65-66
    5.2.2 辅助的网络设备缓存  66-67
  5.3 本章小结  67-69
第六章系统仿真  69-85
  6.1 多棵边不相交的Steiner树算法  69-74
    6.1.1 完全的网络设备缓存支持  69-73
    6.1.2 部分的网络设备缓存支持  73-74
  6.2 Datacast数据传输协议  74-79
    6.2.1 Datacast对缓存大小的需求  75-76
    6.2.2 Datacast中数据源所发出的重复数据包比例  76
    6.2.3 在有丢包情况下Datacast的性能  76-77
    6.2.4 协议内与协议间的公平性  77-79
    6.2.5 不同的缓存管理机器的影响  79
  6.3 Datacast与BitTorrent的整体性能比较  79-83
    6.3.1 Datacast的传输速率与网络压力  80-81
    6.3.2 Datacast的网络故障处理  81-82
    6.3.3 Datacast的增量部署  82-83
  6.4 本章小结  83-85
第七章系统实现  85-91
  7.1 基于ServerSwitch的系统实现  85-87
    7.1.1 系统设计  85-86
    7.1.2 拥塞控制算法  86
    7.1.3 网络设备的数据包缓存  86-87
  7.2 性能评估  87-89
    7.2.1 Datacast对缓存的需求及其重复数据包比例  87-88
    7.2.2 Datacast与BitTorrent的比较  88
    7.2.3 Datacast的网络故障处理  88-89
  7.3 本章小结  89-91
第八章总结与展望  91-95
  8.1 本文工作总结  91-92
  8.2 研究工作展望  92-95
参考文献  95-105
致谢  105-107
在读期间发表的学术论文与取得的研究成果  107-108

数据中心中的一种可扩展和高效的可靠组数据传输方法

内容摘要

全文目录

相似论文