学位论文 > 优秀研究生学位论文题录展示

支持软件分布式共享存储系统的机群通信技术

作　者: 史岗
导　师: 韩承德；胡伟武
学　校: 中国科学院研究生院（计算技术研究所）
专　业: 计算机系统结构
关键词: 软件分布式共享存储系统高性能网络通信技术通信模型交叉开关交换机网络接口卡用户级通信协议
分类号: TP311.52
类　型: 博士论文
年　份: 2004年
下　载: 297次
引　用: 0次
阅　读: 论文下载

内容摘要

在软件分布式共享存储领域,通信开销是阻碍它成为主流并行计算环境的重要原因。在过去的研究中,人们提出许多优化措施来减少通信开销,比如:支持更放松的一致性模型来减小消息个数和消息量;采用多写协议减少消息个数;采用写向量技术减小缺页时的消息量;采用数据预取来容忍通信延迟。然而,随着存储一致性协议的成熟,大幅度减小通信次数和通信量已十分困难。本文的目的就是要研究有效的机群通信技术来进一步提高软件分布式共享存储系统的性能。本文分析了软件分布式共享存储系统的通信行为特点,并对基于home的软件分布式共享存储系统JIAJIA在三个通用的高性能互连网络上的性能做了测试和分析。发现:①软件分布式共享存储系统对网络的通信延迟和带宽都十分敏感;②由于采用“请求-应答”通信模式,消息的异步处理机制不仅使得计算和通信无法重叠,而且对于系统中为数较多的远程取页操作,这种通信模式的效率较低;③程序运行中出现的并发通信和接口竞争行为通常是导致并行应用性能降低的主要原因之一。基于在通信上的这些特点,本文设计并实现了一个适合软件分布式共享存储系统特点的机群通信系统FRAMP (Fast Remote Access and Message Passing)。FRAMP机群通信系统由完全定制的交换机、网络接口卡和通信协议组成。交换机采用全互连交叉开关结构和缓冲虫洞交换方式,同时在网络接口上支持消息传递和远程直接内存读/写两种通信模型,实现了纯用户级的通信协议,获得了高带宽、低延迟的网络通信性能。对FRAMP的性能测试表明:在33MHz,32位PCI传输方式下,pingpong测试的小消息单向延迟为5.7μs,渐近带宽达到101MB/s。基于FRAMP实现的软件分布式共享存储系统,由于有交叉开关网络和接口硬件对通信方式的支持以及通信协议中的优化措施,使并行应用的性能获得了显著的提高。本文的研究工作表明:相对于传统的机群通信系统,设计适合于软件分布式共享存储系统特点的网络通信系统可显著地改善系统的最终使用性能,使高性能、易编程的共享存储并行计算环境在机群体系结构上也能获得。

全文目录

摘要  3-4
英文摘要  4-9
第一章引言  9-27
  1.1 软件分布式共享存储系统的重要问题  9-14
    1.1.1 存储器一致性模型  9-10
    1.1.2 高速缓存一致性协议  10-11
    1.1.3 存储器组织方式  11-12
    1.1.4 共享粒度  12
    1.1.5 实现层次  12-13
    1.1.6 通信机制  13-14
  1.2 减小软件分布式共享存储系统中通信开销的技术  14-18
    1.2.1 基于远程内存映射通信的方法  14-16
    1.2.2 基于专用硬件支持的方法  16-17
    1.2.3 两种方法的比较  17-18
  1.3 机群通信技术简介  18-24
    1.3.1 机群高速互连网络  18-20
    1.3.2 用户级通信协议  20-24
  1.4 本文的贡献  24-25
  1.5 论文的组织形式  25-27
第二章软件分布式共享存储系统的通信行为  27-43
  2.1 引言  27
  2.2 共享存储并行应用的特点  27-32
    2.2.1 共享模式  27-28
    2.2.2 访问粒度  28
    2.2.3 同步方式  28-29
    2.2.4 共享存储并行应用的分类  29-32
  2.3 基于锁的高速缓存一致性协议  32-38
    2.3.1 基本协议  32-35
    2.3.2 消息类型  35-36
    2.3.3 协议中的通信过程  36-38
  2.4 影响软件分布式共享存储并行应用性能的通信行为  38-40
    2.4.1 通信粒度  38-39
    2.4.2 并发通信  39
    2.4.3 接口竞争  39-40
  2.5 软件分布式共享存储系统对通信的需求  40-41
    2.5.1 延迟和带宽需求  40
    2.5.2 通信模型需求  40-41
    2.5.3 并发通信支持和接口竞争避免  41
  2.6 小结  41-43
第三章软件分布式共享存储系统在高性能通信系统上的性能  43-59
  3.1 引言  43
  3.2 机群互连网络MYINET、SCI 和快速以太网介绍  43-45
    3.2.1 Myrinet 互连网络  43-44
    3.2.2 SCI 互连网络  44-45
    3.2.3 快速以太网  45
  3.3 用户级通信协议BCL-3、SISCI 和M-VIA  45-49
    3.3.1 曙光3000 高性能通信库BCL-3 简介  45-46
    3.3.2 SCI 上的用户级通信库SISCI  46-47
    3.3.3 以太网上的VIA 系统M-VIA  47-49
  3.4 高性能通信系统上JIAJIA 软件DSM 系统的实现  49-53
    3.4.1 通信需求  49-50
    3.4.2 程序结构  50-51
    3.4.3 实现考虑  51-53
  3.5 不同通信系统上的性能比较  53-57
    3.5.1 测试环境  53
    3.5.2 通信系统的基础性能比较  53-54
    3.5.3 软件分布式共享存储系统性能比较  54-57
  3.6 小结  57-59
第四章支持快速远程直接内存访问和消息传递的机群通信系统  59-77
  4.1 主要设计思想  59-60
  4.2 交换机设计  60-63
    4.2.1 链路帧格式  60-61
    4.2.2 交换机和网络接口的链路和工作时序  61-62
    4.2.3 交换机的结构  62
    4.2.4 具体实现  62-63
  4.3 网络接口设计  63-66
    4.3.1 网络接口结构  63-64
    4.3.2 通信描述符格式  64-65
    4.3.3 消息传递工作原理  65-66
    4.3.4 远程直接内存访问工作原理  66
    4.3.5 具体实现  66
  4.4 通信协议设计  66-70
    4.4.1 地址映射  66-67
    4.4.2 主要数据结构  67-68
    4.4.3 内核扩展  68
    4.4.4 用户接口  68-70
  4.5 通信系统性能  70-74
    4.5.1 测试环境  70
    4.5.2 消息传递性能  70-73
    4.5.3 远程直接内存访问性能  73-74
  4.6 小结  74-77
第五章新型机群通信系统上软件分布式共享存储系统的实现与性能分析  77-87
  5.1 新型机群通信系统对软件分布式共享存储系统的支持  77-78
    5.1.1 减小消息延迟  77
    5.1.2 远程直接取页支持  77-78
    5.1.3 并发通信和接口竞争缓解  78
  5.2 远程直接取页对一致性协议的影响  78-80
    5.2.1 home 和Cache 的锁定  78
    5.2.2 Cache 的冒险与避免  78-79
    5.2.3 一致性协议的优化措施  79-80
  5.3 基于远程直接取页通信的软件分布式共享存储系统的实现  80-81
    5.3.1 消息处理流程  80-81
    5.3.2 SIGSEGV 中断处理  81
    5.3.3 接收繁忙中断处理  81
    5.3.4 TLB 不命中处理  81
  5.4 性能比较  81-84
    5.4.1 性能测试与比较环境  82
    5.4.2 与其他高性能系统实现的性能比较  82-83
    5.4.3 与不采用直接远程取页实现性能的比较  83-84
  5.5 影响系统性能的因素  84-85
    5.5.1 内存锁定对性能的影响  84
    5.5.2 协议优化的讨论  84-85
    5.5.3 TLB 不命中的影响  85
  5.6 小结  85-87
第六章基于可扩展一致性接口互连机群的共享存储系统  87-97
  6.1 SCI 互连机群系统上的共享存储系统的实现策略  87-90
    6.1.1 利用SCI 构造高速消息传递机制实现SVM  87-88
    6.1.2 利用SCI 的远程内存访问功能直接维护一致性数据实现SVM  88-89
    6.1.3 利用SCI 硬件DSM 实现SVM  89-90
    6.1.4 基于SCI 的SVM 系统实现更高级的编程抽象  90
  6.2 PC 机群系统中基于SCI 实现共享存储系统的关键问题  90-94
    6.2.1 共享的程度和存储器的组织方式  90-91
    6.2.2 存储器一致性模型  91-92
    6.2.3 结点处理器的体系结构  92-93
    6.2.4 同步操作  93
    6.2.5 消息传递需求  93-94
  6.3 基于SCI 硬件DSM 支持的SVM 系统设计  94-95
    6.3.1 存储器组织和地址映射  94
    6.3.2 存储器一致性模型  94
    6.3.3 高速缓存一致性协议  94
    6.3.4 消息类型和消息通信  94-95
  6.4 目前的进展和今后的工作  95-97
第七章结论  97-99
参考文献  99-105
致谢  105-107
作者简历  107-108

相似论文

基于Web2.0的Web Widget在企业信息管理系统中的研究与应用,TP311.52
基于构件技术的开放式雷达仿真系统研究,TN955
潜艇航行训练模拟器管理台的研究与设计,U666.158
基于集群系统的虚拟心脏并行计算方法的研究,TP338.6
多虚拟机自动网络配置系统,TP302
IEC61850变电站自动化系统通信模型建模的研究及设计,TM63
XXXX卫星实时传输子系统的设计与实现,TP311.52
基于PCI总线的高速光互连网络接口技术研究,TN929.11
底层操作系统对软件DSM的影响,TP393.09
机群环境中高效socket研究,TP338
高速网络接口卡DMA机制的研究与实现,TP334.7
机群通信系统互连接入技术研究,TP393.03
用户级通信在软件分布式共享存储系统中的应用,TP311.52
软件分布式共享存储系统的性能优化,TP311.52
多计算机互连网络上聚合通信算法的研究,TP393.02
网络化制造环境中多Agent系统体系结构的研究,TP393
USB接口电路的设计与实现——发射端的设计,TN402
USB接口电路的设计与实现——接收端的设计,TN402
基于C/S模式多平台网络通信系统研究,TP393
基于时间解耦的分布对象异步消息模型及通信机制研究,TP311.10