学位论文 > 优秀研究生学位论文题录展示

基于Lustre文件系统的并行I/O技术研究

作　者: 林松涛
导　师: 廖湘科
学　校: 国防科学技术大学
专　业: 计算机科学与技术
关键词: I/O模式 MPI-IO 并行文件系统 I/O接口 Lustre
分类号: TP316
类　型: 硕士论文
年　份: 2004年
下　载: 419次
引　用: 8次
阅　读: 论文下载

内容摘要

典型的并行程序都要进行数据量非常大的I/O访问,但是这些I/O访问序列很多是由大量的小块数据的I/O访问组成。这样,虽然并行文件系统在大块数据传输上能够达到很大的I/O带宽,但是由于并行程序传递给并行文件系统层次的调用是频繁的I/O启动操作和小块数据的I/O数据传输操作,这样使得在实际中并行程序能够用到的I/O带宽远远低于并行文件系统所能提供的最大带宽。一个重要的解决方法是在从上层到下层传递I/O请求时尽量的保持住应用程序的I/O访问模式的信息,并且在I/O操作时尽量利用这些信息。常见的实现方式是在并行文件系统上层再加入一个可以获取并行程序数据访问模式的层次—并行I/O库。I/O库获得并行应用程序的独立I/O的数据访问分布,以及程序总体I/O行为的信息,利用这些信息把很多个小数据块的I/O请求转化为对并行文件系统的少量的大数据块的实际I/O操作,从而可以最大程度的利用并行I/O文件系统所提供的带宽,但是也将带来更多的I/O开销。如果底层并行文件系统能直接提供对于这些小块数据访问的高性能接口和实现,可以直接高效地读写小块数据,那么即简化了并行I/O库的实现,又将提高并行I/O的性能。本文首先详细地描述了Lustre文件系统的I/O结构及其实现,在研究基于Lustre文件系统的并行、I/O技术的基础上,实现了细粒度的“Direct I/O”读写方式及接口,并在MPI-IO中实现了基于这些接口的并行I/O方式。本文还对改进后的Lustre文件系统的并行I/O模式的性能进行了读写带宽测试。评测结果表明基于新的I/O接口的I/O模式将大大地提高并行I/O性能,特别是访问结构化数据集合的时候。

全文目录

摘要  8-9
ABSTRACT  9-10
第一章绪论  10-16
  §1.1 课题背景  10-14
    1.1.1 大规模科学计算的重要性  10
    1.1.2 大规模科学计算对I／O的要求  10
    1.1.3 大规模科学计算中的I／O模式  10-11
    1.1.4 并行I／O中的发展现状  11-12
    1.1.5 并行I／O编程接口的发展状况  12
    1.1.6 并行文件系统的发展现状  12-13
    1.1.7 Lustre文件系统  13-14
  §1.2 本文研究内容  14-15
  §1.3 论文结构  15-16
第二章 Lustre文件系统的I／O结构  16-26
  §2.1 Linux文件系统的读／写  16-19
    2.1.1 读操作流程  16-17
    2.1.2 文件预读机制  17-19
    2.1.3 写操作流程  19
  §2.2 Lustre文件系统中的对象存储  19-21
    2.2.1 Lustre对象存储概念  19-20
    2.2.2 Lustre对象存储设备操作方法集合  20
    2.2.3 Lustre中的文件条块化  20-21
  §2.3 Portals协议  21-23
    2.3.1 报文类型  21
    2.3.2 请求／响应标示  21-22
    2.3.3 数据块传递示例  22-23
  §2.4 Lustre文件系统的I／O性能评测  23-24
    2.4.1 测试平台  23
    2.4.2 读写带宽测试分析  23-24
    2.4.3 协同式读写测试  24
  §2.5 小结  24-26
第三章细粒度“Direct I／O”方式在Lustre上的实现  26-37
  §3.1 基于缓存的Lustre的并行I／O的性能问题  26-27
  §3.2 细粒度“Direct I／O”在Lustre文件系统上的实现  27-35
    3.2.1 设计思想及实现结构  27-29
    3.2.2 操作系统所提供的I／O接口sys_eread/sys_ewrite  29-30
    3.2.3 文件的eread/ewrite方法实现  30-31
    3.2.4 address_space对象的Partial I／O操作实现  31-32
    3.2.5 LOV的brw_emode方法的实现  32-33
    3.2.6 OSC的brw_emode方法的实现  33-35
    3.2.7 OST的brw_emode方法实现  35
  §3.3 优化性能评价  35-37
第四章基于Lustre的并行I／O编程接口设计及其实现  37-48
  §4.1 MPI-IO简介  37-38
  §4.2 ADIO简介  38
  §4.3 基于Lustre文件系统的高性能MPI-IO接口实现  38-45
    4.3.1 MPI-IO提供的并行I／O接口  38-39
    4.3.2 应用程序I／O模式的识别  39-41
    4.3.3 基于Lustre文件系统的ADIO函数实现  41-42
    4.3.4 目前常用的并行I／O方式  42-45
    4.3.5 不同访问模式下的并行I／O方式的选择和实现  45
  §4.4 性能评测结果  45-48
第五章对未来工作的展望  48-49
致谢  49-50
附录：攻读硕士期间发表的论文  50-51
参考文献  51-53

基于Lustre文件系统的并行I/O技术研究

内容摘要

全文目录

相似论文