学位论文 > 优秀研究生学位论文题录展示

高性能计算集群文件系统的优化技术研究

作　者: 张钰森
导　师: 吴庆波
学　校: 国防科学技术大学
专　业: 计算机科学与技术
关键词: 高性能计算分布式存储技术 Lustre文件系统优化技术
分类号: TP316
类　型: 硕士论文
年　份: 2010年
下　载: 111次
引　用: 2次
阅　读: 论文下载

内容摘要

随着高性能计算技术的飞速发展,越来越多的领域开始使用该技术来解决生产和科研中所遇到的实际问题,例如气象数值模拟与预报、地震预报、生物信息、环境科学、空间科学、金融等重要领域。高性能计算技术的发展水平已经逐渐成为衡量一个国家综合国力和国际竞争力的重要指标。在构建高性能计算系统的过程中,存储系统的性能是影响其计算性能的主要因素。因此,研究高性能计算文件系统并对其进行优化具有重要意义。本文对高性能计算文件系统的存储原理、存储结构以及相关存储技术进行了深入研究。在此基础上,对其实际应用过程中存在的不足进行分析。针对这些不足之处,对高性能计算文件系统进行优化,以提高存储系统的I/O性能。在存储资源分配策略方面,本文将经济学模型引入高性能计算文件系统。利用相关经济学理论对文件系统进行建模,并在该模型基础上设计了相应的算法对文件系统的存储资源进行分配。优化之后的文件系统能够根据应用场景的不同,动态调整其存储资源分配策略。不仅简化了文件系统的调优工作,还提高了系统资源利用率。在数据访问控制方面,本文提出了一种基于状态感知的数据访问控制方法。状态感知访问控制方法的关键在于客户端能够感知到整个系统的负载状态,并能够根据负载状态信息动态调整其请求发送策略。这种数据访问控制方法能够在一定程度上避免拥塞发生,并使文件系统工作在最优负载状态,充分发挥其I/O性能。在元数据访问控制方面,分布式元数据存储结构是消除单元数据服务器瓶颈的有效解决方案。本文对这种存储结构进行了优化设计,并在此基础上对文件系统元数据访问策略进行了优化。为提高元数据服务器的响应速度,本文对元数据的操作进行了适当的松弛处理。优化之后的文件系统能够更好地满足高性能计算对存储系统的需求。最后,本文基于上述工作设计了原型系统SA-Lustre,并在Lustre模拟器上实现了该原型系统。通过对SA-Lustre原型系统的测试可以发现,优化之后的文件系统在I/O性能、并发I/O带宽以及吞吐率方面有了很大的提高。

全文目录

表目录  7-8
图目录  8-10
摘要  10-11
ABSTRACT  11-13
第一章绪论  13-21
  1.1 引言  13-16
    1.1.1 高性能计算系统结构  13-14
    1.1.2 高性能计算I/O 需求  14-15
    1.1.3 分布式文件系统  15-16
    1.1.4 高性能计算存储系统面临的挑战  16
  1.2 课题背景  16-17
  1.3 主要研究工作及创新点  17-18
    1.3.1 主要研究工作  17
    1.3.2 课题创新点  17-18
  1.4 论文组织结构  18-21
第二章相关研究  21-39
  2.1 文件系统存储结构概述  21-24
    2.1.1 DAS 存储结构  21
    2.1.2 SAN 存储结构  21-22
    2.1.3 NAS 存储结构  22-23
    2.1.4 对象存储结构  23-24
  2.2 现有集群文件系统简介  24-27
    2.2.1 NFS 简介  24-25
    2.2.2 xFS 文件系统简介  25-26
    2.2.3 PVFS 文件系统简介  26-27
    2.2.4 GFS 文件系统简介  27
  2.3 Lustre 文件系统概述  27-38
    2.3.1 Lustre 文件系统存储结构  28-29
    2.3.2 Lustre 文件系统对象存储设备  29
    2.3.3 Lustre 文件系统数据管理策略  29-33
    2.3.4 Lustre 文件系统网络通信  33-34
    2.3.5 Lustre 文件系统数据I/O  34-36
    2.3.6 Lustre 文件系统特性  36-38
  2.4 本章小结  38-39
第三章基于拍卖模型的资源分配技术  39-51
  3.1 Lustre 文件系统资源分配机制研究  39-40
  3.2 基于拍卖模型的资源分配机制设计  40-45
    3.2.1 经济学模型的引入  40-41
    3.2.2 常用经济学模型及其资源分配技术  41-43
    3.2.3 存储资源经济学建模  43-44
    3.2.4 基于经济学模型的最优平衡解证明  44-45
  3.3 Lustre 存储资源分配机制的优化  45-50
    3.3.1 Lustre 拍卖模型设计  45-47
    3.3.2 资源分配协议  47-50
  3.4 本章小结  50-51
第四章基于状态感知的数据访问控制技术  51-61
  4.1 Lustre 文件系统数据访问机制研究  51-52
  4.2 基于状态感知的数据访问控制技术  52-55
    4.2.1 Lustre 文件系统拥塞原因分析  52-53
    4.2.2 拥塞控制基本原理  53-54
    4.2.3 状态感知数据访问控制机制设计  54-55
  4.3 Lustre 数据访问机制的优化  55-60
    4.3.1 拥塞状态监测  55-56
    4.3.2 基于状态感知的拥塞控制  56-58
    4.3.3 状态感知拥塞控制算法  58-60
  4.4 本章小结  60-61
第五章分布式元数据访问控制优化技术  61-70
  5.1 Lustre 文件系统元数据分布存储机制研究  61-63
  5.2 分布式元数据访问策略研究  63-64
    5.2.1 分布式元数据的访问方式  63-64
    5.2.2 分布式元数据Cache 的引入  64
  5.3 CMD-Lustre 文件系统元数据访问策略优化  64-69
    5.3.1 CMD-Lustre 文件系统结构优化  64-66
    5.3.2 分布式元数据Cache 结构设计  66-67
    5.3.3 分布式元数据访问策略优化  67-69
  5.4 本章小结  69-70
第六章 SA-Lustre 原型系统实现及测试  70-91
  6.1 SA-Lustre 原型系统  70-82
    6.1.1 Lustre 模拟器简介  70-73
    6.1.2 SA-Lustre 结构设计  73-76
    6.1.3 SA-Lustre 原型实现  76-82
  6.2 性能测试  82-90
    6.2.1 测试环境  82-83
    6.2.2 测试结果及分析  83-90
  6.3 本章小结  90-91
第七章总结与展望  91-93
致谢  93-94
参考文献  94-97
作者在学期间取得的学术成果  97

高性能计算集群文件系统的优化技术研究

内容摘要

全文目录

相似论文