学位论文 > 优秀研究生学位论文题录展示

海量存储系统中并行文件系统的测试与优化

作　者: 周凡夫
导　师: 管海兵
学　校: 上海交通大学
专　业: 计算机技术
关键词: 海量存储并行文件系统预取缓存条带化
分类号: TP333
类　型: 硕士论文
年　份: 2012年
下　载: 128次
引　用: 0次
阅　读: 论文下载

内容摘要

海量存储系统(Mass Storage System)是为存储海量数据而研制的存储系统,其本质特征在于该存储系统的可扩展性,即能在扩展系统容量和性能的同时,不增加系统管理的复杂性。并行文件系统(Parallel File System)是由一组节点(Node)组成的,这组节点通过相互之间的通信与协作,以更快的速度完成一项大规模的计算任务。并行文件系统是构筑高性能海量存储系统的基石,所以无论是在高性能计算还是在云存储都有着重要的研究意义,因此近年来得到广泛的关注和研究。并行文件系统的测试,大致包括一致性测试、功能测试、压力测试、性能测试、推测性测试等,其中性能测试其中的重点。并行文件系统性能的测试测试的指标大致有两个,一个是吞吐量,衡量大文件I/O读写能力;另一个是IOPS,衡量小文件读写能力。常用优化并行文件系统性能的策略有数据预取,数据缓存、合并小顺序I/O、条带化等技术。缓存指利用缓冲区保存最近访问过的文件内容,以提高对文件的访问效率。预取是指在实际使用内存时提前将数据读取到内存中,从而提高访问效率。合并小顺序I/O,则是将若干个小文件的操作聚合成一个大文件的操作,从而减小磁盘操作的次数。条带化是把连续的数据块分割成相同大小的数据块,将每段数据分别写入到阵列中不同的磁盘。本文主要研究并行文件系统的测试方法,以及优化性能的策略。研究内容主要包括:研究并行文件系统性能测试的标准及方法、学习改进文件系统性能的测试的方法、以GlusterFS为例验证各优化策略的效果。实验证明GlusterFS中的缓存策略改善了超过10MB/s的读性能,预取策略的两个方法合计提供了约15MB/s的读性能。

全文目录

摘要  3-5
ABSTRACT  5-11
第一章绪论  11-25
  1.1 研究背景  11-15
    1.1.1 应用需求  11-12
    1.1.2 存储系统结构  12-15
  1.2 分布式文件系统  15-22
    1.2.1 分布式文件系统的分类  15-16
    1.2.2 典型的分布式文件系统  16-22
  1.3 研究目标  22-23
  1.4 论文的主要工作  23
  1.5 论文结构  23-25
第二章基准测试  25-32
  2.1 测试指标  25-26
  2.2 测试基准  26-31
    2.2.1 宏观基准  27-29
    2.2.2 回放trace  29-30
    2.2.3 微观基准  30-31
  2.3 本章小结  31-32
第三章优化策略  32-56
  3.1 GLUSTERFS  32-37
    3.1.1 Translator  33-35
    3.1.2 集群模式  35-37
  3.2 数据预取优化技术  37-42
    3.2.1 预取  37
    3.2.2 Stat-prefetch  37-39
    3.2.3 Read-ahead  39-42
  3.3 缓存优化技术  42-45
    3.3.1 缓存  42
    3.3.2 Io-cache  42-45
  3.4 合并顺序小I/O 优化技术  45-47
    3.4.1 合并顺手小I/O  45
    3.4.2 Write-behind  45-47
  3.5 条带化优化技术  47-49
    3.5.1 条带化  47-48
    3.5.2 Stripe Translator  48-49
  3.6 多线程优化技术  49-53
    3.6.1 线程  49-51
    3.6.2 Io-threads  51-53
  3.7 固态硬盘优化技术  53-55
    3.7.1 优缺点  54-55
  3.8 本章小结  55-56
第四章实验与分析  56-59
  4.1 实验环境  56
  4.2 实验方案  56-58
    4.2.1 测试步骤  56-57
    4.2.2 测试结果与分析  57-58
  4.3 本章小结  58-59
第五章总结与展望  59-61
  5.1 论文总结  59
  5.2 展望  59-61
参考文献  61-65
致谢  65-66
攻读硕士期间的科研及学术论文  66-69
  科研项目  66
  学术论文  66-69
附件  69

海量存储系统中并行文件系统的测试与优化

内容摘要

全文目录

相似论文