学位论文 > 优秀研究生学位论文题录展示

并行文件系统数据容错研究

作　者: 杨俊杰
导　师: 李胜利
学　校: 华中科技大学
专　业: 计算机软件与理论
关键词: 容错一致性数据复制数据分片并行文件系统
分类号: TP316
类　型: 硕士论文
年　份: 2004年
下　载: 177次
引　用: 0次
阅　读: 论文下载

内容摘要

近年来随着高速网络和高性能工作站的出现,集群系统已经成为理想的并行计算平台。随着集群规模的扩大,集群系统失效的概率也在增加。因此,使集群系统在有部分节点失效的情况下仍然能够继续工作的容错机制就显得尤为重要。基于集群的并行文件系统可以利用每个工作站上所带的磁盘,而不使用昂贵的硬件磁盘阵列来达到对并行I/O支持。对并行文件系统的容错研究具有十分重要的理论意义和实际应用价值。实现并行文件系统的容错主要有两种方式:软件磁盘阵列和数据复制。这两种技术对系统的负载平衡和可扩展性都没有提供很好的支持。在PVFS(Parallel virtual file system)的基础上对并行文件系统数据容错进行研究,采用了一种以每个文件为一个复制组、以PVFS子文件为复制单位的数据复制策略,并利用该策略实现了并行文件系统的数据容错。用户应用程序可以根据对文件可靠性的不同要求,指定文件在系统中存放的副本个数,从而使不同文件有不同的可靠性。元数据管理器按照数据放置策略使一个I/O节点的所有子文件的副本可以平均分布在所有其他I/O节点上。在任一I/O节点失效后,其上的工作负载能够平均分布到所有其它没有失效的I/O节点上。节点重新加入集群进行数据一致性的恢复时,系统使一致性恢复负载也能够平均分布到整个集群内。以上几点使此数据复制技术与传统的数据复制技术相比更有利于系统的负载平衡、增强系统的可扩展性。

全文目录

摘要  3-4
ABSTRACT  4-7
1 绪论  7-19
  1.1 课题背景  7-9
  1.2 研究现状  9-17
  1.3 课题主要研究内容  17-19
2 系统设计  19-30
  2.1 系统总体结构  19-21
  2.2 元数据管理器和元数据  21-24
  2.3 I/O守护进程  24-27
  2.4 客户端API  27-29
  2.5 小结  29-30
3 系统实现  30-40
  3.1 I/O节点失效检测  30-31
  3.2 成员管理  31-32
  3.3 副本一致性维护  32-34
  3.4 副本一致性恢复  34-37
  3.5 请求重新定位  37-38
  3.6 数据放置策略  38-39
  3.7 小结  39-40
4 系统测试与结果分析  40-43
  4.1 测试环境和方法  40
  4.2 正常工作时的性能测试  40-41
  4.3 节点失效后性能测试  41-42
  4.4 小结  42-43
结束语  43-45
致谢  45-46
参考文献  46-50
附录攻读学位期间发表的学术论文  50

并行文件系统数据容错研究

内容摘要

全文目录

相似论文