学位论文 > 优秀研究生学位论文题录展示

分布式并行文件系统的研究

作　者: 何进
导　师: 刘心松
学　校: 电子科技大学
专　业: 计算机应用技术
关键词: 分布式并行文件系统 日志记录 检查点 日志恢 2PLR Agent-DPL
分类号: TP316
类　型: 硕士论文
年　份: 2004年
下　载: 226次
引　用: 0次
阅　读: 论文下载
 

内容摘要


伴随着社会生活诸多方面的信息化发展,越来越多的信息被数字化。Internet狂飙突进式的发展,更使得数字化的信息出现了爆炸式增长,并且这种增长趋势近年愈演愈烈。如何存取和管理这些数字化的信息(数据)已成为人们普遍关注的焦点。分布式并行文件系统以其特有的高容错性、高性价比、高可扩展性,顺应了信息爆炸增长的趋势。 分布式并行日志系统作为分布式并行文件系统的关键部分,对于提高分布式并行文件系统的可靠性和可用性,具有不可替代的重要作用。人们常常将日志系统的优劣作为评判一个分布式并行文件系统性能的主要指标之一。当今分布式日志系统存在磁盘消耗大、I/O操作次数多、恢复效率低以及恢复过程中不能同时提供服务等诸多缺点,严重影响了分布式并行文件系统高可靠性、高可用性和多并发性。针对当前日志系统的这些缺陷,本文提出了一种高效率、高可靠的分布式并行日志系统——基于代理的动态并行日志系统(Agent-DPL)。 Agent-DPL系统采用少量持有者(拥有完整日志记录的节点)记录并保存日志,而引用者(不保存日志记录只保存日志索引的节点)只保存日志索引。当引用者需要日志时,根据日志索引向持有者按需请求日志记录,从而克服了各节点都保存日志造成大量的磁盘开销。日志持有者将日志记录缓存起来,当缓存达到某个上限时,再将其刷新到磁盘,以减少了I/O操作次数。采用了两阶段并发日志恢复协议(基于Agent日志恢复协议和基于Cache-LDP日志恢复协议)实现日志恢复。在基于Agent日志恢复协议中,日志持有者可以同时服务多个日志引用者的恢复请求,而日志引用者也可以同时向多个日志持有者请求日志,从而克服了串行日志恢复低效的缺陷;基于Cache-LDP日志恢复协议根据预定算法,能够保证在进行日志恢复的同时,不影响DPFS处理来自用户的请求。这样Agent-DPL既能保证系统数据的一致性,又能克服在恢复过程中不能同时提供服务的缺陷。

全文目录


第一章 引言  9-10
第二章 日志系统现状分析  10-20
  2．1 日志记录的现状分析  10-11
    2．1．1 undo日志  10
    2．1．2 redo日志  10-11
    2．1．3 undo／redo日志  11
  2．2 检查点现状分析  11-14
    2．2．1 检查点技术  11-13
    2．2．2 确定恢复点技术  13-14
  2．3 日志恢复算法的现状分析  14-18
    2．3．1 关于事务的进一步讨论  14-16
    2．3．2 局部undo协议  16-17
    2．3．3 全局redo协议  17-18
    2．3．4 协议算法  18
  2．4 现今日志系统的缺陷  18-20
    2．4．1 日志记录的缺陷  18-19
    2．4．2 检查点的缺陷  19
    2．4．3 日志恢复的缺陷  19-20
第三章 DPFS及其日志系统的特殊要求  20-29
  3．1 分布式并行文件系统概述  20-22
    3．1．1 透明性  20-21
    3．1．2 命名和名字解析  21
    3．1．3 Cache一致性  21-22
    3．1．4 可用性  22
    3．1．5 可扩展性  22
  3．2 LINUX虚拟文件系统VFS  22-24
  3．3 DPFS模块结构  24-26
    3．3．1 接口层  24
    3．3．2 逻辑层  24-26
    3．3．3 支撑层  26
  3．4 DPFS日志系统的特殊要求  26-29
    3．4．1 DPFs日志系统的设计目标  27-28
    3．4．2 影响DPFS日志系统性能的因数  28-29
第四章 基于代理的动态并行日志系统(AGENT-DPL)  29-60
  4．1 AGENT-DPL系统模型  29-31
  4．2 AGENT-DPL日志记录  31-36
    4．2．1 日志空间的映象  32-34
    4．2．2 日志空间管理  34-36
  4．3 AGENT-DPL检查点算法  36-38
  4．4 AGENT-DPL两阶段日志并行恢复协议——2PLR  38-54
    4．4．1 基于Agent日志恢复协议  39-44
    4．4．2 基于Cache-LDP日志恢复协议  44-54
  4．5 性能分析：  54-60
    4．5．1 基于Agent日志恢复性能分析  54-56
    4．5．2 基于Cache-LDP性能分析  56-60
第五章 结束语  60-61
参考文献  61-64
致谢  64-65
个人简历  65

相似论文

  1. 并行分布式网络模拟器PDNS容错技术的研究,TP302.8
  2. 农业供应链系统网络平台的构建,S126
  3. 集群模式操作系统软件包生成系统的研究与实现,TP311.52
  4. 人食管癌细胞株EC-9706照射后细胞周期和凋亡的实验研究,R735.1
  5. 基于闪存的嵌入式数据库索引技术设计与实现,TP311.13
  6. 通用应用系统安全审计系统的设计与实现,TP393.08
  7. 亚运气象信息交换平台数据处理模块的设计与实现,TP311.52
  8. 分布式并行文件系统锁管理的研究与设计,TP316
  9. 信息系统的安全审计,TP393.08
  10. 面向服务器的分布式并行文件系统,TN915
  11. 分布式文件系统的研究——并发通信及网络互斥的设计与实现,TP316
  12. 分布式并行文件系统的日志管理,TP316
  13. 分布式并行文件系统安全的研究与实现,TP316
  14. 分布式网络互斥锁的设计与实现,TP393
  15. 分布式并行文件系统的副本管理策略,TP393.09
  16. 嵌入式系统弹性应对方法研究,TP368.1
  17. 若干典型网格应用的容错及性能研究,TP393.01
  18. DADS活化HL-60细胞G_2/M检查点与cyclinB1亚细胞分布和p21的关系,R73-3
  19. 酿酒酵母S期检查点通路上web2基因与ddc2基因的位置关系,Q932
  20. DADS靶向诱导人胃癌细胞分化与周期阻滞及机理研究,R735.2

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 操作系统
© 2012 www.xueweilunwen.com