学位论文 > 优秀研究生学位论文题录展示

分布式文件系统CeipFS的设计与实现

作　者: 彭龙
导　师: 张春元
学　校: 国防科学技术大学
专　业: 计算机科学与技术
关键词: 文件管理 CeipFS 分布式文件系统 数字校园
分类号: TP309
类　型: 硕士论文
年　份: 2011年
下　载: 24次
引　用: 0次
阅　读: 论文下载
 

内容摘要


随着网络技术的飞速发展,Web 2.0技术已广泛应用在数字化校园中,产生了大量的数据,这些数据大多以文件的形式存储于传统的文件系统中。随着数字化校园建设的不断推进,当文件数量和访问量急剧上升时,传统的文件系统已成为Web应用的瓶颈所在。分布式文件系统有效地解决了海量存储和高并发访问的问题,已成功地为许多Web 2.0应用提供文件存储服务。将分布式文件系统应用在数字化校园中已成为研究的热点。针对数字化校园文件存储现状,通过研究已有分布式文件系统的技术和实现,本文设计了CeipFS分布式文件系统,解决了文件的统一管理和可靠存储问题,针对大量小文件的可靠存储和安全访问进行了优化。本文所做的主要工作包括以下几个方面:1.针对数字化校园文件存储的特点,设计了CeipFS分布式文件系统的框架。通过元数据的分散存储和扁平组织,加快了文件访问的速度。基于注册、汇报机制,实现了动态扩容。对小文件存储做了特殊优化,能有效处理大量小文件的并发访问。2.对系统实现的关键技术和优化措施进行了研究。通过用户块技术解决了多用户的存储问题,对系统的容量均衡和读写均衡技术、副本一致性和缓存一致性问题进行了研究。通过快速删除技术和节约汇报机制进一步提高了系统的性能。3.基于TFS(Taobao File System)实现了CeipFS的原型系统。在TFS的基础上设计并实现了基于Hwang-Li方法的口令认证方法。通过对比实验,证明了该方法的高效性,实现了无需口令表的用户认证。通过用户块技术,提高了用户的授权粒度,在解决非法访问问题上提高了效率。4.对CeipFS在数字化校园中的使用进行了讨论和分析。针对信息系统中文件存储的应用场景,提出了相应的解决方案,通过CeipFS过滤器和下载组件的构建,使CeipFS的应用变得简单。

全文目录


摘要  9-10
ABSTRACT  10-11
第一章 绪论  11-17
  1.1 课题背景  11-12
  1.2 分布式文件系统简介  12-15
  1.3 本文主要工作  15
  1.4 论文结构  15-17
第二章 相关技术研究  17-28
  2.1 元数据管理  17-20
    2.1.1 集中式元数据管理  17-19
    2.1.2 分布式元数据管理  19-20
  2.2 安全问题  20-22
  2.3 一致性和可用性  22-23
  2.4 HDFS 与TFS  23-25
  2.5 Haystack 图片存储架构  25-27
  2.6 本章小结  27-28
第三章 CeipFS 体系结构设计  28-37
  3.1 设计目标  28-30
  3.2 系统总体架构  30-32
  3.3 MetaServer 设计  32-33
  3.4 StoreServer 设计  33-34
  3.5 Client 设计  34-36
  3.6 本章小结  36-37
第四章 CeipFS 关键技术研究  37-54
  4.1 系统安全机制  37-41
    4.1.1 基于Hwang-Li 方法的口令认证架构  38-40
    4.1.2 访问控制列表  40-41
  4.2 均衡机制研究  41-47
    4.2.1 数据存储均衡  42-45
    4.2.2 文件写均衡  45-47
    4.2.3 文件读均衡  47
  4.3 一致性研究  47-50
  4.4 CeipFS 的优化技术  50-53
  4.5 本章小结  53-54
第五章 CeipFS 原型系统实现与评测  54-73
  5.1 MetaServer 实现  54-57
  5.2 StoreServer 实现  57-60
  5.3 Client 实现  60-62
  5.4 口令认证模块集成  62-67
    5.4.1 TBNET 实现分析  62-65
    5.4.2 口令认证模块添加  65-67
  5.5 用户块技术实现  67-68
  5.6 原型系统性能测试  68-72
    5.6.1 测试环境  68-69
    5.6.2 口令认证模块的集成测试  69-70
    5.6.3 用户块技术性能测试  70-71
    5.6.4 客户端缓存时间对性能的影响  71-72
  5.7 本章小结  72-73
第六章 CeipFS 的应用研究  73-78
  6.1 数字化校园中文件存储现状  73
  6.2 CeipFSFilter  73-74
  6.3 CeipFSUploadBean  74-75
  6.4 系统集成  75-77
  6.5 本章小结  77-78
第七章 结束语  78-80
  7.1 工作总结  78
  7.2 不足与展望  78-80
致谢  80-81
参考文献  81-85
作者在学期间取得的学术成果  85

相似论文

  1. 甘肃省电子档案管理研究,G276
  2. 分布式数据的弱一致性维护策略的研究,TP311.13
  3. 一种分布环境下加密文件系统的设计与实现,TP309.7
  4. Hadoop分布式文件系统（HDFS）可靠性的研究与优化,TP316.4
  5. 分布式文件系统中集中安全管理服务器设计与实现,TP316.4
  6. 面向PDM系统的高效文件管理方法研究与实现,TP311.52
  7. 基于数字校园的高校财务管理信息化研究,G647.5
  8. 基于Virtools技术的网络三维漫游校园系统设计与实现,TP393.18
  9. 基于OSGi技术数据中间件研究及其在数字化校园的应用,TP393.18
  10. 基于B/S架构的潍坊学院网络教学系统的设计与实现,TP311.52
  11. Ajax技术在“数字校园”中的应用研究,TP311.52
  12. 基于J2EE的数字校园异构信息集成研究,TP311.52
  13. 基于HDFS的多用户并行文件IO的设计与实现,TP338.6
  14. 基于H.264的嵌入式多媒体存储系统的设计与应用,TN919.82
  15. 山东医专数字校园建设方案设计,G434
  16. 数字虚拟校园漫游项目设计与开发,TP391.41
  17. 面向海量数据的分布式文件系统设计和实现,TP316.4
  18. 分布式文件系统中元数据管理策略的研究,TP316.4
  19. 军校数字校园中学员管理系统的设计与实现,TP311.52
  20. G/S模式下分布式文件系统中数据调度的应用研究,P208

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 一般性问题 > 安全保密
© 2012 www.xueweilunwen.com