学位论文 > 优秀研究生学位论文题录展示
基于文件访问模式的重复数据删除方法研究
作 者: 曾杰南
导 师: 华宇
学 校: 华中科技大学
专 业: 计算机系统结构
关键词: 重复数据删除 无损压缩 混合索引 数据同步
分类号: TP333
类 型: 硕士论文
年 份: 2013年
下 载: 8次
引 用: 0次
阅 读: 论文下载
内容摘要
随着移动互联网设备的日益普及,移动设备间的数据同步、保护和信息分享的需求越来越迫切。因此最近几年各大公司纷纷推出个人云存储服务。在实际应用中,同步速度越快,用户数据实际存储的空间越小,就越容易让用户满意。因此存储容量优化有着非常重要的作用,对于用户能减少上传的数据量,加快同步速度。对于服务提供商,可以减少存储空间,降低成本。但传统的存储容量优化技术比如:传统的无损压缩算法、delta压缩算法都有自己的局限性,不能提供很高的压缩比例。能够获得更高压缩比例的重复数据删除技术是一种新型的存储容量优化技术,它通过指纹识别内容相同的数据块,最终只存储一份,将其它相同块替换为空间更节省的索引。但是重复数据删除会给系统带来影响,如计算、索引瓶颈、数据可靠性和可读性问题等。为了尽可能减少重复数据删除给系统带来的影响,采用了根据文件访问模式分类,对不同类的文件使用不同的冗余数据删除策略:对于个人修改的文件,让相邻版本进行delta压缩,只需要存储变化的部分;对于个人新建或从其它地方拷贝的文件,进行全局文件级重复数据删除。设计并实现了一个同步模块,并且实现了相关策略。测试结果表明,该策略可以减少用户同步时间和数据实际存储容量,并且让系统开销在可接受的范围内。
|
全文目录
摘要 4-5 Abstract 5-8 1 绪论 8-17 1.1 研究背景 8-9 1.2 国内外研究现状 9-14 1.3 研究目标和主要工作 14-16 1.4 全文结构 16-17 2 系统关键技术 17-25 2.1 重复数据删除技术 17-19 2.2 文件实时检测技术 19-20 2.3 数据压缩技术 20-22 2.4 快速索引技术 22-23 2.5 基于文件访问模式的重复数据删除 23 2.6 本章小结 23-25 3 系统设计与实现 25-47 3.1 系统的总体结构 25-26 3.2 文件实时检测模块设计与实现 26-32 3.3 压缩模块设计与实现 32-38 3.4 索引模块设计与实现 38-44 3.5 工作流程 44-46 3.6 本章小结 46-47 4 系统测试与分析 47-56 4.1 测试环境 47 4.2 压缩测试和分析 47-50 4.3 索引模块测试与分析 50-53 4.4 系统功能测试和分析 53-54 4.5 系统开销测试和分析 54-55 4.6 本章小结 55-56 5 总结 56-57 致谢 57-58 参考文献 58-62
|
相似论文
- 关于数字化校园数据交换平台建设的若干问题研究,TP393.18
- 数据库技术在天然气传输监控系统中的综合应用,TP277
- 地磅系统的设计与实现,TP311.52
- 广域网数据压缩算法的研究与实现,TP391.41
- 军标地图自动注记系统的设计与实现,P285
- 重复数据删除技术的研究与实现,TP333
- 双控制器磁盘阵列数据同步通道中的高速传输技术研究,TP333.35
- 在线备份系统中存储服务器的研究与实现,TP333
- 在线重复数据删除技术的研究与实现,TP333
- 虚拟桌面环境下数据去冗余系统的设计与实现,TP333
- 面向烟草制造业的RFID应用演示平台开发,TP391.44
- 基于Windows CE的监室管理系统设计与开发,TP311.52
- 基于Web Services的上海移动统一帐号管理平台开发,TP311.52
- 一种Oracle数据库容灾系统的应用研究,TP311.13
- 基于R树的空间—文本混合索引方法,P208
- 在某天然气输配控制系统中软冗余技术的研发,TU996
- 基于分布式工作流的安全传输机制的设计与实现,TP311.52
- 数字化变电站的实现与保护配置探析,TM63
- 一种基于多级网格和改进QR-树的混合索引,P208
- 基于邮件系统的远程异构数据库同步的设计与实现,TP311.13
- 基于集分割的无损小波彩色图像编码技术研究,TN919.81
中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 电子数字计算机(不连续作用电子计算机) > 存贮器
© 2012 www.xueweilunwen.com
|