学位论文 > 优秀研究生学位论文题录展示
分级存储中数据迁移机制的实现
作 者: 徐琼瑶
导 师: 曹强
学 校: 华中科技大学
专 业: 计算机系统结构
关键词: 数据迁移 分级存储 访问热度 迁移策略 数据一致性
分类号: TP333
类 型: 硕士论文
年 份: 2013年
下 载: 13次
引 用: 0次
阅 读: 论文下载
内容摘要
分级存储的设计初衷是将数据按访问热度的不同存储于不同性能的存储设备上,最大化存储利用率。当数据的热度发生变化时,便将数据迁移至更符合其当前热度值的存储设备上。因此,对于分级存储系统而言,设计对前台应用透明、高效的数据迁移机制具有重要的研究价值。迁移过程主要分为三个模块来设计:热度统计模块、策略匹配模块以及数据迁移模块。热度统计模块在通用块层实现访问频度计数,支持基于访问频度与时间权重值的热度评价。策略匹配模块建立可定制的策略规则和通用规则,设计了基于物理卷(PV)占用率的阈值动态调整算法和基于存储节点负载均衡的PV申请算法。数据迁移模块实现三种能够断点续传的数据迁移算法:(1)将读取的源卷数据块写入目的卷对应数据块的简单数据迁移算法(SCP);(2)基于Device-mapper中内核复制线程(kcopy)并实现数据一致性的数据迁移算法(I-kcopy);(3)基于SCP迁移并实现读写并行的数据迁移算法(RWCP)。另外,为保障迁移后数据的一致性,设计并分析了基于记录-写策略的一致性方案,以及基于分段处理的一致性方案。具体实现了数据迁移机制的原型HSDM_COPY,并对其数据迁移速度及数据迁移过程中对用户性能的影响两个方面进行测试。实验数据表明,在高负载强度的情况下,数据迁移使磁盘吞吐率下降10%~25%,在正常情况下,数据迁移基本不影响用户对系统的正常访问。
|
全文目录
摘要 4-5 Abstract 5-8 1 绪论 8-15 1.1 课题背景 8-10 1.2 课题研究现状 10-13 1.3 课题研究目的及内容 13-14 1.4 论文组织结构 14-15 2 系统设计 15-34 2.1 热度统计 15-18 2.2 迁移策略 18-22 2.3 迁移算法 22-28 2.4 数据一致性 28-32 2.5 数据交换 32-33 2.6 本章小结 33-34 3 数据迁移的实现 34-45 3.1 系统原型简介 34-35 3.2 热度统计模块 35-37 3.3 策略匹配模块 37-40 3.4 数据迁移模块 40-44 3.5 本章小结 44-45 4 数据迁移测试和性能分析 45-54 4.1 测试环境 45 4.2 测试内容及方法 45-46 4.3 测试结果与分析 46-53 4.4 本章小结 53-54 5 总结与展望 54-56 5.1 工作总结 54-55 5.2 工作展望 55-56 致谢 56-57 参考文献 57-60
|
相似论文
- 基于.NET Framework的网站数据库迁移,TP311.13
- 工作流动态变更处理技术,TP311.52
- 基于逻辑卷的分级存储系统设计与实现,TP333
- 在线重复数据删除技术的研究与实现,TP333
- 基于移动代理的商品搜索技术研究,TP391.3
- 海量存储系统中数据分级存储的关键技术研究,TP333
- 基于分级存储管理的数字业务容灾规划研究,TP309.2
- 数据分级存储结构与算法研究,TP333
- 基于信息生命周期管理的数据迁移技术研究,TP333
- 汽车产业链协作ASP平台数据归档与重构的策略研究,TP311.52
- “一户式查询系统”中数据集成技术研究与实现,TP311.13
- 基于数据一致性分析的仿真模型验证方法及工具研究,N945.13
- 分布式数据库的数据加锁与一致性研究,TP311.13
- 基于异构ERP系统的数据迁移技术应用研究,TP311.13
- P2P分布式存储系统中的关键技术研究,TP393.02
- 网络化加油站管理系统中关键技术的研究与实现,TP311.52
- 基于时间戳的数据同步技术实现研究,TP311.13
- 变电站设备运行信息远程监测系统的设计与实现,TM76
- 基于数据广播的移动数据库缓存策略研究,TP311.13
- 广域网络备份系统中数据备份代理的研究与实现,TP309.3
- 移动实时数据库系统的复制与同步技术研究,TP311.13
中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 电子数字计算机(不连续作用电子计算机) > 存贮器
© 2012 www.xueweilunwen.com
|