学位论文 > 优秀研究生学位论文题录展示

存储系统中测试数据集的构建方法研究

作　者: 何双宁
导　师: 华宇
学　校: 华中科技大学
专　业: 计算机系统结构
关键词: 文件系统负载合成文件系统镜像自相似性
分类号: TP333
类　型: 硕士论文
年　份: 2013年
下　载: 1次
引　用: 0次
阅　读: 论文下载

内容摘要

随着大数据(Big Data)的应用越来越广泛，社会对信息存储的需求在不断地增大；而且随着存储技术的发展，存储系统架构和存储系统软件都变得复杂多样；此外，应用环境，存储的数据也越来越复杂多变；因此，存储系统的管理测试，性能优化等工作变得异常困难和重要。存储系统的性能测试，文件系统元数据管理等方面的研究，都需要大量的负载数据，但数据来源多是以前的trace数据集，这些数据集通常存在数据信息不完整，各种操作混合的问题；而且，现公开的trace数据集缺少相应的文件系统元数据的镜像数据。另外，目前还没有针对大数据应用环境下的可用trace数据集。针对以上问题，提出了一种基于统计分析的采用自相似性模型的trace数据集构建方法。该方法能够生成精确的可重现的文件系统镜像，并能合成相应的大规模的，可定制的文件系统动态负载数据集。文件系统trace负载合成系统通过对实际trace数据集的统计分析，得出动态属性的负载模型并加以评估，用文件系统镜像生成引擎生成文件系统的镜像，用动态负载生成引擎采用自相似模型方法(Self-similarity)来合成动态的可定制的动态负载数据集。实验结果表明，提出的方法能精确地生成文件系统镜像负载；合成的trace数据集的时间到达模式(Arrival Pattern)具有非常高的自相似突发性，其自相似性参数H几乎接近1；而且合成I/O负载的访问模式(Access Pattern)具有较好的突发性和时空局部性。此外，该方法能合成自适应的动态trace数据集。

全文目录

摘要  4-5
Abstract  5-8
1 绪论  8-13
  1.1 研究背景及意义  8-9
  1.2 国内外研究现状  9-10
  1.3 研究目标和主要工作  10-11
  1.4 论文的结构  11-13
2 相关技术介绍  13-20
  2.1 存储系统中 trace 数据  13-14
  2.2 I/O 负载合成的相关理论和方法  14-19
  2.3 本章小结  19-20
3 文件系统 trace 负载合成系统的设计  20-31
  3.1 系统整体框架结构  20-22
  3.2 系统设计思想  22-23
  3.3 基于统计分析的自相似性负载合成方法设计  23-30
  3.4 本章小结  30-31
4 文件系统 trace 负载合成系统的实现  31-40
  4.1 统计分析模块的实现  31-32
  4.2 文件系统镜像生成模块的实现  32-35
  4.3 动态负载生成模块的实现  35-39
  4.4 本章小结  39-40
5 测试与分析  40-48
  5.1 测试环境  40
  5.2 实验测试数据集  40
  5.3 测试结果及分析  40-47
  5.4 本章小结  47-48
6 全文总结  48-50
致谢  50-51
参考文献  51-55

存储系统中测试数据集的构建方法研究

内容摘要

全文目录

相似论文