学位论文 > 优秀研究生学位论文题录展示

基于分布式文件共享的网格文件复制策略的研究

作　者: 姜鹏
导　师: 胡亮
学　校: 吉林大学
专　业: 网络与信息安全
关键词: 数据网格 OptorSim网格模拟器副本创建策略文件访问模式共享模式
分类号: TP393.01
类　型: 硕士论文
年　份: 2011年
下　载: 23次
引　用: 0次
阅　读: 论文下载

内容摘要

网格是一种新的技术基础设施,作为一种重要的信息技术,网格的目的就是把整个因特网整合成一台巨大的超级计算机,实现Internet上所有资源的共享。网格提供了一种高效率透明的计算能力和具有统一化性质的信息和应用服务。网格中的数据具有可移动、可复制、可缓存、数据集大等特点,因而会存在单个的存储设备不足以存储下一个完整的数据集,此时,我们需要把一个大的数据集分布存储在多个节点的存储设备上。为了提高用户访问速度,需要把网格文件先传输到距离用户较近的位置；为了解决存储系统的可靠性,还需要对数据进行备份。这就提出了数据副本的概念,并要求我们对数据副本的生成方式以及存储位置进行合理的安排。本文首先针对目前流行的三种基本的副本创建策略：最佳客户模型副本策略、瀑布模型副本策略以及快速扩散副本策略进行研究分析。但由于这三种副本策略在实现时只考虑了文件的访问次数,而没有考虑到节点的负载情况,因此本文在此基础上提出了一种最佳客户负载平衡副本策略。这种策略主要是对瀑布模型的改进,只在负载小或者最佳客户节点上创建副本,平衡了节点的负载,减少了节点中作业的等待时间,使网格作业执行效率大大提高。在网格系统下的文件访问模式可分为文件下载模式和文件共享模式两种。近年来研究者们对副本优化策略的改进都是基于文件下载模式的,即对于所需文件都是全部传输到本地,然后再执行文件的操作。而文件共享模式是利用文件共享协议,通过网络直接远程访问存在于网络位置上文件中的数据。相对于文件下载模式,共享模式有两个优势：一是通过使数据传输和作业执行并行来提升作业执行的效率,这就减少了作业执行前用户等待数据传输的时间；二是利用共享模式,作业同样可以将执行结果以共享的方式写入到存储节点中,这样用户可以查看作业执行的中间结果,及时的修改作业执行参数。因此,本文在提出新的副本策略的前提下,从一个新的角度研究数据网格的优化,即对文件共享模式下的网格文件复制策略进行研究。利用文件共享模式,对于所需文件,边传输边运行,从而提高网格的整体运行性能。由于对副本创建策略进行的研究和改进需要在网格环境下进行实验和比较,但一个真实大规模网格环境的设计和实现是一个非常复杂而又庞大的系统工程,网格模拟器的出现解决了这个问题,它可以模拟出各式各样的网格环境,用户可以通过修改参数对其进行调节和控制,得到理想的网格环境。这样就可以在这个虚拟的网格环境中进行副本策略的研究和改进。本文采用OptorSim网格模拟器,在使用该模拟器之前,首先需要对OptorSim模拟器进行深入的研究和剖析,掌握OptorSim的体系结构和内部结构,对它的功能、特点以及适用领域进行分析,适当的加以调整和改变,模拟出我们所需的网格环境。本文通过改进OptorSim模拟器来实现最佳客户模型副本策略、瀑布模型副本策略、快速扩散副本策略以及最佳客户负载平衡副本策略。同时由于在OptorSim模拟器中文件访问模式默认为文件下载模式,因此要实现在文件共享模式,需要重新计算文件传输时间。文件共享访问模式的模拟是通过扩展计算单元重新计算作业的运行时间实现的。我们需要对OptorSim模拟器进行修改,实现文件共享模式,并在此基础上实现文件共享模式下的副本创建策略,进而可以在模拟出的网格环境中进行测试。文中通过实验数据,比较了同一模式下不同的副本优化算法和不同模式间相同的副本优化算法,得出如下结论：(1)无论是文件下载模式或是文件共享模式下,四种副本策略性能从高到低均为：最佳客户负载平衡模型>瀑布模型>快速扩散模型>最佳客户模型；(2)针对同一副本创建策略,文件共享模式下的副本策略性能明显优于文件下载模式下的副本策略。结合上述结论,本文提出了在文件共享模式下的最佳客户负载平衡模型。此模型不但考虑了文件的访问次数,还考虑到了节点的负载情况,并采用数据传输和作业执行并行的文件访问模式来减少作业执行前用户等待数据传输的时间,从而使得网格的运行性能得到了明显的提高。

全文目录

摘要  4-6
Abstract  6-10
第1章绪论  10-17
  1.1 选题背景和意义  10-14
  1.2 研究现状  14-15
    1.2.1 副本管理研究现状  14-15
    1.2.2 文件访问模式现状  15
  1.3 本文主要研究内容  15-17
第2章数据网格副本管理以及文件访问模式  17-26
  2.1 数据网格  17-19
    2.1.1 数据网格的提出  17
    2.1.2 数据网格应用价值  17-18
    2.1.3 数据网格关键技术  18-19
  2.2 数据网格副本管理  19-22
    2.2.1 副本创建  19-20
    2.2.2 副本目录管理  20-21
    2.2.3 副本选择  21-22
  2.3 数据副本创建策略  22-24
    2.3.1 基本副本策略  22-23
    2.3.2 改进的副本策略  23-24
    2.3.3 四种数据副本创建策略总结  24
  2.4 文件访问模式  24-26
第3章 OptorSim网格模拟器  26-37
  3.1 OptorSim模拟器的结构  26-29
    3.1.1 OptorSim的系统结构  26-27
    3.1.2 OptorSim的内部结构  27-28
    3.1.3 OptorSim类功能框架  28-29
  3.2 OptorSim模拟器的配置文件  29-33
    3.2.1 网格配置文件  29-31
    3.2.2 作业配置文件  31-32
    3.2.3 模拟参数文件  32-33
  3.3 OptorSim现有的优化算法  33-35
    3.3.1 无副本算法(NR)  34
    3.3.2 最近最久未使用副本算法(LRU)  34
    3.3.3 最不经常使用副本算法(LFU)  34
    3.3.4 项式预言函数副本算法  34-35
    3.3.5 Zipf-like预言函数副本算法  35
  3.4 OptorSim模拟器的扩展  35-37
第4章副本策略在OptorSim中的实现和性能比较  37-51
  4.1 副本策略在OptorSim中的实现  37-40
    4.1.1 最佳客户、瀑布和快速扩散副本策略的模拟  37-39
    4.1.2 最佳客户负载平衡副本策略的模拟  39-40
  4.2 共享模式在OptorSim中的实现  40-41
  4.3 副本策略评估标准和实验环境  41-46
    4.3.1 副本优化算法的评估标准  41-42
    4.3.2 实验环境介绍  42-46
  4.4 副本策略性能比较与结论  46-51
    4.4.1 同一模式下不同副本策略的比较  46-47
    4.4.2 不同模式下相同副本策略的比较  47-50
    4.4.3 副本策略性能总结  50-51
第5章总结与展望  51-53
  5.1 研究总结  51-52
  5.2 研究展望  52-53
参考文献  53-56
作者简介及在学期间所取得的科研成果  56-57
致谢  57

基于分布式文件共享的网格文件复制策略的研究

内容摘要

全文目录

相似论文