学位论文 > 优秀研究生学位论文题录展示

GPU加速MapReduce集群的设计与实现

作　者: 辛淼
导　师: 王瑞
学　校: 云南大学
专　业: 计算机软件与理论
关键词: MapReduce GPU加速 并行排序 性能优化
分类号: TP338.6
类　型: 硕士论文
年　份: 2013年
下　载: 3次
引　用: 0次
阅　读: 论文下载
 

内容摘要


更快速的处理海量数据,是数据中心计算领域永恒的追求。随着数据量的爆炸式的增长,以及应用领域对于数据处理时效性的要求越来越高,数据处理的压力越来越大。人们不得不着手对现有的大规模数据处理的软硬件架构进行改进。MapReduce作为一种分布式并行计算模型,在企业大数据计算领域得到了广泛的应用。近年来,研究人员着手从各种角度挖掘MapReduce模型的性能潜力,其中,硬件加速的MapReduce是一种新颖的思路。在本文中,我们将介绍一种基于图形处理器(GPU)加速的MapReduce实现平台。GPU是一种高度并行的众核(many-core)处理器,它可以同时发射上千线程,显著提高计算速度。目前在高性能计算等领域,以GPU为代表的异构协处理器已经得到了广泛认可。以此为基础,我们尝试将GPU的强大计算能力与MapReduce模型在数据密集型应用方面的优势相结合,以实现一种基于GPU加速的高性能MapReduce集群。以此为中心,本文所属的课题展开了相应的研究,具体的工作和成果如下：1.设计并实现了一种基于GPU加速的MapReduce实现框架一—GAMR集群系统；2.提出了一种基于GPU的并行排序算法,并应用于GAMR集群系统中,从而将作业运行阶段的排序速度提高了3到8倍；3.详细分析了MapReduce作业的数据流,得到了一种形式化的MapReduce性能量化模型,从而使MapReduce作业的性能评估可以通过公式计算得出；4.提出了一种基于共轭梯度优化算法的自动化MapReduce集群性能优化方法,减少了集群运维人员的工作量；我们工作的核心思想是,将MapReduce模型的并行性从节点间粗粒度的多机(Multi-computer)并行,进一步延伸到节点内细粒度的众核(Many-core)并行,通过异构协处理器来提高MapReudce运行环境的性能。实验测试表明,与其他MapReduce实现环境相比,运行在GAMR集群上的MapReduce作业获得了5倍左右的加速。

全文目录


摘要  3-4
Abstract  4-6
目录  6-9
图表目录  9-10
第一章 绪论  10-16
  1.1 研究背景  12-13
  1.2 研究现状  13-14
  1.3 本文的内容和文章的组织  14-16
    1.3.1 本文的主要内容  14-15
    1.3.2 文章的组织  15-16
第二章 相关介绍  16-28
  2.1 MapReduce介绍  16-21
    2.1.1 MapReduce作业运行流程的分解  18-19
    2.1.2 MapReduce的具体实现  19-21
  2.2 GPU通用计算技术介绍  21-28
    2.2.1 GPU物理结构  23-25
    2.2.2 GPU编程模型  25-28
第三章 GAMR集群系统  28-35
  3.1 基本架构  28-31
    3.1.1 分布式存储模块  28-29
    3.1.2 计算模块  29-30
    3.1.3 性能优化模块  30-31
  3.2 硬件结构  31-32
  3.3 作业运行流程  32-34
  3.4 本章小结  34-35
第四章 GAMR集群上的GPU并行排序算法  35-46
  4.1 GPU-QuickSort算法  35-38
  4.2 Hyper-GPU-QSort：对GPU-QuickSort算法的改进  38-44
    4.2.1 算法改进1：提高初始阶段的硬件利用率  38-40
    4.2.2 算法改进2：提高最后一轮排序的效率  40-44
  4.3 测试与实验结果  44-45
  4.4 本章小结  45-46
第五章 GAMR集群性能模型与作业并行度优化  46-73
  5.1 GAMR集群性能模型  46-67
    5.1.1 Map阶段数据流与性能模型  47-56
    5.1.2 Shuffle阶段数据流与性能模型  56-61
    5.1.3 Reduce阶段数据流与性能模型  61-67
  5.2 模型分析  67-68
  5.3 GAMR作业并行度优化  68-72
    5.3.1 Fletcher-Reeves共轭梯度法  69-70
    5.3.2 基于共轭梯度方法的并行度优化总体框架  70-71
    5.3.3 迭代终止条件  71-72
  5.4 本章小结  72-73
第六章 实验测试  73-79
  6.1 实验环境  73
  6.2 基准测试程序  73-74
    6.2.1 WordCount  74
    6.2.2 K-mean  74
    6.2.3 Gaussian Convolution  74
  6.3 测试结果  74-78
    6.3.1 分项测试  74-76
    6.3.2 综合测试  76-77
    6.3.3 并行度优化的有效性  77-78
  6.4 本章小结  78-79
第七章 总结与展望  79-81
  7.1 本文的贡献个创新点  79
  7.2 下一步的研究  79-81
参考文献  81-85
致谢  85-86
作者学习期间取得的学术成果  86

相似论文

  1. 基于Map/Reduce框架的分布式日志分析系统的研究及应用,TP311.52
  2. 直接体绘制相关技术研究,TP391.41
  3. 高速网络环境下的入侵检测系统的研究,TP393.08
  4. 基于Hadoop的文本分类研究,TP391.1
  5. 基于Hadoop的分布式服务注册中心研究和实现,TP393.09
  6. 基于多核CPU的任务级数据处理研究及其在集群平台下的性能测试,TP274
  7. 数据中心Hadoop部署与追踪系统研究,TP308
  8. 云环境下MapReduce容错技术的研究,TP302.8
  9. 群体仿真算法研究及疏散仿真系统开发,TP391.9
  10. 一个可扩展的MapReduce原型设计与实现,TP311.52
  11. 基于MapReduce的分布式文本数据过滤技术研究与系统实现,TP391.1
  12. 基于段落指纹的大规模近似网页检测算法研究,TP393.092
  13. MapReduce FairScheduler的高性能优化及超大规模集群模拟器设计及实现,TP311.13
  14. 基于列存储的RFID数据的管理技术的研究与应用,TP315
  15. 高性能计算体系结构下的海量数据处理分析与优化,TP338
  16. 分布式系统中的信息流控制模型的研究,TP316.4
  17. 数据密集型计算系统中的作业调度技术研究,TP311.13
  18. 超大跨径CFRP缆索悬索桥力学性能分析及优化设计,U448.25
  19. 基于IaaS云计算的Web应用技术研究,TP393.09
  20. 云计算中MapReduce性能优化及应用,TP3
  21. 基于MapReduce的聚类算法的并行化研究,TP311.13

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 电子数字计算机（不连续作用电子计算机） > 各种电子数字计算机 > 并行计算机
© 2012 www.xueweilunwen.com