学位论文 > 优秀研究生学位论文题录展示

基于Hadoop的云转码系统研究及性能优化

作　者: 王利锋
导　师: 郑宏云
学　校: 北京交通大学
专　业: 通信与信息系统
关键词: 云计算 Hadoop 云转码 HDFS 负载均衡
分类号: TN919.81
类　型: 硕士论文
年　份: 2014年
下　载: 40次
引　用: 0次
阅　读: 论文下载

内容摘要

摘要：目前,视频流量已经成为互联网的主要流量,各种视频应用层出不穷,从数字高清电视到IPTV。互联网用户使用视频应用的终端也日益多样化,从PC到手机。然而,不同的网络视频平台和终端支持的视频内容和格式,如编码格式、分辨率、帧率等参数不尽相同。为了满足不同平台和用户的视频服务需求,往往需要对视频进行转码,即进行相应的编码格式、分辨率和帧率等格式转换。视频转码是一项非常耗时耗资源的工作,随着视频数量的急剧增长,传统的单机或者集中式转码已经不能满足人们对效率和质量的要求。而云计算通过集中、分配资源可以提供强大的计算能力,并且有良好的扩展性和较高的容错能力。所以可以将视频转码工作转移到云计算平台上。采用云平台进行视频转码,不仅可以承受海量视频数据的存储、转码需求,同时由于云计算本身具有的资源聚集特性,取用方便,费用低廉。在众多的云计算平台中,Hadoop由于其开源特性,是目前应用最为广泛的云计算平台。本论文首先设计和实现了基于Hadoop的云转码系统。该系统利用MapReduce分布式机制进行视频转码。系统包括代理服务器,视频转码模块,Cache模块三大组件。代理服务器负责处理用户的视频服务请求,视频转码模块负责视频处理工作,Cache模块负责管理原视频和转码后的视频文件。接着,论文对所实现的转码系统的性能进行了测试和分析。比较该系统与单机的视频转码性能,测试分析了分段数量和分段大小对系统转码性能的影响,分析了各个阶段在系统执行过程中所占的时间比例。在系统的执行过程中,视频文件需要进行多次对HDFS进行读写,当前HDFS读数据时副本选择策略是选择离客户端网络拓扑距离最近的节点,当热门副本集中在同一节点或者一个机架内时,用户就会对有限的资源进行激烈的竞争,造成该节点或者该机架的负载大大增加,从而影响整个集群的性能。为了克服该不足,论文提出了基于负载均衡的副本选择策略,使用线性加权法定量描述节点的负载量,选择负载量最轻的节点作为读取节点。仿真实验表明,改进的算法有效减少了副本传输时间,增加了HDFS集群的吞吐率。

全文目录

致谢  5-6
中文摘要  6-7
ABSTRACT  7-9
目录  9-12
1 引言  12-16
  1.1 论文背景  12-13
  1.2 国内外云转码研究现状  13-14
  1.3 本文的主要工作及组织结构  14-16
2 Hadoop平台及视频转码技术  16-30
  2.1 云计算概述  16-20
    2.1.1 云计算的概念  16-17
    2.1.2 云计算的关键技术  17-20
  2.2 Hadoop平台概述  20-27
    2.2.1 Hadoop基本架构  20-21
    2.2.2 HDFS架构  21-24
    2.2.3 MapReduce架构  24-27
  2.3 视频转码技术  27-29
    2.3.1 视频压缩标准  27-28
    2.3.2 视频压缩原理  28
    2.3.3 视频转码技术  28-29
  2.4 本章小结  29-30
3 基于Hadoop的云转码系统设计与实现  30-40
  3.1 系统整体架构  30-31
  3.2 代理服务器的设计  31
  3.3 视频转码模块设计  31-34
    3.3.1 视频分割  32-33
    3.3.2 视频转码  33-34
    3.3.3 视频合并  34
  3.4 Cache模块设计  34-35
  3.5 基于MapReduce的视频转码算法  35-39
    3.5.1 InputFormat实现  36-37
    3.5.2 Mapper实现  37-38
    3.5.3 Reducer实现  38-39
  3.6 本章小结  39-40
4 云转码系统性能分析  40-48
  4.1 系统原型  40-41
  4.2 云转码系统与单机转码性能对比  41-43
  4.3 影响系统转码性能的因素分析  43-47
    4.3.1 分段大小对转码性能的影响  43-45
    4.3.2 Slave数量对转码性能的影响  45-46
    4.3.3 系统执行转码过程中几个重要阶段所占时间分析  46-47
  4.4 本章小结  47-48
5 客户端读取HDFS文件性能优化  48-66
  5.1 客户端读取HDFS文件的流程  48-50
  5.2 HDFS中副本读取的选择策略  50-51
    5.2.1 副本放置策略  50-51
    5.2.2 副本读取的选择策略  51
  5.3 基于负载均衡的副本选择策略  51-58
    5.3.1 评价指标  52
    5.3.2 评价函数  52-53
    5.3.3 层次分析法(AHP)介绍  53-56
    5.3.4 使用层次分析法(AHP)确定权系数  56-58
  5.4 负载评价指标的获取  58-59
    5.4.1 CPU和内存使用率的获取  58-59
    5.4.2 网络带宽获取  59
    5.4.3 硬盘I/O负载率获取  59
  5.5 仿真实验及结果分析  59-65
    5.5.1 仿真实验介绍  60-62
    5.5.2 实验结果与分析  62-65
  5.6 本章小结  65-66
6 总结与展望  66-68
  6.1 总结  66
  6.2 展望  66-68
参考文献  68-71
附录A  71-75
附录B  75-77
作者简历  77-79
学位论文数据集  79

基于Hadoop的云转码系统研究及性能优化

内容摘要

全文目录

相似论文