学位论文 > 优秀研究生学位论文题录展示

基于云计算的海量视频转换平台的设计与实现

作　者: 刘曌
导　师: 李英壮
学　校: 大连理工大学
专　业: 计算机应用技术
关键词: 海量视频转换云计算架构任务调度策略 Eucalyptus Hadoop
分类号: TP311.52
类　型: 硕士论文
年　份: 2011年
下　载: 164次
引　用: 0次
阅　读: 论文下载

内容摘要

随着互联网的高速发展,对于视频转换业务的要求越来越高,而随着三网融合的进程不断加快,在计算机网络,电信网以及有线电视网之上的视频转换业务呈现出数据海量化,多平台共存,编码标准多样的显著特征。然而,如果采用传统的视频转码方式,无论在效率方面还是通用性方面都有所欠缺。而云计算技术作为一种产生于科学计算模型的商业计算模型,在诸多方面都为满足视频转换业务的需求提供了全新的解决方案。本文首先介绍了云计算的基本理念和发展历史,然后分析了云计算的几种应用模型。在两种云计算的架构层面上,即Iaas层的Eucalyptus和Paas层的Hadoop,结合海量视频转换业务的特点,综合考虑云计算架构的特征,本文设计了海量视频转换的云平台。在本文中,对于海量视频转换云平台的架构和功能进行了详细的设计和实现,包括：云控制层,集群控制层,节点控制层以及虚拟网络。针对海量视频转换业务的特点,本文设计了云平台的业务处理流程。我们知道,如果希望实现云计算架构在两个层面上资源调度的能力,即虚拟机调度和视频任务调度的能力,并能够保证云平台能够高效,可靠,稳定的运作,就必须需要实现三个重要的机制：资源动态处理机制,任务处理的容错机制,平台错误的处理机制,为此,本文设计并实现了云平台的四个核心模块：业务调度模块,任务处理模块,动态处理模块,消息处理模块。四个模块协调合作以保证云平台的正常运转。最后,在实验室搭建的网络环境中,对实现的云平台中进行测试,并且验证了云平台的有效性和正确性。

全文目录

摘要  4-5
Abstract  5-9
引言  9-11
1 云计算  11-27
  1.1 云计算的概念  11-13
  1.2 云计算的特点  13-14
  1.3 云计算的分类  14-15
    1.3.1 按照服务类型进行分类  14-15
    1.3.2 按照服务方式进行分类  15
  1.4 云计算的技术体系结构  15-16
    1.4.1 物理资源层  15
    1.4.2 资源池层  15
    1.4.3 管理中间件层  15-16
    1.4.4 SOA构建层  16
  1.5 云计算的发展现状  16-18
  1.6 Hadoop  18-22
    1.6.1 Hadoop的总体概述  18-19
    1.6.2 HDFS  19-22
  1.7 MapReduce编程模型  22-24
  1.8 Eucalyptus  24-27
    1.8.1 Eucalyptus的概述  24
    1.8.2 Eucalyptus的架构  24-27
2 海量视频文件转换的背景分析  27-29
  2.1 视频转码的实现方案  27
  2.2 海量视频转换业务的特点  27
  2.3 采用云计算技术的视频转码技术的分析  27-29
3 海量视频转换的云平台的设计  29-39
  3.1 基于云计算的海量视频转换平台的设计  29-30
  3.2 云平台的详细设计  30-35
    3.2.1 视频转换核心控制器---云控制器  31-32
    3.2.2 视频转换的集群控制器  32
    3.2.3 视频转换的节点控制器  32-33
    3.2.4 海量视频转换的云平台的访问接口  33-35
    3.2.5 构建虚拟机网络  35
  3.3 海量视频转换的云平台的运作机制  35-39
    3.3.1 用户预估算阶段  36
    3.3.2 用户提交请求阶段  36
    3.3.3 环境生成阶段  36
    3.3.4 用户提交任务阶段  36-37
    3.3.5 平台运行阶段  37
    3.3.6 用户下载任务阶段  37-38
    3.3.7 平台环境的销毁  38-39
4 海量视频转换的云平台主要模块的设计与实现  39-64
  4.1 云平台的业务调度模块  39-43
    4.1.1 主要的数据结构  39-42
    4.1.2 云平台业务主函数的实现方式  42-43
  4.2 云平台的视频任务处理模块的设计与实现  43-54
    4.2.1 任务处理的技术分析  44-45
    4.2.2 任务处理的数据结构  45-48
    4.2.3 任务的调度策略  48-50
    4.2.4 任务队列的处理机制的实现  50-54
  4.3 平台的动态处理模块  54-56
    4.3.1 虚拟机实例的动态增加  54-55
    4.3.2 虚拟机实例的动态销毁  55
    4.3.3 虚拟机实例的坏点处理  55
    4.3.4 任务优先级的动态调整  55-56
  4.4 平台的MapReduce处理模型  56-59
    4.4.1 MapReduce模型的详细论述  56-58
    4.4.2 MapReduce模型的选择  58
    4.4.3 MapReduce模型的实现机制  58-59
  4.5 平台内部的消息通信模块  59-64
    4.5.1 进程之间的通信方式  59-60
    4.5.2 消息传递系统的实现方案  60-61
    4.5.3 集群控制器中的消息处理守护进程  61-63
    4.5.4 云平台的虚拟机实例中消息处理模块slave_daemon  63
    4.5.5 云平台的存储服务器中消息处理模块message_daemon  63-64
6 海量视频转换的云平台的搭建与评估  64-71
  6.1 海量视频转换的云平台的搭建  64-66
    6.1.1 安装Eucalyptus  64
    6.1.2 安装Hadoop系统  64-65
    6.1.3 生成虚拟机实例的镜像文件  65-66
  6.2 海量视频转换的云平台的测试  66-71
    6.2.1 海量视频转换的云平台的理论运行评估  66-67
    6.2.2 海量视频转换的云平台的分析  67
    6.2.3 海量视频转换的云平台的测试结果  67-71
结论  71-72
参考文献  72-74
攻读硕士学位期间发表学术论文情况  74-75
致谢  75-76

基于云计算的海量视频转换平台的设计与实现

内容摘要

全文目录

相似论文