学位论文 > 优秀研究生学位论文题录展示

SAN网络环境下基于LVS集群的流媒体服务器的研究

作　者: 王晋鹏
导　师: 潘龙法
学　校: 清华大学
专　业: 仪器科学与技术
关键词: SAN 分级存储 LVS 负载均衡动态反馈模糊优选
分类号: TP393.05
类　型: 硕士论文
年　份: 2004年
下　载: 204次
引　用: 1次
阅　读: 论文下载

内容摘要

视频点播的最大优点在于用户的主动性和选择性,它是信息接受者根据自身需要进行自我完善和自我发展的方式。目前,流媒体技术的全面发展,网络设备、终端设备性能的提高,都极大地促进了流媒体产品的普及应用。在此大背景下,本课题选择将SAN存储网络及集群技术的研究承载在视频点播服务上。依托清华大学先进网络存储实验室,论文提出结合SAN存储网络与LVS集群技术,用数台或数十台价格低廉的普通PC去架构一个高性能、高可伸缩性的视频点播服务器。为了满足系统的高可靠性、可扩展性及高性能,系统采用了开放源代码的LVS集群来架构视频点播服务器;为了减少数据的冗余拷贝及传输带宽,系统以SAN存储网络作为存储子系统,采取的是共享磁盘体系结构;考虑到媒体资源占用存储空间大,系统采用分级存储技术,以降低数据储存成本。此系统在软、硬件协调之后,目前运行良好。由于负载均衡集群与SAN相结合的三层式体系是一种非常典型的系统架构,对此流媒体系统稍加更改,即可用于其它很多场合,具有一定的通用性。论文的另一部分重要工作是在LVS集群软件的基础上提出一种新的具有良好适应性的动态反馈负载均衡算法。目前,LVS软件中共有八种调度算法,它们均属于静态调度算法。由于静态调度算法在很大程度上依赖于调度任务和服务器的静态属性,而我们知道,任务具有波动性,且外界环境也在不断地变化,因此通常静态调度算法无法很好地实现负载的均衡。为了将任务更均衡地分配给各后端服务器,论文提出了动态反馈算法。动态反馈算法通过监视和评估各个服务器的当前负载,然后由此选择负载最轻的服务器去处理新的任务。对服务器负载评估具有模糊性,因此利用模糊数学中的模糊综合评判和模糊相对优选模型对负载进行评估,以实现合理的负载反馈信息。最后,利用搭建起的视频点播服务器平台,对动态反馈算法进行评测。为模拟负载不均衡的情况,论文对其中一台服务器加上额外的负载。测试<WP=4>结果表明,相比其它调度算法,动态反馈算法能够更好地完成负载均衡的任务。特别地,采用动态反馈算法,使系统具有错误冗余的功能。由于集群系统中的负载均衡器定期收集后端服务器的相关信息,因此某台服务器出现故障后,负载均衡器能识别并不再给它分派任务,从而使整个系统对外表现来说,服务不会终止,而仅是服务能力略有下降。

全文目录

第1章引言  12-25
  1.1 课题研究的背景及意义  12-13
  1.2 流媒体服务器概述及现状  13-15
    1.2.1 视频点播服务器的体系结构  14-15
    1.2.2 流媒体服务器的国内、外现状  15
  1.3 存储系统的发展现状  15-20
    1.3.1 存储介质的最新发展  16-17
    1.3.2 存储设备的最新发展  17
    1.3.3 存储系统的发展  17-19
    1.3.4 SAN存储的最新发展  19-20
  1.4 负载均衡集群系统概述  20-23
    1.4.1 基于DNS的负载均衡  21-22
    1.4.2 基于IP层的负载均衡  22
    1.4.3 基于OSI第七层的负载均衡  22-23
    1.4.4 基于特定服务器软件的负载均衡  23
  1.5 论文各部分主要内容  23-24
  1.6 本章小结  24-25
第2章流媒体服务器的设计与实现  25-38
  2.1 流媒体服务器的总体结构  25-26
  2.2 体系结构的选择  26-28
  2.3 存储子系统的设计  28-35
    2.3.1 SAN存储网络的基本组成  28-29
    2.3.2 分级存储系统  29-31
    2.3.3 存储子系统的硬件  31-32
    2.3.4 存储子系统的软件  32-35
  2.4 服务软件  35-36
  2.5 本章小结  36-38
第3章 LVS集群系统研究  38-62
  3.1 基于IP负载均衡技术  38-42
    3.1.1 网络地址转换方式(VS/NAT)  38-39
    3.1.2 IP隧道方式(VS/TUN)  39-40
    3.1.3 直接路由方式(VS/DR)  40-41
    3.1.4 三种负载均衡技术比较  41-42
  3.2 LVS工作原理  42-44
  3.3 LVS软件结构  44-45
  3.4 IP包处理模块  45-52
    3.4.1 NF_IP_LOCAL_IN处理过程  45-49
    3.4.2 NF_IP_FORWARD处理过程  49-51
    3.4.3 NF_IP_POST_ROUTING处理过程  51-52
  3.5 系统的配置、管理  52
  3.6 重要的数据结构及编程接口  52-57
    3.6.1 结构体list_head  53
    3.6.2 结构体ip_vs_scheduler  53
    3.6.3 结构体ip_vs_service和结构体struct ip_vs_dest  53-56
    3.6.4 结构体ip_vs_conn  56-57
    3.6.5 用户空间与内核空间数据传递的程序接口  57
  3.7 LVS现有调度算法分析及动态负载算法的提出  57-61
    3.7.1 八种连接调度算法的工作原理  58-60
    3.7.2 动态反馈调度算法的提出  60-61
  3.8 本章小结  61-62
第4章 DF调度算法的设计与实现  62-81
  4.1 Windows下负载信息的获取  62-67
    4.1.1 监视计数器的种类  64
    4.1.2 监视持续时间和监视间隔时间  64-65
    4.1.3 编写监视代码  65-67
    4.1.4 处理数据  67
  4.2 RS服务器与LB服务器之间的通讯  67-69
  4.3 动态反馈数据在用户空间与内核空间的传递  69-70
  4.4 DF调度算法  70-75
    4.4.1 基于多目标模糊优选模型的动态负载平衡算法  72-74
    4.4.2 加权负载因子算法  74-75
    4.4.3 两种方法比较  75
  4.5 软件编写中的关键点  75-80
    4.5.1 内核空间与用户空间的通讯  75-76
    4.5.2 内核程序中的同步机制  76-79
    4.5.3 多线程工作  79-80
  4.6 本章小结  80-81
第5章 DF算法测试及实验数据分析  81-97
  5.1 测试环境的准备工作  81-84
    5.1.1 硬件环境  82
    5.1.2 软件环境  82-84
  5.2 动态反馈算法的测试及分析  84-96
    5.2.1 正常情况:RS1、RS2均不加额外负荷  85-88
    5.2.2 RS1额外加1MB/s的负荷,RS0保持正常  88-91
    5.2.3 DF算法的动态响应特性  91-93
    5.2.4 改变动态反馈时间间隔的测试  93-95
    5.2.5 系统的冗余保护  95-96
  5.3 本章小结  96-97
第6章结论  97-99
参考文献  99-103
附录1 存储子系统中的相关软、硬件评测  103-104
个人简历、攻读硕士学位期间发表的学术论文  104

相似论文

随机路由在无线传感器网络中的研究与应用,TN929.5
高校教务管理网上选课系统优化研究,TP393.09
基于Linux集群系统的负载均衡算法研究及在Webgis中的应用,TP393.05
LTE-A异构网络中的自组网技术研究,TN929.5
基于一种新经济模型的异构网络选择算法,TN929.5
基于QoS的无线Mesh网络路由协议及相关技术的研究,TN929.5
构建分布式系统的关键技术研究与实现,TP338.8
基于S2SH框架的雅砻江虚拟研究中心系统研究与设计,TP311.52
基于负载均衡的混合型应用层组播模型研究,TP393.02
异构网络联合接纳与切换控制技术研究,TN929.5
基于逻辑卷的分级存储系统设计与实现,TP333
虚拟环境中多网络接口卡I/O调度系统的研究,TP334.7
在线重复数据删除技术的研究与实现,TP333
RFID数据清洗处理策略与算法,TP391.44
基于分布式实时数据库的事务调度策略研究与改进,TP311.13
分布式内存数据库存储研究,TP311.13
负载均衡调度系统的设计与实现,TP393.02
基于CDN和P2P技术的混合流媒体内容分发机制研究,TN919.8
图像检索的并行计算方法与系统,TP391.3
并行与分布入侵检测技术研究,TP393.08
基于负载均衡的3G视频传输系统的设计与实现,TN919.8