学位论文 > 优秀研究生学位论文题录展示

基于云平台在线Web挖掘中计算资源动态平衡的研究与实现

作　者: 安伦
导　师: 贾焰
学　校: 国防科学技术大学
专　业: 计算机科学与技术
关键词: Web挖掘 云计算 资源动态平衡 虚拟机池
分类号: TP311.13
类　型: 硕士论文
年　份: 2010年
下　载: 209次
引　用: 0次
阅　读: 论文下载
 

内容摘要


随着因特网的飞速发展,网络上的信息也越来越丰富。网络新闻媒体已被公认为是继报纸、广播、电视之后的“第四媒体”。而且媒体信息的正确性和传播范围都不易掌握。传统的在线Web挖掘系统可以及时发现网络中的舆情信息,对舆论进行引导和监督。但网络中发布的信息在不同的时间段信息量是不一样的,传统的在线Web挖掘系统没有考虑Web中发布的信息量随时间的变化,这既影响了系统的实时性,又降低了资源的利用率。云计算是一种新兴的共享基础架构的方法,可以通过网络按需、易扩展的方式获取所需的资源。本文针对传统在线Web挖掘系统的不足设计实现了一种基于云平台的在线Web挖掘系统,并提出了三种资源动态平衡策略根据信息量变化动态平衡计算资源,最后针对计算资源动态平衡过程中虚拟机数量变化显著的缺点,提出了虚拟机池的概念来管理虚拟机的申请和释放。本文旨在通过以上研究提供在线Web挖掘中实时性满足情况和计算资源利用率。本文主要研究内容如下三个方面:(1)针对传统在线Web挖掘没有考虑Web中发布的信息量的变化,设计实现了一种基于云平台的在线Web挖掘系统。并且为了充分利用云计算的特点,分别设计了基于模板化的网络爬虫和基于计算资源动态平衡的信息处理。(2)在信息处理过程中,本文分别提出了基于预警的计算资源动态平衡策略和基于队列等待时间的平衡策略,利用这两种策略可以根据网络爬虫爬取的网页数量对计算资源进行动态平衡。并通过实验验证了两种策略的有效性,提高了系统的实时性满足情况和计算资源的利用率。(3)由于网络信息量变化的不规律性和经常性,使得在计算资源的动态平衡过程中虚拟机数量变化明显,虚拟机的申请与释放需要消耗大量的时间,降低了系统的实时性。针对这个问题提出了虚拟池的概念。虚拟机池负责管理虚拟机的申请与释放,允许系统反复的使用现有的虚拟机。

全文目录


摘要  8-9
ABSTRACT  9-10
第一章 绪论  10-16
  1.1 课题研究背景  10-11
    1.1.1 网络的快速发展引发了数据爆炸  10
    1.1.2 在线Web 挖掘意义重大  10-11
  1.2 课题研究目的及意义  11-13
  1.3 国内外相关研究  13-14
  1.4 各章节内容介绍  14-16
第二章 相关技术研究  16-24
  2.1 云计算技术  16-18
    2.1.1 云计算定义  16
    2.1.2 云计算特点  16-17
    2.1.3 当前云平台介绍  17-18
  2.2 在线web 挖掘系统  18-21
    2.2.1 在线Web 挖掘系统介绍  18-19
    2.2.2 Web 挖掘分类  19-20
    2.2.3 在线Web 挖掘关键技术  20-21
  2.3 资源缓冲池  21-22
  2.4 本章小结  22-24
第三章 一种基于云平台的在线web挖掘系统  24-33
  3.1 基于模板化网络爬虫  24-31
    3.1.1 模板简介  25-27
    3.1.2 模板库表设计  27-28
    3.1.3 使用模板的优点  28-29
    3.1.4 基于模板化网络爬虫的实现  29-31
  3.2 基于计算资源动态平衡的信息处理  31-32
  3.3 本章小结  32-33
第四章 信息处理中计算资源动态平衡  33-45
  4.1 基于预警机制的平衡策略  34-35
    4.1.1 基于等待队列长度预警的平衡策略  34
    4.1.2 基于最大等待时间预警的平衡策略  34-35
  4.2 基于队列等待时间的平衡策略  35-37
  4.3 基于虚拟机池的资源动态平衡  37-40
    4.3.1 虚拟机池  37-39
    4.3.2 虚拟机释放机制  39-40
  4.4 实验结果分析  40-44
    4.4.1 平衡策略对实时性满足情况的分析与对比  41-42
    4.4.2 平衡策略下处理计算机使用情况分析与对比  42-44
  4.5 本章小结  44-45
第五章 基于云平台在线Web挖掘系统实现  45-58
  5.1 基于EUCALYPTUS 搭建云基础设施服务平台  45-51
    5.1.1 Eucalyptus 介绍  45-47
    5.1.2 系统云基础设施服务平台拓扑结构  47-48
    5.1.3 云基础设施服务平台的接口  48-51
  5.2 控制器的实现  51-53
    5.2.1 信息采集模块  51-52
    5.2.2 计算资源平衡模块  52
    5.2.3 虚拟机管理模块  52-53
  5.3 虚拟机池的实现  53-57
    5.3.1 虚拟机池系统构架  53-54
    5.3.2 对外接口模块  54
    5.3.3 虚拟机队列管理模块  54-55
    5.3.4 虚拟机申请和释放模块  55-57
  5.4 本章小结  57-58
第六章 结束语  58-60
  6.1 总结  58
  6.2 下一步展望  58-60
致谢  60-62
参考文献  62-65
作者在学期间取得的学术成果  65

相似论文

  1. 隐式用户兴趣挖掘的研究与实现,TP311.13
  2. 云计算平台下的动态信任模型的研究,TP309
  3. 基于云计算的数字图书馆服务模式研究,G250.76
  4. 基于Hadoop的在线购物原型系统的设计与实现,TP311.52
  5. 基于Web挖掘技术研究及其在数字图书馆中的应用,G250.76
  6. 基于信誉度的云环境下资源管理的研究,TP315
  7. 基于Google平台促销模块与商品模块的设计与实现,TP311.52
  8. 基于云计算的ITIL运维,TP311.52
  9. 基于云计算的软件资源服务平台研究,TP311.52
  10. 基于人工免疫的病毒检测技术研究,TP393.08
  11. 基于Google云计算平台的Web应用系统设计及实现,TP393.09
  12. 云计算数据隐私保护方法的研究,TP393.08
  13. 基于启发式算法的恶意代码检测系统研究与实现,TP393.08
  14. 基于Hadoop的云存储系统客户端的设计与实现,TP333
  15. 云计算平台上的增量学习研究,TP311.13
  16. 基于云计算平台的电信业务支撑系统中资源提供策略的研究,TP3
  17. 基于Hadoop的视频转码系统设计与实现,TN919.81
  18. 基于Linux平台的局域网云监控系统的分析与实现,TP311.52
  19. 面向逻辑虚拟域的多级访问控制系统,TP309
  20. 基于虚拟机内存模板的云计算服务系统,TP393.09
  21. 云环境下MapReduce容错技术的研究,TP302.8

中图分类: > 工业技术 > 自动化技术、计算机技术 > 计算技术、计算机技术 > 计算机软件 > 程序设计、软件工程 > 程序设计 > 数据库理论与系统
© 2012 www.xueweilunwen.com