学位论文 > 优秀研究生学位论文题录展示

开敞式码头系泊监控系统数据处理云平台研究

作　者: 孙磊
导　师: 邱占芝
学　校: 大连交通大学
专　业: 计算机应用技术
关键词: 码头系泊监控系统云平台 Hadoop HBase Hive
分类号: TP277
类　型: 硕士论文
年　份: 2013年
下　载: 15次
引　用: 0次
阅　读: 论文下载

内容摘要

随着国际交流的增多,世界航海事业也蓬勃发展,加上我国经济的腾飞,港口现代化程度越来越高,而且我国海岸线绵长,海况复杂,所以系泊作业安全尤为重要。码头系泊监控系统监控系泊作业安全,保证码头作业正常运作,但是开敞式码头系泊监控系统产生的监测数据量非常庞大,海量监控数据存储难以实现,并且各个码头的监控数据格式不统一,海量监控数据没有得到充分共享和挖掘。随着云计算的飞速发展,为上述问题提供了有效的解决方案。学位论文围绕如何设计开敞式码头系泊监控系统数据处理云平台解决方案做了如下工作：首先对开敞式码头系泊监控系统数据处理云平台的可行性做了深入研究,分析海量监控数据存储、海量监控数据挖掘的需求,并且分析了Hadoop、HBase、Hive架构原理,包括HDFS架构、MapReduce分布式计算方法、HBase的API、Hive的HQL语法等,在了解云计算原理的基础上搭建性能优良的云平台。然后在分析了码头监控系统的业务流程和掌握Hadoop云计算原理的基础上,针对监控数据量庞大的特点,设计将海量监控数据存入分布式数据库HBase中,HBase搭建在Hadoop集群之上,这种架构不仅提高了数据存储能力,而且保障了数据的安全。针对频繁与分布式数据库交互效率低下的问题,采用memcache数据缓存技术,设计数据上传进程,分时上传数据,解决频繁交互效率低下的问题。针对Hive和HBase表结构异构的问题,创建了Hive和HBase同时识别的表结构,实现Hive兼容HBase数据格式。在云平台成功搭建基础上,开发基于J2EE的Web系统与云平台交互,作为云平台的接口,提供了海量历史监控数据查询,监控数据分析、挖掘等功能。最后应用Apache Ambari框架监控云平台运行状态,并且提出了调优方案。学位论文设计的开敞式码头系泊监控系统数据处理云平台是解决大规模监控数据存储、监控数抓信息孤立问题的可行方案,经过模拟测试证明开敝式码头系泊监控系统数据处理云平台有着较好的应用价值和经济价值。

全文目录

摘要  5-6
Abstract  6-10
第一章绪论  10-14
  1.1 课题提出背景  10
  1.2 研究目的和意义  10-11
  1.3 国内外相关研究  11-12
    1.3.1 系泊监控研究现状  11
    1.3.2 云计算研究现状  11-12
  1.4 论文主要工作  12-14
第二章技术基础  14-23
  2.1 引言  14
  2.2 Hadoop架构  14-18
    2.2.1 HDFS分布式文件系统  14-16
    2.2.2 Map Reduce计算框架  16-18
  2.3 HBase架构  18-19
  2.4 Hive架构  19-21
  2.5 J2EE架构  21-22
    2.5.1 Tomcat Web服务器  21
    2.5.2 Spring架构  21-22
    2.5.3 Struts2架构  22
  2.6 本章小结  22-23
第三章系泊监控系统云平台设计  23-35
  3.1 引言  23
  3.2 系泊监控系统云平台需求分析  23-25
    3.2.1 系统开发可行性分析  23-24
    3.2.2 系统运行需求  24-25
  3.3 系泊监控系统云平台架构  25-26
  3.4 系泊监控系统云平台数据库  26-28
  3.5 系泊监控系统云平台功能定义  28-34
    3.5.1 泊位监控子系统  28-30
    3.5.2 数据采集与数据分发子系统  30-31
    3.5.3 海量监控数据云存储系统  31-32
    3.5.4 海量监控数据分析子系统  32-34
  3.6 系泊监控系统云平台运行环境  34
    3.6.1 操作系统  34
    3.6.2 技术平台  34
  3.7 本章小结  34-35
第四章系泊监控系统云平台实现  35-58
  4.1 引言  35
  4.2 系泊监控云平台搭建  35-44
    4.2.1 Hadoop架构搭建  36-39
    4.2.2 HBase架构搭建  39-40
    4.2.3 Hive架构搭建  40-43
    4.2.4 Web架构搭建  43-44
  4.3 系泊监控系统云平台实现  44-57
    4.3.1 云平台数据表的创建  44-47
    4.3.2 泊位监控子系统实现  47-48
    4.3.3 Web系统实现  48-51
    4.3.4 数据缓存系统与数据上传进程  51-54
    4.3.5 海量监控数据联机查询  54-56
    4.3.6 海量监控数据挖掘  56-57
  4.4 本章小结  57-58
第五章系泊监控系统云平台调优与·性能测试  58-64
  5.1 引言  58
  5.2 系泊监控系统云平台优化  58-60
    5.2.1 map和reduce启动参数设置  58-59
    5.2.2 block.size设置  59
    5.2.3 io.sort.mb设置  59
    5.2.4 hbase.hregion.max.filesize设置  59
    5.2.5 DataNode重启  59
    5.2.6 DataNode节点增加  59-60
    5.2.7 DataNode节点卸载  60
  5.4 系泊监控系统云平台监控  60-62
  5.5 系泊监控系统云平台测试  62-63
  5.6 本章小结  63-64
总结  64-65
参考文献  65-67
攻读硕士学位期间发表的学术论文  67-68
攻读硕士学位期间参加的科研项目  68-69
致谢  69

相似论文

基于Map/Reduce框架的分布式日志分析系统的研究及应用,TP311.52
基于Hadoop的在线购物原型系统的设计与实现,TP311.52
基于Hadoop的移动学习系统设计与实现,G434
基于HADOOP架构的社保项目网络日志分析系统的研究,TP311.52
基于MapReduce模型的eMTM三维人体模型生成引擎,TP391.41
基于云计算的软件资源服务平台研究,TP311.52
海量数据的快速查询算法研究,TP311.13
高速网络环境下的入侵检测系统的研究,TP393.08
云计算平台上的增量学习研究,TP311.13
云队列：一个基于Hadoop的大规模消息基础平台,TP311.52
基于Hadoop的文本分类研究,TP391.1
基于Hadoop的分布式服务注册中心研究和实现,TP393.09
基于多核CPU的任务级数据处理研究及其在集群平台下的性能测试,TP274
基于Hadoop的视频转码系统设计与实现,TN919.81
基于Linux平台的局域网云监控系统的分析与实现,TP311.52
云环境下MapReduce容错技术的研究,TP302.8
基于云存储的手机数据备份系统,TP309.3
基于Hadoop/Hive的海量web日志处理系统的设计与实现,TP393.09
面向海量数据的云存储系统实现与应用研究,TP333
基于云计算的海量视频转换平台的设计与实现,TP311.52
MapReduce FairScheduler的高性能优化及超大规模集群模拟器设计及实现,TP311.13