学位论文 > 优秀研究生学位论文题录展示

基于HADOOP架构的社保项目网络日志分析系统的研究

作　者: 张梓钧
导　师: 侯晓荣；尹昌睿
学　校: 电子科技大学
专　业: 软件工程
关键词: Hadoop 社保行业网络系统 syslog
分类号: TP311.52
类　型: 硕士论文
年　份: 2011年
下　载: 168次
引　用: 1次
阅　读: 论文下载

内容摘要

社会保险业务作为全国一项基本惠民国策,正在有序而实效的展开。随着业务系统的不断增加,系统需要管理的设备也不断增加,硬件系统故障也越来越多。查看网络日志作为一个基本手段,是查看、解决系统故障的重要措施,也是监控系统运行状态的重要方法。但目前日志信息数据量大,难以理解,对系统管理员来说手工查看记录日志来说,不仅数据量太大的问题难以解决,更会直接导致对系统日志中的有用信息难以发现。本文使用Hadoop分布式计算框架来解决这个问题,利用使用系统自带的syslog日志进行收集、整理工作。细致对Hadoop分布式框架进行分析,对原有系统syslog文件传输进行分析,在此基础上对原有分布在在各地需要的主机快速有效的收集日志,设计并实现一套基于Hadoop的社保网络日志分析系统,实现原有syslog日志文件整理、分析。本文综合考虑到目前社保网络中的日志特点,使用Hadoop的HDFS分布式文件系统进行搭建环境,为原系统提供有效、实用、快速的分析结果,使用户对整体网络系统做到心中有数,使整体系统满足社保行业发展需要,同时也验证基于hadoop框架结构的网络日志分析系统是有效而实用的。

全文目录

摘要  4-5
ABSTRACT  5-8
第一章绪论  8-12
  1.1 研究背景及意义  8-10
  1.2 研究现状和发展  10
  1.3 研究内容和组织  10-12
第二章 hadoop 架构基本原理及相关技术  12-15
  2.1 Hadoop 架构概述  12
  2.2 hadoop 架构设计原则  12
  2.3 hadoop 架构实现技术  12-15
    2.3.1 Mapreduce  12-13
    2.3.2 HDFS  13-14
    2.3.3 Syslog 文件  14-15
第三章网络日志管理系统简介  15-21
  3.1 日志管理系统发展  15-16
  3.2 系统整体解决方案  16-20
    3.2.1 整体框架简介  16-17
    3.2.2 J2EE 架构设计  17-18
    3.2.3 MVC 模式  18-20
  3.3 本章小结  20-21
第四章网络日志管理系统需求分析  21-28
  4.1 社保系统网络需求分析  21-22
  4.2 网络日志系统功能分析  22
  4.3 系统流程分析  22-24
    4.3.1 数据流模块描述  23
    4.3.2 数据流程图展现  23-24
  4.4 系统用例图  24-26
    4.4.1 系统整体用例图  24-25
    4.4.2 系统管理员专用用例图  25-26
  4.5 本章小结  26-28
第五章基于hadoop 系统框架设计  28-32
  5.1 Hadoop 系统框架硬件搭建设计  28
  5.2 Hadoop 框架下的系统模型设计  28-30
    5.2.1 HDFS 架构系统实现  29-30
    5.2.2 文件系统运行设计  30
  5.3 开发环境及工具  30-31
  5.4 本章小结  31-32
第六章网络日志管理系统设计  32-39
  6.1 系统活动图  32-33
  6.2 系统时序图  33-34
  6.3 系统分层设计  34-35
  6.4 系统功能描述  35-37
  6.5 性能要求  37
  6.6 数据处理  37-38
  6.7 其他要求  38
  6.8 本章小结  38-39
第七章网络日志管理系统实现  39-56
  7.1 系统日志收集  39-41
  7.2 系统日志写入  41-43
  7.3 日志分析功能实现  43
  7.4 日志分析系统规划  43-49
    7.4.1 tail 命令实现  44-46
    7.4.2 find 命令实现  46-49
  7.5 系统运行环境  49-55
    7.5.1 软件环境  49-50
    7.5.2 硬件环境  50-51
    7.5.3 测试部署  51-55
  7.6 本章小结  55-56
第八章结论  56-57
致谢  57-58
参考文献  58-60

相似论文

基于Map/Reduce框架的分布式日志分析系统的研究及应用,TP311.52
基于Hadoop的在线购物原型系统的设计与实现,TP311.52
基于Hadoop的移动学习系统设计与实现,G434
基于MapReduce模型的eMTM三维人体模型生成引擎,TP391.41
基于云计算的软件资源服务平台研究,TP311.52
海量数据的快速查询算法研究,TP311.13
高速网络环境下的入侵检测系统的研究,TP393.08
云计算平台上的增量学习研究,TP311.13
云队列：一个基于Hadoop的大规模消息基础平台,TP311.52
基于Hadoop的文本分类研究,TP391.1
基于Hadoop的分布式服务注册中心研究和实现,TP393.09
基于多核CPU的任务级数据处理研究及其在集群平台下的性能测试,TP274
基于Hadoop的视频转码系统设计与实现,TN919.81
云环境下MapReduce容错技术的研究,TP302.8
基于云存储的手机数据备份系统,TP309.3
基于Hadoop/Hive的海量web日志处理系统的设计与实现,TP393.09
面向海量数据的云存储系统实现与应用研究,TP333
基于云计算的海量视频转换平台的设计与实现,TP311.52
MapReduce FairScheduler的高性能优化及超大规模集群模拟器设计及实现,TP311.13
数据密集型计算系统中的作业调度技术研究,TP311.13