学位论文 > 优秀研究生学位论文题录展示

分布式MySQL数据库集群在线监测系统设计与实现

作　者: 黄旭
导　师: 范国祥
学　校: 哈尔滨工业大学
专　业: 软件工程
关键词: 分布式 MySQL数据库集群在线监测
分类号: TP311.13
类　型: 硕士论文
年　份: 2012年
下　载: 78次
引　用: 0次
阅　读: 论文下载

内容摘要

互联网的发展已经成为了时代发展的代名词，人们对互联网服务的依赖程度逐步增强，对服务的稳定性和健壮性需求越来越强烈，而作为互联网服务核心层的数据层是决定服务质量的关键一层。大型互联网公司往往采用分布式的MySQL数据库集群提供数据服务，如果核心数据库节点发生故障或者数据库配置存在瓶颈，势必会影响服务的质量。因此，在线监测数据库状态，及时发现数据库异常和瓶颈，为数据库故障处理和优化提供支持和决策，这是互联网企业发展研究的重要课题，具有较大研究意义和实用价值。本文结合作者在腾讯科技公司搜索研发运营部从事的分布式MySQL数据库集群维护工作，提出并实现了一套适用于大型互联网公司的分布式MySQL数据库在线监测系统。本系统的后台使用C和C++语言实现，前台程序是使用PHP进行开发的，后台每分钟采集和加工出数据库集群各节点的监测指标数据，前台展示这些指标数据，展示方式主要是各指标的曲线图。实现后的本系统部署在分布式环境下，负责对腾讯搜索―问问社区‖业务以及广告业务的MySQL数据库集群进行在线监测，对异常状态进行告警，协助业务人员了解业务发展的规模和特点，调整业务环境，为优化数据库以及定位业务的瓶颈和缺陷提供支持。论文所研究的技术关键主要有如何全面监测分布式环境下MySQL数据库的运行状态，如何保证系统监测数据的在线性，如何实现MySQL数据库监测指标的可配置性，如何保证系统的高扩展性以良好集成未来新增监测需求，如何保证数据在复杂的网络环境下高效和稳定地传输等。通过本文的研究，最终完成了一套分布式的MySQL数据库集群在线监测系统，为工作人员提供一套完整的监测系统，提高工作的效率，有着较高的使用价值。

全文目录

摘要  4-5
Abstract  5-10
第1章绪论  10-17
  1.1 课题背景及研究的目的和意义  10-12
    1.1.1 课题来源和背景  10-11
    1.1.2 课题研究目的和意义  11-12
  1.2 课题相关国内外研究状况  12-16
    1.2.1 数据库集群基本原理  12-13
    1.2.2 MySQL 数据库介绍  13
    1.2.3 MySQL 集群在线监测系统国外研究现状  13-15
    1.2.4 MySQL 集群在线监测系统国内研究现状  15-16
  1.3 本论文的主要工作内容  16-17
第2章监测系统需求分析  17-24
  2.1 业务需求分析  17-18
    2.1.1 系统网络拓扑  17-18
    2.1.2 系统业务流程  18
  2.2 系统监测指标分析  18-20
    2.2.1 数据库监测指标说明  19-20
    2.2.2 服务器监测指标说明  20
  2.3 系统使用角色分析  20-21
  2.4 系统功能需求分析  21-22
    2.4.1 系统数据信息获取功能需求  21
    2.4.2 监测指标数据计算功能需求  21-22
    2.4.3 异常状态告警功能需求  22
    2.4.4 监测指标合并上传功能需求  22
    2.4.5 监测指标数据入库功能需求  22
    2.4.6 前台逻辑功能需求  22
  2.5 系统非功能需求分析  22-23
  2.6 本章小结  23-24
第3章监测系统设计  24-42
  3.1 系统总体架构  24-25
  3.2 系统功能结构设计  25
  3.3 系统模块设计  25-37
    3.3.1 系统数据信息获取模块设计  25-28
    3.3.2 监测指标数据计算模块设计  28-34
    3.3.3 监测指标计算注册模块设计  34-36
    3.3.4 监测指标合并上传模块设计  36-37
    3.3.5 其它模块设计  37
  3.4 系统数据库设计  37-41
    3.4.1 数据库核心表设计  37-39
    3.4.2 数据库关系图  39-40
    3.4.3 数据库优化策略  40-41
  3.5 本章小结  41-42
第4章监测系统核心模块实现  42-68
  4.1 系统数据信息获取模块实现  42-47
    4.1.1 MySQL 实例状态获取功能  42-44
    4.1.2 数据目录磁盘空间计算功能  44
    4.1.3 MySQL 主从状态获取功能  44-46
    4.1.4 MySQL 配置文件获取功能  46-47
  4.2 监测指标数据计算功能实现  47-60
    4.2.1 二进制日志和 DNS 反解配置项检查功能  47-50
    4.2.2 数据库空间大小计算功能  50
    4.2.3 MySQL 数据库状态计算和 MySQL 配置参数计算功能  50-53
    4.2.4 MySQL 连接进程计算功能  53
    4.2.5 MySQL 主从同步状态计算功能  53-56
    4.2.6 MySQL 慢查询和错误日志获取功能  56
    4.2.7 MySQL 用户权限查看功能  56-59
    4.2.8 MySQL 服务器状态计算功能  59-60
  4.3 监测指标计算注册模块实现  60-61
  4.4 监测指标合并上传模块实现  61-62
  4.5 系统典型运行界面展示  62-67
    4.5.1 监测指标数据界面展示  62-63
    4.5.2 基础查询界面展示  63-66
    4.5.3 SQL 数据统计日报界面展示  66-67
  4.6 本章小结  67-68
第5章监测系统测试  68-83
  5.1 测试环境  68
  5.2 系统功能测试  68-80
    5.2.1 监测数据查询功能测试  69-70
    5.2.2 详细曲线信息查询功能测试  70-71
    5.2.3 用户授权查看功能测试  71-72
    5.2.4 错误日志查看功能测试  72-73
    5.2.5 慢查询日志查看功能测试  73-75
    5.2.6 数据库磁盘占用率查看功能测试  75-76
    5.2.7 MySQL 配置文件查看功能测试  76-78
    5.2.8 连接进程查看功能测试  78-79
    5.2.9 系统告警功能测试  79-80
  5.3 系统性能测试  80-82
    5.3.1 系统数据传输性能测试  80-81
    5.3.2 系统并发性测试  81
    5.3.3 系统资源使用率测试  81-82
  5.4 本章小结  82-83
结论  83-84
参考文献  84-88
致谢  88-89
个人简历  89

分布式MySQL数据库集群在线监测系统设计与实现

内容摘要

全文目录

相似论文