学位论文 > 优秀研究生学位论文题录展示

视频监控系统中数据的存取优化技术研究

作　者: 姚传威
导　师: 邵志远
学　校: 华中科技大学
专　业: 计算机软件与理论
关键词: 视频监控分布式文件系统存取优化小文件
分类号: TN948.6
类　型: 硕士论文
年　份: 2013年
下　载: 30次
引　用: 0次
阅　读: 论文下载

内容摘要

随着人们对公共安全越来越重视，视频监控系统在安全防范领域的作用日益突出。现代的视频监控系统需要存储海量的数据，包括视频数据和小文件数据（关键帧、运动物体截图）等，对这些数据进行高效的存取是非常重要的。基于Hadoop分布式框架对海量的视频监控数据进行存储和处理。Hadoop在对海量的视频监控数据进行存储和处理的过程中存在两个问题：其一，OpenCV没有提供解析二进制视频流的接口，导致对视频进行分布式处理时视频的读取性能较差。其二，分布式文件系统对于大文件的流式访问效率非常高，但是对于小文件的存取性能非常低下。根据OpenCV解析本地视频文件的原理，通过将二进制视频流顺序传输到解码包的缓冲区中，调用解码器对解码包中的数据进行解析，实现了二进制视频流的解析和视频的读取优化，以减少Map任务的执行时间。在分布式文件系统中增加小文件的处理模块，利用视频监控系统中小文件存取的相关性及连续性的特点，将系统中的小文件合并成大文件进行存取，以提高小文件的写入性能；采取两级元数据机制以减少元数据节点的内存占用，有效的利用数据节点的内存：在元数据节点中保存小文件的一级索引信息，在数据节点中保存小文件的二级索引信息；另外在数据节点中采用分布独立式缓存结构，利用小文件数据存取的连续性，对文件数据进行缓存预取，以提高小文件的读取性能。实验表明，基于二进制流的解析方法的视频解析速度比现有的方法提高了10%~30%；对于视频监控系统中的小文件，相比于原生的HDFS，改进后的HDFS的小文件写入速度整体提高了57%~62%，读取速度提高了10%~13%，元数据节点的内存使用整体减少了5%~12%。

全文目录

摘要  4-5
Abstract  5-7
1 绪论  7-18
  1.1 问题提出  7-8
  1.2 国内外研究概况  8-15
  1.3 课题背景和研究内容  15-16
  1.4 文章的组织结构  16-18
2 视频监控系统中数据的存取分析及方案设计  18-30
  2.1 视频监控系统中数据存取的特点及框架  18-20
  2.2 视频监控系统中数据处理流程  20-22
  2.3 视频数据读取优化的设计  22-23
  2.4 小文件数据处理的设计  23-29
  2.5 本章小结  29-30
3 视频监控系统中数据存取优化的主要实现技术  30-48
  3.1 视频的二进制流解析和优化  30-34
  3.2 小文件 I/O 的优化策略  34-40
  3.3 改进后的小文件 I/O 操作  40-47
  3.4 本章小结  47-48
4 系统测试  48-57
  4.1 测试环境  48-49
  4.2 系统功能测试  49-51
  4.3 视频二进制流解析性能测试  51-52
  4.4 小文件 I/O 性能测试  52-56
  4.5 本章小结  56-57
5 总结与展望  57-59
致谢  59-61
参考文献  61-66
附录 1 攻读学位期间参加的主要科研项目  66-67
附录 2 攻读学位期间申请的专利  67

相似论文

基于物联网的农产品安全监控系统与决策系统研究,TP277
政府信息公开环境下的文件档案开放问题研究,D922.16
基于智能视频检测技术的交通灯控制,TM923.5
基于WINDOWS平台文件安全机制的研究,TP309
高速走丝线切割机自动编程系统研究,TG484
甘肃省电子档案管理研究,G276
矿区多源遥感影像集成管理系统的设计与实现,P208
立式数控铣削仿真加工系统研制,TG547
基于OGSA的IVS研究及设计,TP391.41
基于Map/Reduce框架的分布式日志分析系统的研究及应用,TP311.52
行政规范性文件后评估制度研究,D922.1
星载多片闪存磨损均衡策略研究,TP333
基于大容量NAND闪存文件系统关键技术研究,TP333
面向电子取证的数据获取方法及实现,TP399
视频监控若干技术研究,TP391.41
基于Mean Shift的视频监控运动目标的跟踪算法研究与实现,TP391.41
基于色谱法的梯度洗脱系统的设计,O657.7
H.264编码技术在视频监控系统中的研究与应用,TP277
运动目标检测算法研究,TP391.41
营区智能值班管理系统的设计与实现,TP311.52
基于混合高斯的背景建模与更新算法的研究与实现,TP391.41