学位论文 > 优秀研究生学位论文题录展示

基于裸手的自然人机交互关键算法研究

作 者: 廖赟
导 师: 周华
学 校: 云南大学
专 业: 系统分析与集成
关键词: 肤色检测 背景差分 码本建模 轮廓树 指尖定位 运动目标跟踪 人机交互
分类号: TP11
类 型: 博士论文
年 份: 2012年
下 载: 444次
引 用: 1次
阅 读: 论文下载
 

内容摘要


基于计算机视觉的人机交互是自然人机交互技术领域的研究热点,它利用视觉信息从视频序列中捕获并理解人的肢体动作,使人与计算机之间的交互摆脱了鼠标及键盘的约束,人只需要通过肢体动作、手势、表情等自然信息就能与计算机进行交流,突破了从计算机诞生至今在人机交互过程中必须由人来适应机器的屏障,人与计算机之间的交流更加自然、流畅。人手在信息交互过程中蕴含大量信息,因此在人机交互系统中处于非常重要的地位。文献[30]指出,手指交互技术主要有四类应用:手语识别、手势识别、手指书写、虚拟触控,如何获得手指状态信息是其中的关键点。通过附着在手上的特殊设备如:数据手套或传感器可以准确的获得手部3D模型从而获得手部运动和形状的准确信息,然而却要求附加额外的设备,价格昂贵,不易普及应用。随着图像处理、机器视觉、人工智能等学科的不断发展,基于普通摄像头,并以一种机器视觉的方式获得手指状态信息成为可能。这是一种更加自然同时也更加廉价的人机交互方式。然而,由于人手是一种多关节非刚性物体,手指的状态在运动过程中不断发生变化(可高达27个自由度)以及视觉本身的不适定性,使得基于视觉的手指交互是一项极具挑战性的研究。国内外众多学者及相关研究机构在基于视觉的人机交互系统的研究上做出了大量富有成效的研究,然而,由于多数研究对应用环境都做出了苛刻的限制,与真实应用环境出入较大,难以适应真实的应用环境。针对此问题,本文分别提出复杂环境中手势分割算法、实时指尖定位算法和基于Mean Shift及粒子滤波的手部运动跟踪算法,并在以上算法的基础上设计并实现了基于视觉的人机交互系统。具体而言,本文贡献如下:1)复杂环境中的手势分割方面。针对复杂环境下,肤色识别效果较差的问题,本文提出了基于颜色及局部背景差分法的肤色检测算法。该算法首先在YCbCr颜色空间中检测背景中的类肤色区域,并通过基于码本(codebook)的背景建模方法对背景中的类肤色区域进行建模。然后应用亮度无关的静态椭圆肤色模型在YCbCr颜色空间中的CbCr平面上对肤色进行初次检测,如果初次检测结果与背景中的类肤色区域存在重叠部分,则在重叠部分应用局部背景差分法分割出准确的前景肤色区域。该算法能够在复杂环境中准确分割出肤色与非肤色,据有极强的适应能力及较高的执行效率。2)手指指尖定位方面。针对3D手部模型在基于视觉的人机交互系统中过于复杂难以进行实时计算的问题,本文提出了一种简化的手部2D模型,与以往的手部2D模型相比较,该模型的特点是强调手掌重心位置及手指指尖位置,根据该模型只要准确找到手掌重心就能根据指尖与手掌重心的距离关系定位指尖位置。其次,提出了基于距离变换的手掌重心查找算法,该算法能够稳定准确的定位手掌重心,并且查找到的重心位置与手指伸出的数量及状态无关。最后,本文提出了基于距离变换的手指指尖定位算法,本算法能够准确的查找到指尖位置,且运行效率较高,完全满足实时计算任务要求。3)手部运动跟踪方面。对目标进行快速准确的跟踪一直是基于视觉的人机交互系统的研究重点,针对人手的无规则快速运动难以进行有效跟踪的问题,本文提出了基于MeanShift及粒子滤波的四向预测跟踪算法,该算法结合了MeanShift算法及粒子滤波算法各自的优点,当目标发生突然变向运动而导致运动目标跟踪丢失的前景下将启动四向预测机制,对运动目标实施二次预测搜索,该算法能对快速变向运动目标进行有效跟踪,完全满足手部不规则变向运动的实时跟踪要求。4)手部跟踪目标区域初始化方面。在基于区域的跟踪方法中,被跟踪区域的初始化过程通常是人手工标记完成的,如何自动初始化被跟踪目标区域一直是个研究难点,本文提出了一种基于手部特征的跟踪区域自动识别算法,该算法能够有效利用肤色检测及手指指尖查找的结果,与本文提出的指尖查找算法及快速目标跟踪算法据有良好的集成性。5)实时手部运动跟踪及指尖定位方面。由于基于视觉的人机交互系统是一个涉及到计算机图形学、模式识别、人工智能等众多学科领域的复杂系统,因此,如何将处理不同问题的算法进行有效集成,使其成为一个有机的统-体,是任何一个人机交互系统的设计者所必须面对的重要问题。本文对复杂环境肤色检测算法、基于码本的背景建模方法、指尖定位算法及四向预测跟踪算法进行了有效集成,充分考虑了各个算法计算结果的复用性,保证了系统整体的运行效率,形成了基于手部运动及指尖定位的人机交互系统的基础,实验证明该系统能够有效应用于基于计算机视觉的人机交互环境。

全文目录


摘要  3-5
Abstract  5-8
目录  8-10
第一章 引言  10-28
  1.1 研究背景与意义  10-12
  1.2 自然人机交互技术研究现状  12-16
  1.3 基于裸手的自然人机交互  16-22
    1.3.1 手势分割  17-18
    1.3.2 指尖定位  18-19
    1.3.3 手势跟踪  19-22
  1.4 本文工作  22-26
    1.4.1 复杂环境中的手势分割  23-24
    1.4.2 手指指尖定位  24-25
    1.4.3 手势跟踪  25-26
  1.5 论文结构  26-28
第二章 复杂环境中的手势分割  28-72
  2.1 基于颜色的肤色检测技术  28-44
    2.1.1 颜色的基本概念  28-29
    2.1.2 肤色检测中的颜色空间  29-33
    2.1.3 各颜色空间在肤色检查中的比较  33-35
    2.1.4 肤色模型  35-40
    2.1.5 基于YCbCr颜色空间的肤色检测  40-44
  2.2 动态图像分割技术  44-55
    2.2.1 光流法  44-45
    2.2.2 背景差分法  45-52
    2.2.3 帧间差分法  52-53
    2.2.4 运动目标分氯算法的比较  53-55
  2.3 背景噪声去除及连通区域查找  55-66
    2.3.1 轮廓树  56-59
    2.3.2 多边形拟合  59-60
    2.3.3 数学形态学  60-62
    2.3.4 二值图像噪声减除算法比较及分析  62-65
    2.3.5 基于轮廓树及数学形态的二值图像噪声减除算法  65-66
  2.4 基于颜色及局部背景差分的肤色检测算法  66-71
    2.4.1 基于YCbCr颜色空间的肤色检测的不足  66-67
    2.4.2 基于颜色及同部背景差分的肤色检测算法  67-71
  2.5 本章小节  71-72
第三章 实时手指指尖定位  72-85
  3.1 手部模型  72-73
  3.2 手掌重心提取  73-76
    3.2.1 基于距离变换的手掌重心查找算法  73-76
  3.3 基于手掌重心的手指指尖定位算法  76-83
    3.3.1 手指指尖初步定位  76-80
    3.3.2 手指指尖精确定位  80-83
  3.4 本章小结  83-85
第四章 手势跟踪  85-131
  4.1 MEAN SHIFT算法  85-101
    4.1.1 概率密度函数的估计  86-92
    4.1.2 基本Mean Shift算法  92-95
    4.1.3 运动目标跟踪与Mean Shift算法  95-101
  4.2 粒子滤波算法  101-120
    4.2.1 动态系统模型  102-103
    4.2.2 贝叶斯滤波  103-107
    4.2.3 蒙特卡罗积分  107-109
    4.2.4 重要性采样算法  109-111
    4.2.5 序惯重要性采样  111-113
    4.2.6 重采样算法  113-115
    4.2.7 粒子滤波算法总结  115-116
    4.2.8 粒子滤波与运动目标跟踪  116-119
    4.2.9 粒子滤波的缺陷  119-120
  4.3 基于粒子滤波及MEAN SHIFT的四向预测跟踪算法  120-129
    4.3.1 基于粒子滤波及Mean Shift的单向预测跟踪算法  122-125
    4.3.2 单向预测跟踪算法存在的主要问题  125-126
    4.3.3 基于粒子滤波及Mean Shift的四向预测跟踪算法  126-129
  4.4 本章小节  129-131
第五章 实时手部运动跟踪及指尖定位  131-137
  5.1 实时手部运动跟踪及指尖定位算法  131-134
  5.2 人机交互系统设计及实现  134-137
第六章 总结与展望  137-141
  6.1 论文主要贡献  137-139
  6.2 未来的工作  139-141
参考文献  141-151
致谢  151-152

相似论文

  1. 基于嵌入式图像处理单元的运动目标跟踪系统研究,TP391.41
  2. 数字电视互动应用交互系统设计与实现,TP311.52
  3. 基于智能视频检测技术的交通灯控制,TM923.5
  4. 全新的交互体验,TP11
  5. 基于视频的人机交互方式研究,TP391.41
  6. 水平集方法及其在视频车辆检测中的应用研究,TP391.41
  7. 基于Mean Shift的视频监控运动目标的跟踪算法研究与实现,TP391.41
  8. 基于扩频技术的煤矿井下综合自动化系统研究,TN914.42
  9. 群控电梯客流密度实时识别技术研究,TP391.41
  10. 基于OpenCV的人脸检测方法研究,TP391.41
  11. 基于用户体验提高iPhone平台效率型应用软件(APP)使用持续性的研究,TP311.56
  12. J-TEXT托卡马克电源监控系统界面开发,TL631.24
  13. 基于监控视频中运动目标自动检测与跟踪算法的研究与实现,TP391.41
  14. 基于视觉的手势识别技术研究,TP391.41
  15. 基于视频检测技术的智能隧道交通安全监控系统,TP277
  16. 基于DM642的红外成像系统在脸部疲劳状态识别中的应用,TP391.41
  17. 排球视频中的运动目标检测与跟踪,TP391.41
  18. 视频图像序列中运动目标的获取与跟踪,TP391.41
  19. 人形识别关键技术的研究与实现,TP391.41
  20. 不良图像检测系统的设计与实现,TP391.41
  21. 基于广义组合多核高斯函数的图像分类方法研究,TP391.41

中图分类: > 工业技术 > 自动化技术、计算机技术 > 自动化基础理论 > 自动化系统理论
© 2012 www.xueweilunwen.com