学位论文 > 优秀研究生学位论文题录展示

融合深度数据的人机交互手势识别研究

作　者: 张凯
导　师: 杨宗凯; 刘三（女牙）
学　校: 华中师范大学
专　业: 教育技术学
关键词: 手势分割手势跟踪手势识别深度数据
分类号: TP391.41
类　型: 博士论文
年　份: 2013年
下　载: 94次
引　用: 0次
阅　读: 论文下载

内容摘要

基于图像信息的生物特征识别是近些年来计算机视觉研究中的一个重要领域,其中针对人类的各种生物特征的识别是该领域的主要研究内容,相关研究成果多用于自然人机交互、虚拟现实和智能视频监控等方面。进一步地,人类的手势识别研究是人类的生物特征识别中重要的研究内容,它主要从图像数据中分割、跟踪和识别出不同的手势,最终对其加以描述和理解。然而,由于人手的个体差异性,加之其复杂的各种形变,再加上手势在空间和时间上的变化性,以及视觉问题与生俱来的不适定性,这些困难和原因使手势识别成为了一个非常具有挑战性的研究领域。经典的手势识别研究一般包括手势分割、手势跟踪、手势识别等三个阶段,这三个阶段分别对应于计算机视觉研究的图像分析和图像理解两个研究层次。其中手势分割属于图像分析层次,这一阶段把图像中属于手势的像素点划分标识出来,这是整个研究的起点也是最为重要的部分,其结果的优劣会直接影响到后续的研究阶段。手势跟踪也属于图像分析层次,它对图像序列的每一帧图像中属于手势的像素点进行连续的定位和标注。手势识别则属于图像理解层次,它首先将海量的图像数据经过表示与描述成为一系列特征或特征组合,而后在特征空间中对其中的特征点进行分类,最终实现手势的识别。另一方面,多模态数据融合理论认为单一种类传感器数据只能获得被测物体的不完备信息并且较易受环境影响,而多模态信息融合将多种传感器数据进行组合,可以提高系统的可靠性。基于此,本文在传统视觉数据的基础上引入了深度数据,在深度与图像数据融合的基础上分别研究了手势的分割、跟踪和识别三个阶段的算法。基于动态深度阈值的手势分割算法。首先基于MCG-Skin(A BenchMark Human Skin Database,中国科学院计算技术研究所多媒体计算课题组)数据库建立肤色的高斯模型,并获得模型的均值与方差；其次根据深度信息建立人体包括手势部分的深度的高斯混合模型；再次根据深度高斯模型可以得到粗略的动态深度阈值,从而划分出包括手势在内的部分图像；最后将这部分图像输入第一步得到的肤色高斯模型,即可得出每个像素点与肤色的相似度,进而得到肤色相似度图像,然后对该图像应用Otsu’s算法得到手势分割结果。通过多个实验从不同的角度对手势分割算法的可用性进行了检验。基于权重漂移重采样的手势跟踪算法。首先建立相对深度直方图及其相似性概念,以此作为手势跟踪的模板；其次针对传统粒子重采样算法中的粒子退化问题,以后验概率密度梯度非递减为原则进行了粒子重采样,在重采样的过程中不删除粒子,更能保证粒子的多样性。通过多个实验从不同的角度对手势跟踪算法的可用性进行了检验。基于相对径向距离的手势识别算法。针对超球支持向量机在超球相交时类别划分可能出现的问题,提出了不仅基于绝对距离,还要同时基于相对径向距离的超球支持向量机,通过特征点到超球球心的距离与超球半径之比来确定特征点的归属,即满足这个值最小的超球为该特征点的最终归属。通过多个实验从不同的角度对手势识别算法的可用性进行了检验。最后建立了一个面向手势识别的手势图像数据集合,并在上述研究的基础上,设计开发了基于Matlab的手势识别工具箱,实现了手势的分割、跟踪和识别等功能。

全文目录

摘要  5-7
Abstract  7-13
1 绪论  13-24
  1.1 研究背景  13-15
    1.1.1 人机交互  13
    1.1.2 手势  13-14
    1.1.3 研究对象及研究思路  14-15
  1.2 手势分割  15-17
  1.3 手势跟踪  17-18
  1.4 手势识别  18-23
    1.4.1 数据集合  19-22
    1.4.2 支持向量机  22-23
  1.5 本文主要研究内容  23-24
2 融合深度数据的人机交互手势分割研究  24-45
  2.1 引言  24-25
  2.2 颜色空间  25-31
    2.2.1 RGB空间  25-26
    2.2.2 YCrCb空间  26-27
    2.2.3 HSV空间  27-28
    2.2.4 颜色空间的转换  28-29
    2.2.5 颜色空间的选择  29-31
  2.3 高斯模型  31-39
    2.3.1 高斯分布  31-32
    2.3.2 单一高斯模型  32-34
    2.3.3 高斯混合模型  34-39
  2.4 基于动态深度阈值的手势分割算法  39-41
    2.4.1 建立肤色模型  39
    2.4.2 建立深度模型  39-40
    2.4.3 设置深度阈值  40
    2.4.4 手势分割  40-41
  2.5 实验结果及分析  41-44
    2.5.1 实验环境设置  42
    2.5.2 肤色查准率、查全率及ROC曲线  42-43
    2.5.3 深度查准率、查全率及ROC曲线  43-44
    2.5.4 对比与分析  44
  2.6 本章小结  44-45
3 融合深度数据的人机交互手势跟踪研究  45-67
  3.1 引言  45
  3.2 均值漂移算法  45-50
    3.2.1 均值向量的定义  46
    3.2.2 均值向量的扩展  46-47
    3.2.3 均值漂移算法的迭代  47-48
    3.2.4 均值漂移算法的收敛性  48-49
    3.2.5 均值漂移算法的应用  49-50
  3.3 Bayes滤波  50-52
  3.4 粒子滤波算法  52-59
    3.4.1 重要性采样  52-53
    3.4.2 序贯重要性采样  53-55
    3.4.3 重要性概率密度函数  55-57
    3.4.4 重采样方法  57-58
    3.4.5 粒子滤波算法步骤  58-59
  3.5 基于深度模型的手势跟踪算法  59-61
    3.5.1 相对深度直方图  59
    3.5.2 权重漂移重采样  59-60
    3.5.3 手势跟踪  60-61
  3.6 实验结果及分析  61-66
    3.6.1 实验环境设置  62
    3.6.2 三种算法的跟踪结果对比  62-63
    3.6.3 多种图像特征模型的跟踪结果  63-64
    3.6.4 多种距离度量方法的跟踪结果  64-65
    3.6.5 多种粒子重采样方法的跟踪结果  65-66
    3.6.6 对比与分析  66
  3.7 本章小结  66-67
4 融合深度数据的人机交互手势识别研究  67-94
  4.1 引言  67
  4.2 教育手势数据集合  67-70
    4.2.1 静态手势  68
    4.2.2 动态手势  68-69
    4.2.3 手势数据集合结构  69-70
  4.3 静态手势表示与描述  70-73
    4.3.1 手势统计特征  70-72
    4.3.2 手势轮廓特征  72-73
    4.3.3 手势结构特征  73
  4.4 动态手势表示与描述  73-75
    4.4.1 Location  73-74
    4.4.2 Orientation  74
    4.4.3 Velocity  74-75
  4.5 支持向量机  75-86
    4.5.1 问题描述  75-77
    4.5.2 线性可分支持向量机  77-79
    4.5.3 线性支持向量机  79-81
    4.5.4 非线性支持向量机  81-83
    4.5.5 基于相对径向距离的超球支持向量机  83-86
  4.6 基于SVM的静态手势识别  86-90
    4.6.1 实验环境设置  86-87
    4.6.2 三组图像特征向量的识别结果  87-88
    4.6.3 两种分类器的识别结果  88-89
    4.6.4 对比与分析  89-90
  4.7 基于SVM的动态手势运动轨迹识别  90-93
    4.7.1 实验环境设置  90
    4.7.2 融合深度特征与传统特征的识别结果  90-92
    4.7.3 两种分类器的识别结果  92-93
    4.7.4 对比与分析  93
  4.8 本章小结  93-94
5 手势图像数据集合及手势识别工具箱实现  94-103
  5.1 引言  94-95
  5.2 手势图像数据集合设计  95-96
  5.3 手势识别工具箱设计  96-102
    5.3.1 系统概述  96-97
    5.3.2 图像输入模块  97-98
    5.3.3 手势分割模块  98-100
    5.3.4 手势跟踪模块  100-101
    5.3.5 手势识别模块  101-102
    5.3.6 算法上传模块  102
  5.4 系统运行  102
  5.5 本章小结  102-103
6 总结与展望  103-106
  6.1 本文工作总结  103-104
  6.2 本文的主要贡献和创新  104
  6.3 本文存在的不足  104-105
  6.4 下一步的工作  105-106
参考文献  106-114
攻读学位期间发表的论文、科研成果  114-115
致谢  115

融合深度数据的人机交互手势识别研究

内容摘要

全文目录

相似论文