学位论文 > 优秀研究生学位论文题录展示

基于穿戴视觉的人机交互技术

作　者: 李善青
导　师: 贾云得
学　校: 北京理工大学
专　业: 计算机应用技术
关键词: 穿戴视觉人机交互虚拟触摸板目标跟踪交互式视觉感知
分类号: TP11
类　型: 博士论文
年　份: 2010年
下　载: 496次
引　用: 2次
阅　读: 论文下载

内容摘要

基于穿戴视觉的人机交互涉及计算机视觉、人机交互、穿戴计算和认知心理学等多学科领域,主要研究以人为中心、可穿戴、人机协作的视觉计算与感知模式,旨在人、计算机和环境之间构建自然高效的交互和感知通道。该课题是计算机科学领域新的研究方向,不仅具有重要的学术价值,还有广阔的应用前景。本文主要研究基于穿戴视觉的人机交互技术,分别对虚拟触摸板交互、目标自适应跟踪和交互式视觉感知等问题展开探索和研究。我们首先设计和实现了一套穿戴交互系统,该系统是本文研究内容的实验平台。系统由穿戴计算机、立体视觉机、无线麦克和头戴显示器四部分组成。立体视觉机同步获取场景的灰度图和稠密深度图,并由IEEE 1394接口实时传输到穿戴计算机。无线麦克可实时获取穿戴者的音频数据。该系统基于立体视觉和语音可实现多种自然灵活的人机交互模式。穿戴计算环境下自然、高效的手势交互仍然面临诸多困难和挑战。受触摸板交互方式的启发,本文提出一种基于立体视觉的虚拟触摸板交互方法。该方法跟踪指示手势并检测指尖的触碰事件以实现类似触摸板的交互。这种交互技术以一种自然的方式对穿戴者的交互手势和随意手势进行判定,解决了视觉交互中的迈达斯触摸(Midas touch)问题。虚拟触摸板交互的关键技术是手势跟踪和指尖3D定位。为使跟踪算法适应穿戴计算多变的环境,本文基于ICONDENSATION框架融合手势的轮廓、深度和LBP(Local Binary Pattern)等多个特征以提高跟踪的鲁棒性。指尖3D定位问题被建模为计算手势平面与指尖成像直线的交点,解决了指尖区域深度数据缺失情况下的定位问题。实验结果验证了手势跟踪算法的有效性。区域圈取实验验证了虚拟触摸板交互方法的有效性和实用性。为适应穿戴环境下光照、视角、摄像机抖动和部分遮挡等因素的动态变化,本文提出一种快速的自适应目标跟踪方法。该方法采用HOG(Histogram of Oriented Gradients)和LBP特征描述目标表观特征并建立分类器,通过协同训练实现分类器的在线更新,有效解决了自训练学习方法的误差累积问题。为缩小目标搜索的状态空间,我们利用ICONDENSATION的运动模型和重要采样技术提高粒子采样的准确性和效率,并引入校正因子抑制虚假目标的干扰,从而提升了跟踪算法的鲁棒性和分类器更新的准确性。在两组标准测试集和两组自建测试集上的对比实验结果验证了本文所提出的目标跟踪算法的有效性。人的介入是穿戴视觉计算的典型特征和优势,具备以人机协同的方式实现视觉计算的条件。本文提出一种多模态的交互式视觉感知方法,利用人的知识和经验指导计算机快速建立/更新目标的视觉感知模型。当目标感知结果的不确定度超出预定阈值时,计算机主动请求穿戴者对识别结果进行评价或校正。多模态标注在通过指示手势圈取目标区域的同时采用语音识别获取其类别号。这种方法充分利用了视觉和听觉通道的互补性和可并行性,提高了物体标注的自然性和效率。为尽量减少人工干预的次数,本文采用自适应目标跟踪方法实现训练样本的自动收集。基于主动学习的思想,学习算法从训练样本的输入流中挑选包含最多信息量的样本(最近邻分类器给出的匹配置信度低于设定的阈值)用于构建感知模型。一种对旋转、亮度和对比度改变具有不变性的特征被选为目标描述子,以增强感知模型的判别能力。实验结果验证了多模态的交互式视觉感知方法的有效性。

全文目录

摘要  4-6
ABSTRACT  6-8
目录  8-11
图表目录  11-13
第1章绪论  13-39
  1.1 研究背景  13-16
    1.1.1 基于视觉的人机交互  13-14
    1.1.2 穿戴计算与穿戴视觉  14-16
  1.2 研究现状  16-35
    1.2.1 穿戴视觉交互  16-22
    1.2.2 目标建模及特征描述  22-24
    1.2.3 跟踪算法  24-32
    1.2.4 主动学习  32-35
  1.3 论文的主要内容  35-37
  1.4 论文结构  37-39
第2章穿戴交互系统  39-47
  2.1 引言  39
  2.2 相关工作  39-40
  2.3 体系架构  40-43
    2.3.1 硬件配置  41-42
    2.3.2 软件组成  42-43
  2.4 实验平台  43-45
  2.5 系统优点  45-46
  2.6 小结  46-47
第3章基于立体视觉的虚拟触摸板交互方法  47-71
  3.1 引言  47-49
  3.2 粒子滤波器  49-53
    3.2.1 贝叶斯最优估计  49-50
    3.2.2 粒子滤波器  50-51
    3.2.3 ICONDENSATION 算法  51-53
  3.3 指示手势跟踪  53-60
    3.3.1 手势模型  54-57
    3.3.2 粒子预测  57-58
    3.3.3 观测过程  58-59
    3.3.4 算法总结  59-60
  3.4 虚拟触摸板  60-62
    3.4.1 指尖三维定位  60-61
    3.4.2 触碰检测  61-62
  3.5 实验分析  62-68
    3.5.1 CD-PGT 算法跟踪结果  62-64
    3.5.2 两种跟踪方法的对比结果  64-67
    3.5.3 区域圈取实验  67-68
  3.6 小结  68-71
第4章快速的自适应目标跟踪方法  71-89
  4.1 引言  71-73
  4.2 协同训练目标跟踪  73-76
    4.2.1 初始化  73-74
    4.2.2 目标定位  74-75
    4.2.3 分类器更新  75-76
  4.3 基于ICONDENSATION 的协同训练跟踪算法  76-81
    4.3.1 ICONDENSATION 算法  76-77
    4.3.2 粒子采样  77-79
    4.3.3 IC-COT 算法  79-81
  4.4 实验分析  81-87
    4.4.1 基于协同训练和自训练的跟踪结果  81-84
    4.4.2 虚假目标干扰测试  84-86
    4.4.3 时间复杂度  86-87
  4.5 小结  87-89
第5章多模态的交互式视觉感知方法  89-107
  5.1 引言  89-91
  5.2 多模态标注  91-94
    5.2.1 视觉交互  92
    5.2.2 语音交互  92-93
    5.2.3 视听觉融合  93-94
  5.3 目标描述及识别  94-99
    5.3.1 特征提取  94-97
    5.3.2 目标识别  97-99
  5.4 交互式学习  99-101
  5.5 实验结果  101-106
    5.5.1 多模态标注  101-102
    5.5.2 交互式学习  102-106
  5.6 小结  106-107
第6章结论及展望  107-111
  6.1 工作总结  107-108
  6.2 未来工作展望  108-111
参考文献  111-125
攻读学位期间发表论文及申请的专利  125-127
攻读学位期间参加的科研项目  127-129
致谢  129

基于穿戴视觉的人机交互技术

内容摘要

全文目录

相似论文