学位论文 > 优秀研究生学位论文题录展示
基于穿戴视觉的人机交互技术
作 者: 李善青
导 师: 贾云得
学 校: 北京理工大学
专 业: 计算机应用技术
关键词: 穿戴视觉 人机交互 虚拟触摸板 目标跟踪 交互式视觉感知
分类号: TP11
类 型: 博士论文
年 份: 2010年
下 载: 496次
引 用: 2次
阅 读: 论文下载
内容摘要
基于穿戴视觉的人机交互涉及计算机视觉、人机交互、穿戴计算和认知心理学等多学科领域,主要研究以人为中心、可穿戴、人机协作的视觉计算与感知模式,旨在人、计算机和环境之间构建自然高效的交互和感知通道。该课题是计算机科学领域新的研究方向,不仅具有重要的学术价值,还有广阔的应用前景。本文主要研究基于穿戴视觉的人机交互技术,分别对虚拟触摸板交互、目标自适应跟踪和交互式视觉感知等问题展开探索和研究。我们首先设计和实现了一套穿戴交互系统,该系统是本文研究内容的实验平台。系统由穿戴计算机、立体视觉机、无线麦克和头戴显示器四部分组成。立体视觉机同步获取场景的灰度图和稠密深度图,并由IEEE 1394接口实时传输到穿戴计算机。无线麦克可实时获取穿戴者的音频数据。该系统基于立体视觉和语音可实现多种自然灵活的人机交互模式。穿戴计算环境下自然、高效的手势交互仍然面临诸多困难和挑战。受触摸板交互方式的启发,本文提出一种基于立体视觉的虚拟触摸板交互方法。该方法跟踪指示手势并检测指尖的触碰事件以实现类似触摸板的交互。这种交互技术以一种自然的方式对穿戴者的交互手势和随意手势进行判定,解决了视觉交互中的迈达斯触摸(Midas touch)问题。虚拟触摸板交互的关键技术是手势跟踪和指尖3D定位。为使跟踪算法适应穿戴计算多变的环境,本文基于ICONDENSATION框架融合手势的轮廓、深度和LBP(Local Binary Pattern)等多个特征以提高跟踪的鲁棒性。指尖3D定位问题被建模为计算手势平面与指尖成像直线的交点,解决了指尖区域深度数据缺失情况下的定位问题。实验结果验证了手势跟踪算法的有效性。区域圈取实验验证了虚拟触摸板交互方法的有效性和实用性。为适应穿戴环境下光照、视角、摄像机抖动和部分遮挡等因素的动态变化,本文提出一种快速的自适应目标跟踪方法。该方法采用HOG(Histogram of Oriented Gradients)和LBP特征描述目标表观特征并建立分类器,通过协同训练实现分类器的在线更新,有效解决了自训练学习方法的误差累积问题。为缩小目标搜索的状态空间,我们利用ICONDENSATION的运动模型和重要采样技术提高粒子采样的准确性和效率,并引入校正因子抑制虚假目标的干扰,从而提升了跟踪算法的鲁棒性和分类器更新的准确性。在两组标准测试集和两组自建测试集上的对比实验结果验证了本文所提出的目标跟踪算法的有效性。人的介入是穿戴视觉计算的典型特征和优势,具备以人机协同的方式实现视觉计算的条件。本文提出一种多模态的交互式视觉感知方法,利用人的知识和经验指导计算机快速建立/更新目标的视觉感知模型。当目标感知结果的不确定度超出预定阈值时,计算机主动请求穿戴者对识别结果进行评价或校正。多模态标注在通过指示手势圈取目标区域的同时采用语音识别获取其类别号。这种方法充分利用了视觉和听觉通道的互补性和可并行性,提高了物体标注的自然性和效率。为尽量减少人工干预的次数,本文采用自适应目标跟踪方法实现训练样本的自动收集。基于主动学习的思想,学习算法从训练样本的输入流中挑选包含最多信息量的样本(最近邻分类器给出的匹配置信度低于设定的阈值)用于构建感知模型。一种对旋转、亮度和对比度改变具有不变性的特征被选为目标描述子,以增强感知模型的判别能力。实验结果验证了多模态的交互式视觉感知方法的有效性。
|
全文目录
摘要 4-6 ABSTRACT 6-8 目录 8-11 图表目录 11-13 第1章 绪论 13-39 1.1 研究背景 13-16 1.1.1 基于视觉的人机交互 13-14 1.1.2 穿戴计算与穿戴视觉 14-16 1.2 研究现状 16-35 1.2.1 穿戴视觉交互 16-22 1.2.2 目标建模及特征描述 22-24 1.2.3 跟踪算法 24-32 1.2.4 主动学习 32-35 1.3 论文的主要内容 35-37 1.4 论文结构 37-39 第2章 穿戴交互系统 39-47 2.1 引言 39 2.2 相关工作 39-40 2.3 体系架构 40-43 2.3.1 硬件配置 41-42 2.3.2 软件组成 42-43 2.4 实验平台 43-45 2.5 系统优点 45-46 2.6 小结 46-47 第3章 基于立体视觉的虚拟触摸板交互方法 47-71 3.1 引言 47-49 3.2 粒子滤波器 49-53 3.2.1 贝叶斯最优估计 49-50 3.2.2 粒子滤波器 50-51 3.2.3 ICONDENSATION 算法 51-53 3.3 指示手势跟踪 53-60 3.3.1 手势模型 54-57 3.3.2 粒子预测 57-58 3.3.3 观测过程 58-59 3.3.4 算法总结 59-60 3.4 虚拟触摸板 60-62 3.4.1 指尖三维定位 60-61 3.4.2 触碰检测 61-62 3.5 实验分析 62-68 3.5.1 CD-PGT 算法跟踪结果 62-64 3.5.2 两种跟踪方法的对比结果 64-67 3.5.3 区域圈取实验 67-68 3.6 小结 68-71 第4章 快速的自适应目标跟踪方法 71-89 4.1 引言 71-73 4.2 协同训练目标跟踪 73-76 4.2.1 初始化 73-74 4.2.2 目标定位 74-75 4.2.3 分类器更新 75-76 4.3 基于ICONDENSATION 的协同训练跟踪算法 76-81 4.3.1 ICONDENSATION 算法 76-77 4.3.2 粒子采样 77-79 4.3.3 IC-COT 算法 79-81 4.4 实验分析 81-87 4.4.1 基于协同训练和自训练的跟踪结果 81-84 4.4.2 虚假目标干扰测试 84-86 4.4.3 时间复杂度 86-87 4.5 小结 87-89 第5章 多模态的交互式视觉感知方法 89-107 5.1 引言 89-91 5.2 多模态标注 91-94 5.2.1 视觉交互 92 5.2.2 语音交互 92-93 5.2.3 视听觉融合 93-94 5.3 目标描述及识别 94-99 5.3.1 特征提取 94-97 5.3.2 目标识别 97-99 5.4 交互式学习 99-101 5.5 实验结果 101-106 5.5.1 多模态标注 101-102 5.5.2 交互式学习 102-106 5.6 小结 106-107 第6章 结论及展望 107-111 6.1 工作总结 107-108 6.2 未来工作展望 108-111 参考文献 111-125 攻读学位期间发表论文及申请的专利 125-127 攻读学位期间参加的科研项目 127-129 致谢 129
|
相似论文
- 带径向速度观测的跟踪算法研究,TN953
- 基于VRPF的机动目标跟踪的研究,TN957.52
- 多传感器组网及反隐身、抗干扰接力跟踪技术研究,TN953
- 空间交会接近视觉测量方法研究,TP391.41
- 基于嵌入式图像处理单元的运动目标跟踪系统研究,TP391.41
- 移动机器人视觉检测和跟踪研究,TP242.62
- 基于粒子滤波的自主机器人视觉目标跟踪研究,TP242
- 红外图像目标识别及跟踪技术研究,TP391.41
- 空间红外目标仿真与跟踪技术研究,TP391.41
- 数字电视互动应用交互系统设计与实现,TP311.52
- 基于运动目标轨迹分析的智能交通监控系统,TP277
- 全新的交互体验,TP11
- 基于支持向量机的视频目标检测方法研究,TP391.41
- 无线传感器网络的目标跟踪算法研究,TN929.5
- 基于主动视觉的运动目标检测与跟踪研究,TP391.41
- 基于无线传感器网络的目标定位跟踪研究,TN929.5
- 基于DSP的双丝焊机及人机界面研究,TG409
- 视频监控运动目标检索方法研究,TP391.41
- 运动目标检测与跟踪的研究,TP391.41
- 视频图像中的运动目标检测与跟踪,TP391.41
- 车载红外图像的行人检测与跟踪技术,TP391.41
中图分类: > 工业技术 > 自动化技术、计算机技术 > 自动化基础理论 > 自动化系统理论
© 2012 www.xueweilunwen.com
|