学位论文 > 优秀研究生学位论文题录展示

现场表演驱动的动作匹配、编排与识别

作　者: 梁秀波
导　师: 耿卫东；Franck Multon
学　校: 浙江大学
专　业: 计算机应用技术
关键词: 运动传感器感知用户界面运动捕捉几何特征运动感知运动检索运动匹配运动编排运动识别物理约束运动自适应自动特征提取机器学习虚拟人虚拟化身数据手套手语识别
分类号: TP391.41
类　型: 博士论文
年　份: 2011年
下　载: 106次
引　用: 0次
阅　读: 论文下载

内容摘要

感知用户界面利用人类的感知能力以直观自然的方式表达语义信息。基于现场表演的人机交互技术是感知用户界面的重要组成部分,允许用户直接以自然的身体运动来控制应用程序。因其前所未有的革命性操控方式,引起了学者们的极大研究兴趣,近年来逐渐成为计算机动画、虚拟现实、视频游戏等相关领域的一个研究热点。本文的主要目的是针对该技术的关键问题展开研究,探索了运动索引构建、反应性动作生成、运动自适应、训练样本自动生成、自动特征提取、机器学习等核心算法。在此基础上,分别以Xsens运动传感器、Wii游戏机手柄、5DT数据手套及诺基亚N95手机等为输入设备,开发了PC和手机平台上的多个原型应用系统,并通过一系列主、客观实验验证了算法的有效性。具体来说,本文的主要研究工作包括以下几个方面：1.基于运动感知的直观运动检索。在三维角色动画制作过程中,如何直观地表示检索样例是基于内容的运动检索的一个关键问题。本文利用几何特征为大规模运动数据库建立了索引。在运动检索时,用户佩戴运动传感器大致表演构想的运动,系统通过一个由粗到细的检索过程从后台大规模运动数据库中自动搜索出与之匹配的运动片段。本文不仅给动画师们提供了一种直观可视的交流沟通方式,而且能够大大提高运动素材重用时的运动检索效率。2.符合物理约束的交互式人体反应动作生成。为虚拟人生成反应性动作是虚拟现实和视频游戏等三维图形应用中的一个关键问题。本文介绍了一个基于物理约束的直观虚拟人控制系统。当用户作出交互动作时,系统首先根据用户的示范表演选择一系列候选动作片段；然后通过物理约束对候选动作进行排序,最佳的动作片段被选中用以驱动虚拟人。为了使检索得到动作更加完美地满足虚拟世界的运动学和动力学约束,系统将实时地对其做进一步的编辑调整。3.运动传感驱动的3D直观手势交互。为了使手势交互方式较少受到场地和光线地限制,本章提出利用加速度传感器作为输入设备进行手势识别的方法。对每种手势只要求用户做一次动作采样,系统通过添加噪声等手段来提高训练数据生成的自动化程度；训练数据经过预处理和特征提取之后用于训练机器学习模型。在包含70种手势的测试集上进行识别实验和可用性评估,结果表明该方法能够显著地提升人机交互中的用户体验。4.现场表演驱动的动作编排。现场表演是一种直观自然地展示动作编排者编排意图的方法。本文开发了一个基于三轴加速传感器的动作编排系统。首先,要求用户在预先指定的身体部位放置加速传感器并进行示范表演。然后,系统通过隐马尔科夫模型识别用户表演的动作,最后,系统通过运动时间调整和夸张动作编辑等方法对识别出的动作进行调整,得到最终动画序列。实验结果表明本系统对初学者来说简单易用,可以有效地识别时空差异性较大的动作。5.基于层次化机器学习模型的手语识别。手语本质上是按照一定规则表演的时序运动序列。为了辅助聋哑人与正常人之间的沟通交流,本文开发了一个基于机器学习的手语识别系统。通过运动捕捉设备和数据手套为每个手语词采集了覆盖各种时空差异性的样例。提出了一种层次化机器学习模型,可以较低的代价快速排除大量不可能的候选手语,而使识别能力强的隐马尔科夫模型聚焦于较难识别的手语。在覆盖68个手语词汇的含有1224个运动片段的数据库上验证了方法的有效性。

全文目录

摘要  5-7
Abstract  7-18
1 绪论  18-25
  1.1 课题背景与意义  18-20
  1.2 研究的主要问题  20-22
  1.3 工作内容与目标  22-23
  1.4 本文的组织结构  23-25
2 相关研究综述  25-55
  2.1 运动捕捉与运动跟踪技术  25-30
  2.2 基于内容的运动检索技术  30-35
  2.3 符合物理约束的运动合成技术  35-38
  2.4 基于运动的智能交互技术  38-42
  2.5 表演动画与体感游戏技术  42-50
  2.6 手语识别技术  50-54
  2.7 本章小结  54-55
3 基于运动感知的直观运动检索  55-74
  3.1 系统概述  55-58
  3.2 示范表演运动的直观获取  58-63
  3.3 构建大规模运动数据库的有效索引  63-65
  3.4 基于内容的运动检索  65-70
  3.5 实验结果与讨论  70-73
  3.6 本章小结  73-74
4 符合物理约束的交互式人体反应动作生成  74-91
  4.1 系统概述  74-76
  4.2 运动感知及行为识别  76-78
  4.3 基于物理约束的运动检索  78-82
  4.4 实时运动自适应  82-88
  4.5 实验结果与讨论  88-89
  4.6 本章小结  89-91
5 运动传感驱动的3D直观手势交互  91-104
  5.1 系统概述  91-93
  5.2 训练数据的获取与生成  93-95
  5.3 手势训练与识别  95-99
  5.4 实验结果及原型系统  99-101
  5.5 界面可用性评估  101-102
  5.6 本章小结  102-104
6 现场表演驱动的动作编排  104-120
  6.1 系统概述  104-107
  6.2 加速传感器的标定  107-109
  6.3 训练样本的生成与预处理  109-111
  6.4 基于隐马尔科夫模型的运动识别  111-113
  6.5 结果动作调整  113-115
  6.6 实验结果与讨论  115-118
  6.7 本章小结  118-120
7 基于层次化机器学习模型的手语识别  120-136
  7.1 系统概述  120-122
  7.2 手语数据采集与预处理  122-126
  7.3 层次化机器学习模型的生成与训练  126-132
  7.4 在线手语探测与识别  132-133
  7.5 实验结果及讨论  133-135
  7.6 本章小结  135-136
8 结论与展望  136-140
  8.1 结论  136-138
  8.2 展望  138-140
参考文献  140-157
攻读博士学位期间主要研究成果  157-160
致谢  160

现场表演驱动的动作匹配、编排与识别

内容摘要

全文目录

相似论文