学位论文 > 优秀研究生学位论文题录展示

基于表面肌电信号的人体动作识别与交互

作　者: 张旭
导　师: 杨基海；陈香
学　校: 中国科学技术大学
专　业: 生物医学工程
关键词: 表面肌电信号模式识别手势识别人机交互手语识别步行者航位推算
分类号: R318.0
类　型: 博士论文
年　份: 2010年
下　载: 483次
引　用: 3次
阅　读: 论文下载

内容摘要

随着计算设备融入人类生活环境的方方面面,真实世界、数字世界和作为主体的人成为一个有机整体。人与环境的无缝沟通和自由互动的需求促使了人体动作识别成为未来多通道多模态人机交互研究中的热点。人体动作识别是指计算机自动检测、分析和理解人体各类运动和行为,如手指、手腕、手臂、头、面部或身体等姿态或运动模式,以判断人的意图并提供相应服务的过程。人体的任何一个动作都是由多组肌群在神经系统的支配下相互协调、共同完成的。肌电信号(EMG)是伴随肌肉活动产生的一种重要的生物电信号。由表面肌电(SEMG)传感器在相应肌群皮肤表面捕获的肌肉活动信息不但能反映关节的伸屈状态和伸屈强度,还能反映动作完成过程中肢体的形状和位置等信息,是感知人体动作的重要方式。本文以手势动作、肩颈部动作和腿部运动为研究对象,对基于SEMG的多种类人体动作的检测与识别技术进行了深入探索,设计并实现了基于人体动作的实时交互系统,开展了一定规模的用户测试实验,为实现自然和谐的人机交互提供了几种具体有效的解决方案。研究成果将促进多模态智能人机接口技术的进一步发展与推广应用,同时在人类行为理解、康复医学、情境感知、普适计算和导航定位等应用研究中也具有重要价值。本文具体的研究工作和创新点包括：1.基于多通道SEMG的手势动作识别研究。此研究的目标是为基于手势的人机交互系统提供有效的识别算法,并为手势命令集的选择和SEMG传感器的安置提供理论依据。一方面,以8类常用手势动作为研究对象,对包含信号采集、活动段检测、特征提取以及分类识别在内的多种动作SEMG识别方法进行了研究,提出了一种适用于实时交互的优化算法,并在此基础上,构建了基于SEMG的实时手势识别系统。另一方面,结合解剖学知识,对涉及多种精细手势动作在内的20种手势开展了手势命令集及SEMG传感器安放位置的优化研究,并在此基础上提出了一种实用的交互控制应用方案。在实时系统上进行的特定用户、多用户以及与用户无关的实验结果表明,该交互方案具有很好的鲁棒性,此研究成果可为交互应用中手势集的选取及传感器的安置提供参考依据。2.基于加速度与SEMG信息融合的手语手势识别研究。此研究是对基于多传感器信息检测和融合的手势识别技术的初步探索。放置在手前臂的加速计适合区分具有不同运动轨迹的手臂挥划,而SEMG信息更适于表达手指手腕等精细动作引起的具有不同模式的肌肉活动。针对这两种传感器捕获手语手势信息的互补性,本文提出了一种有效融合加速度和SEMG信息的手语手势动作识别方法框架,利用多流HMM和决策树融合两种异质传感器信息,对30种中国手语单手词和16种情景对话例句展开了分类识别研究,并实现了采用18类手势动作对虚拟魔方进行控制的实时手势交互系统。3.基于SEMG的肩颈部动作识别研究。头肩颈部动作在自然和谐的人机交互中可作为辅助的交互手段。利用从背部、肩部和颈部等相关肌群检测到的多通道SEMG,对7类肩颈部动作进行了分类识别研究,探索其用于交互的可行性与有效性。同时,在手势实时识别与交互系统基础上进行了相应改进,实现了基于SEMG的肩颈部动作实时识别系统。4.融入肌电信息的个人导航研究。步行者正常行走时,左右两腿交替迈步,相应腓肠肌轮流收缩施力完成身体前向运动。从腓肠肌表面采集的SEMG信号强度随步行时腿部用力大小表现出显著的节律性。针对这一运动生理学特点,本文提出了一种基于SEMG的步行者运动分析技术,并与数字罗盘相结合,实现了一种新型的步行者航位推算(PDR)方法。该方法采用叠加窗分帧技术、样本熵特征提取对双腿腓肠肌SEMG信号进行处理,用HMM分类器对步行者正常步行还是站立动作进行分类,由正常步行的SEMG信号检测迈步周期和估计步长,结合航向信息即得到步行者的位置和航迹。在此基础上进一步结合GPS接收机,验证了该方法实现个人室内外无缝导航的有效性。本论文的研究得到国家863高科技研究发展计划“基于肌电传感器和加速计的手势交互设备研究”(2009AA01Z322)、国家自然科学基金项目“基于表面肌电的中国手语手势识别研究”(60703069)、NOKIA赫尔辛基(Helsinki)研究中心及北京研究院合作项目和中国科学技术大学研究生创新基金的资助。

全文目录

摘要  5-7
ABSTRACT  7-13
第1章绪论  13-27
  1.1 人体动作识别技术  13-15
    1.1.1 人体动作识别研究的内容与意义  13
    1.1.2 人体动作感知方式  13-15
  1.2 基于表面肌电信号的人体动作识别技术  15-21
    1.2.1 肌电信号的生理学基础  16-19
    1.2.2 肌电信号的测量方式  19-20
    1.2.3 基于表面肌电信号的人体动作识别的优势  20-21
  1.3 表面肌电信号用于人体动作识别研究现状  21-23
    1.3.1 表面肌电信号用于假肢控制  22-23
    1.3.2 表面肌电信号用于人机交互  23
  1.4 研究中存在的主要问题  23-24
  1.5 本课题的研究内容和意义  24-26
  1.6 论文的组织结构  26-27
第2章基于表面肌电信号的手势动作识别  27-68
  2.1 引言  27-28
  2.2 手势动作表面肌电信号的采集与预处理  28-30
  2.3 手势动作表面肌电信号的模式识别方法  30-41
    2.3.1 活动段检测  30-32
    2.3.2 特征提取  32-35
    2.3.3 分类器设计  35-41
  2.4 八类手势动作识别实验与结果分析  41-52
    2.4.1 实验方案  42-44
    2.4.2 活动段检测结果与分析  44-45
    2.4.3 特征提取结果与分析  45-48
    2.4.4 手势动作识别结果与分析  48-52
  2.5 多类手势动作识别实验与结果分析  52-61
    2.5.1 实验方案  53-55
    2.5.2 手势动作识别结果与分析  55-57
    2.5.3 手势交互方案优化  57-61
  2.6 手势识别与交互系统  61-66
    2.6.1 实时手势交互系统组成  61-63
    2.6.2 实时手势交互实验方案  63-64
    2.6.3 实时手势交互实验结果与讨论  64-66
  2.7 本章小结  66-68
第3章融合加速度和肌电信息的手语手势识别与交互  68-92
  3.1 引言  68-71
  3.2 融合加速度和肌电信息的手语手势识别方法  71-80
    3.2.1 数据分割  71-72
    3.2.2 特征提取  72-73
    3.2.3 基于HMM的手语手势识别  73-78
    3.2.4 基于决策树的手语手势识别  78-80
  3.3 手语识别实验与结果  80-86
    3.3.1 数据采集  80-81
    3.3.2 实验结果与分析  81-86
  3.4 手势交互实验与结果  86-91
    3.4.1 基于手势交互的虚拟魔方控制系统  86-87
    3.4.2 实验方案  87-90
    3.4.3 实验结果与分析  90-91
  3.5 本章小节  91-92
第4章基于表面肌电信号的肩颈部动作识别  92-103
  4.1 引言  92
  4.2 肩颈部动作识别与交互方法  92-97
    4.2.1 识别与交互系统整体结构  92-93
    4.2.2 肩颈部动作定义  93
    4.2.3 SEMG传感器配置  93-96
    4.2.4 肩颈部SEMG信号处理与识别算法  96-97
  4.3 实验与结果分析  97-102
    4.3.1 实验方案  97-98
    4.3.2 实验结果与讨论  98-102
  4.4 本章小节  102-103
第5章融入肌电信息的个人导航研究  103-125
  5.1 引言  103-104
  5.2 步行者SEMG数据采集  104-107
  5.3 基于SEMG的步行者运动分类  107-111
    5.3.1 特征提取  107-110
    5.3.2 分类识别  110-111
  5.4 融入SEMG信息的步行者航位推算方法  111-116
    5.4.1 步态周期检测  111-113
    5.4.2 步长估计  113-115
    5.4.3 步行者航位推算  115-116
  5.5 个人导航实验与结果分析  116-123
    5.5.1 实验方案  116-118
    5.5.2 步行者运动分类结果与分析  118-119
    5.5.3 步态周期检测结果与分析  119
    5.5.4 步长估计结果与分析  119-120
    5.5.5 步行者航位推算结果与分析  120-123
  5.6 本章小结  123-125
第6章总结与展望  125-128
  6.1 主要工作及成果  125-126
  6.2 研究展望  126-128
参考文献  128-137
在读期间发表的学术论文与取得的研究成果  137-140
致谢  140-141

基于表面肌电信号的人体动作识别与交互

内容摘要

全文目录

相似论文