学位论文 > 优秀研究生学位论文题录展示

基于肌肉运动的人脸表情识别

作　者: 刘建征
导　师: 赵政
学　校: 天津大学
专　业: 计算机应用技术
关键词: 情感计算面部表情头部运动特征点运动模板人工神经网络模糊数学
分类号: TP391.41
类　型: 博士论文
年　份: 2012年
下　载: 0次
引　用: 3次
阅　读: 论文下载

内容摘要

情感计算，是未来计算机领域发展的一个重要方向，是让计算机可以了解人的情感和情绪，并且能够以带有感情的方式与人进行交互。而最简单也是最直接的方式，就是从分析人类的面部表情入手进行研究。由于人类的面部表情是面部肌肉运动形成的，想要研究人类的面部表情，应该从面部肌肉的具体运动形式入手，动态跟踪这些运动。本文提出了基于肌肉运动的人脸表情识别方法。本文描述的工作基于艾克曼的FACS，心理学家的研究结果证明了，人类的表情对应这固定的面部肌肉运动形式，这是不受年龄、性别、种族、受教育程度等因素影响的。本文首先简要介绍了与面部基本表情相关的若干AU，基于这些AU运动，进行了一系列的研究工作，并获得了以下研究成果：1.本文提出了一种快速自动识别面部特征点的方法。当前有些面部表情研究是建立在手工标注面部特征点的基础上进行的。手工标注面部特征点，这一过程本身就加入了标注者对当前表情的主观判断。而当前有些自动识别特征点的方法速度很慢，根本不能满足实时分析系统的要求。本文提出的方法，是首先对目标区域进行一次筛选，选出所有纹理特征明显的像素点，然后在这些被筛选出的点中寻找真正的面部特征点。经过试验证明，这一方法速度快，识别率高，可以满足实时系统的需求。2.本文提出了一种基于运动模板的面部AU运动识别方法。大多数的AU运动或不存在明显的特征点，或难以使用跟踪特征点的方法准确识别。运动模板理论研究的是运动的本身和运动的历史，使用这一方法，可以准确的识别出需要的AU运动。对于感兴趣的AU，本文使用Boosting算法训练了专门的识别器来识别，这些识别器可以准确识别AU的运动。3.本文提出了一种新的识别头部运动姿态的方法。传统识别头部运动姿态的方法通过识别和跟踪眼睛区域的运动形式来研究头部运动姿态。而识别眼睛区域的工作量是很大的，需要通过大量运算才能准确识别并跟踪，或者使用特殊的设备支持。本文提出以更便于识别和跟踪的鼻孔来代替眼睛识别头部运动，又提出了一种不仅能识别点头和摇头，还能正确识别低头与侧脸的方法。4.本文描述了一个实时识别人的面部表情的系统的设计方法，并尝试了对“高兴”这一表情进行了层次上的划分。在本文中已经提出了很好的方法来准确识别面部肌肉的运动情况，本文把这些运动的情况输入到一个BP神经网络来识别这些表情，得到了不错的结果。在本文中，还使用Fuzzy理论，在已经识别出具体表情的基础上，通过分析MHI图像，对表情的程度进行了衡量，也得到了比较理想的结果。

全文目录

中文摘要  3-5
ABSTRACT  5-11
第一章绪论  11-19
  1.1 研究背景  11
  1.2 情感在人体的具体表现  11-14
    1.2.1 面部表情  12-13
    1.2.2 姿态表情  13
    1.2.3 语调表情  13
    1.2.4 植物神经情感生理表象表情  13-14
    1.2.5 多特征表情融合分析  14
  1.3 研究内容和创新点  14-17
  1.4 本文结构  17-19
第二章面部动作编码系统（FACS）  19-39
  2.1 面部各部位术语  20-22
  2.2 上半脸主要运动单元  22-27
    2.2.1 Action Unit 1——提升内眉梢  22-23
    2.2.2 Action Unit 2——提升外眉梢  23-24
    2.2.3 Action Unit 4——压低眉毛  24
    2.2.4 Action Unit 5——提升上眼睑  24-25
    2.2.5 Action Unit 7——眼睑拉紧  25-26
    2.2.6 Action Unit 6——提高脸颊、眼睑收缩  26-27
  2.3 下半脸主要运动单元——上下运动  27-32
    2.3.1 Action Unit 9——皱起鼻梁  28
    2.3.2 Action Unit 10——提升上嘴唇  28-29
    2.3.3 Action Unit 17——提升下颏突  29-30
    2.3.4 Action Unit 15——降低嘴角  30
    2.3.5 Action Unit 25，26，27——嘴唇分开，下颏下移，嘴唇绷紧张开  30-31
    2.3.6 Action Unit 16+25——降低下唇  31-32
  2.4 下半脸斜向 AU 运动：Action Unit 12——拉升嘴角  32-33
  2.5 由口轮匝肌控制的 AU 运动  33-36
    2.5.1 Action Unit 22——嘴唇漏斗状  34-35
    2.5.2 Action Unit 23——嘴唇绷紧  35
    2.5.3 Action Unit 24——挤压嘴唇  35-36
  2.6 其他 AU  36-37
    2.6.1 Action Unit 20——嘴角扩展  36-37
    2.6.2 Action Unit 51、52、53、54、61、62、63、64——头部以及眼径的运动  37
  2.7 AU 组合与基本表情的对应关系  37-38
  2.8 本章总结  38-39
第三章基于光流算法的快速特征点定位  39-65
  3.1 AdaBoost 与 GentleBoost 算法  40-42
    3.1.1 AdaBoost  40-41
    3.1.2 GentleBoost  41-42
  3.2 复杂背景中的人脸检测  42-47
    3.2.1 特征提取  42-44
    3.2.2 识别器训练  44-45
    3.2.3 级联分类器  45-46
    3.2.4 V-J 识别器性能及提高  46-47
  3.3 图象的 Gabor 特征提取  47-50
    3.3.1 特征提取  48-50
  3.4 光流（LK）算法与最佳特征点的选择  50-51
  3.5 特征点识别器的训练  51-59
    3.5.1 ROI 的选择  51-54
    3.5.2 训练样本的选择  54-57
    3.5.3 识别器训练与测试  57-59
  3.6 使用 Canny 算子的上眼皮轮廓检测  59-63
    3.6.1 图像边缘与 Canny 算子  60-62
    3.6.2 上眼皮轮廓检测及眼径的计算  62-63
  3.7 本章小结  63-65
第四章基于运动模板的面部 AU 识别  65-79
  4.1 运动模板  67-72
    4.1.1 轮廓  68
    4.1.2 MEI（Motion-energy images）  68-69
    4.1.3 MHI（Motion-history images）  69-71
    4.1.4 局部运动区域轮廓  71
    4.1.5 运动方向  71-72
  4.2 训练样本提取及识别器的训练  72-76
  4.3 识别器性能测试  76-77
  4.4 本章小结  77-79
第五章基于 AU 的面部表情分析  79-96
  5.1 头部运动姿态识别  79-85
    5.1.1 相关工作  80-81
    5.1.2 头部姿态识别器  81-83
    5.1.3 识别器性能测试  83-85
  5.2 基于 BP 神经网络的面部表情分析  85-91
    5.2.1 基于 BP 神经网络的表情识别器  85-88
    5.2.2 识别器性能测试  88-91
  5.3 基于模糊数学（Fuzzy）的表情程度衡量  91-95
    5.3.1 模糊聚类  91-92
    5.3.2 样本的选取及聚类  92-93
    5.3.3 自适应神经模糊推理系统  93-95
  5.4 本章小结  95-96
第六章总结与展望  96-98
  6.1 本文工作总结  96-97
  6.2 未来研究展望  97-98
参考文献  98-107
发表论文和科研情况说明  107-108
附录一 FACS  108-118
附录二 AdaBoost  118-121
附录三 Gabor 特征  121-124
附录四 LK 算法  124-127
附录五神经网络  127-134
致谢  134

基于肌肉运动的人脸表情识别

内容摘要

全文目录

相似论文