学位论文 > 优秀研究生学位论文题录展示

基于双目立体视觉的人脸三维重建与识别

作　者: 孙曦
导　师: 汪增福
学　校: 中国科学技术大学
专　业: 模式识别与智能系统
关键词: 双目立体视觉人脸三维建模人脸识别校正误差立体相机标定人脸姿态估计虚拟人脸合成立体匹配低维光照空间光照比图像
分类号: TP391.41
类　型: 博士论文
年　份: 2011年
下　载: 698次
引　用: 0次
阅　读: 论文下载

内容摘要

人脸是日常生活中不可或缺的一个重要对象。作为生物特征识别的一个重要分支,人脸识别不仅在身份认证、视频监控、安全反恐和人机交互等领域有着广泛的应用前景,而且由人脸识别所引出的相关理论、方法和算法对于模式识别研究而言具有重要的指导意义,可以为相关研究在若干关键技术上取得突破打下一个良好的基础。虽然近几十年来,人脸识别研究受到了广泛的关注和投入,也取得许多值得称道的进展。但不可否认的是,人脸识别研究仍面临着很大的困难和挑战。其中一个主要的困难和挑战是,在不同光照条件和不同人脸姿态下采集的同一个人的人脸图像在灰度上所表现出来的差异性要远大于在相同光照和姿态条件下采集的不同人的人脸图像在灰度上所表现出的差异性。随着计算机性能的不断提高和三维数据获取技术的不断发展,人脸三维数据的引入为人脸识别系统在不同摄像条件下抽取人脸本质的形状特征进而实现鲁棒的人脸识别提供了基础。但在目前的技术水平下,要以低廉的代价和自然的方式实时地获取人脸的三维数据仍然是不太现实的。这些问题限制了三维人脸数据在人脸识别系统中的实际应用。在上述研究背景下,本文就是从基于立体图对的人脸三维建模入手,再利用重建出的人脸三维模型,深入开展可变光照与可变姿态下的人脸识别研究。立体相机标定是立体视觉的基础,其标定精度直接影响着后续重建的效果,尤其是对于人脸这种精细的建模对象。本文从立体相机标定的原理出发,深入的分析了重投影误差作为立体相机参数优化代价函数时的不足,提出了一种基于极线校正误差作为代价函数的立体相机标定算法。在基于图像的人脸建模方面,由于人脸表面的低纹理特性,导致传统的立体匹配算法在人脸图对上视差计算的结果不可靠。针对这一问题,本文提出了一种改进的基于虚拟图像变形的立体图像匹配算法,在使用一个通用人脸三维模型辅助计算出图像间的初始视差之后,利用DAISY特征描述算子进一步优化视差计算结果并重建出可靠的人脸点云数据。然后,将双边滤波引入到人脸三维点云平滑过程中,并经过表面建模最终得到较高精度的人脸三维模型。在可变光照与可变姿态下的人脸识别研究方面,利用前面基于立体图对重建出的人脸三维模型,采用2D-3D相结合的人脸识别方法进行处理。针对可变光照下的人脸识别,本文采取了两种研究策略:第一种策略是合成出多种光照条件下的虚拟人脸图像组成多光照人脸图像模板库,然后基于特征脸方法进行可变光照下的人脸识别过程;第二种策略是构建人脸低维光照空间。对于输入的待识别人脸图像,首先利用人脸低维光照空间估计其光照条件,然后结合光照比图像,变换正面光照下的人脸图像模板库,合成出与输入图像光照条件相同的虚拟人脸图像模板库,再基于Cross-Correlation算法将输入人脸图像与虚拟人脸模板库相匹配来完成人脸识别过程。对于可变姿态下的人脸识别,本文利用重建的人脸三维模型合成出多种姿态下的虚拟人脸图像,并针对每一种姿态构建一个人脸图像模板库。对于输入的待识别人脸,首先定位出其面部特征点,并根据特征点位置估计其姿态参数,然后选择与之姿态最接近的模板库,基于特征脸方法完成人脸识别过程。对于可变姿态与可变光照下的人脸识别过程,本文利用重建的人脸三维模型合成出多种姿态多种光照下的虚拟人脸图像,并针对每一种姿态构建一个多光照人脸图像模板库,每个模板库中都包含了该姿态下人脸的多种光照图像样本。对于输入的待识别人脸,首先定位出其面部特征点,并根据特征点位置估计其姿态参数,然后选择与之姿态最接近的模板库,基于特征脸方法完成人脸识别过程。基于上述解决思路,本文还构建了一套基于立体图对的人脸三维建模与识别系统。该系统中人脸库的注册是通过采集该人脸的立体图对并重建出其三维人脸模型来完成的。识别阶段则是通过采集人脸的2D图像作为输入数据来判定。

全文目录

摘要  5-7
ABSTRACT  7-12
第一章绪论  12-24
  1.1 人脸识别综述  12-18
    1.1.1 人脸识别研究的背景和意义  12-14
    1.1.2 人脸识别研究的内容与技术原理  14-15
    1.1.3 人脸识别研究的难点  15-17
    1.1.4 人脸识别研究的发展趋势  17-18
  1.2 基于图像的人脸三维建模简介  18-22
    1.2.1 人脸三维建模的获取方式  18-19
    1.2.2 基于图像的人脸三维建模的研究内容与技术原理  19-20
    1.2.3 基于图像的人脸三维建模的特点以及难点  20-22
  1.3 本文的研究内容与结构安排  22-24
第二章人脸识别与基于图像的人脸建模综述  24-41
  2.1 人脸识别综述  24-34
    2.1.1 引言  24-26
    2.1.2 基于2D 图像的人脸识别  26-31
    2.1.3 基于3D 数据的人脸识别  31-33
    2.1.4 基于2D-3D 相结合的人脸识别  33-34
  2.2 基于图像的人脸建模综述  34-40
    2.2.1 基于单幅图像的方法  35-36
    2.2.2 基于两幅或多幅图像的方法  36-38
    2.2.3 基于视频的方法  38
    2.2.4 基于可形变模型的方法  38-40
  2.3 本章小结  40-41
第三章基于校正误差的立体相机标定算法  41-51
  3.1 引言  41-42
  3.2 相机标定算法的原理和模拟退火算法  42-46
    3.2.1 相机模型  42-43
    3.2.2 单个相机的标定  43-44
    3.2.3 立体相机关系参数的标定  44-45
    3.2.4 模拟退火算法  45-46
  3.3 基于校正误差的立体相机标定算法  46-47
  3.4 实验  47-50
    3.4.1 立体相机标定误差分析  47-48
    3.4.2 立体图对极线校正示例  48-50
  3.5 本章小结  50-51
第四章基于双目立体视觉的人脸三维建模  51-71
  4.1 立体视觉的基本原理  51-52
  4.2 图像特征描述算子  52-55
    4.2.1 SURF 算子  53
    4.2.2 DAISY 算子  53-55
    4.2.3 尺度相关窗  55
  4.3 基于立体视觉的人脸重建算法  55-66
    4.3.1 人脸对齐和变形技术  57-58
    4.3.2 姿态估计  58-59
    4.3.3 人脸分割点集  59-61
    4.3.4 立体匹配计算  61-62
    4.3.5 人脸点云平滑  62-64
    4.3.6 人脸表面构建  64-66
  4.4 实验  66-70
    4.4.1 定量实验结果对比  66-68
    4.4.2 真实人脸图对重建结果  68-70
  4.5 本章小结  70-71
第五章可变光照与可变姿态下的人脸识别  71-101
  5.1 可变光照与可变姿态下的人脸识别综述  71-80
    5.1.1 可变光照下的人脸识别综述  71-77
    5.1.2 可变姿态下的人脸识别综述  77-80
  5.2 可变光照下的人脸识别  80-91
    5.2.1 人脸低维光照空间  80-82
    5.2.2 利用人脸低维光照空间重构同一人脸任意光照下的人脸图像  82-84
    5.2.3 利用人脸低维光照空间重构非同一人脸任意光照下的人脸图像  84-86
    5.2.4 可变光照下的人脸识别  86-91
  5.3 可变姿态下的人脸识别  91-93
  5.4 可变姿态与可变光照下的人脸识别  93-95
  5.5 基于立体图对的人脸三维重建与识别系统  95-100
    5.5.1 用户注册过程  96-99
    5.5.2 人脸识别过程  99-100
  5.6 本章小结  100-101
第六章总结与展望  101-117
  6.1 论文工作总结  101-102
  6.2 展望  102-117
致谢  117-119
在读期间发表的学术论文与取得的其他研究成果  119-120
  已发表论文  119
  待发表论文  119-120

基于双目立体视觉的人脸三维重建与识别

内容摘要

全文目录

相似论文