浅谈人脸识别技术的现状与发展

宋磊卞迪白杰文范益彪李主南

摘要

人脸识别技术以其独特性、直接性、方便性等特点，在涉及身份特征识别的领域里被广为应用。本文主要介绍人脸识别技术（FRT）的研究内容、研究背景价值及研究现状。通过分析当前人脸识别技术的现状，总结了人脸识别的应用前景，提出了人脸识别技术的未来发展要求。

关键词：人脸识别，研究现状，发展趋势

Abstract

Face Recognition Technology,characterized by its uniqueness,direct and convenience,is widely used in the identification of identity.This paper mainly introduces the research content,study background value,and research status of the Face Recognition Technology.Through the analysis of the present situation of Face Recognition Technology,the application prospect of Face Recognition is summarized and the future development of Face Recognition Technology is proposed.

Key words:Face Recognition，Research status，Developing trend

引言

随着现代信息技术的快速发展，进行身份认证的技术转到了生物特征层面。现代生物识别技术主要是通过计算机与高科技手段密切结合，利用人体固有的生理特性和行为特征来进行个人身份的鉴定。其中人脸识别是指人的面部五官以及轮廓的分布，这些分布特征因人而异，与生俱来。

人脸是一个包含着丰富信息的模式的集合，是人类互相辩证和识别的主要标志之一，也是图像和视频中视觉感兴趣的对象之一。与指纹、虹膜、语音等其他人体生物特征相比，人脸识别更加直接、友好，无需干扰人们的正常行为就能较好地达到识别效果。在身份识别、访问控制、视频会议、档案管理、电子相册、基于对象的图像和视频检索等方面有着广泛的应用，是当前模式识别和人工智能领域的一个研究热点。由于采用人脸识别技术的设备可以随意安放，设备的安放隐蔽性非常好，能远距离非接触快速锁定目标识别对象，因此人脸识别技术被国外广泛应用到公众安防系统中，应用规模庞大。人脸识别技术的研究肇始于20世纪60年代末期。20世纪90年代后期以来，一些商业性的人脸识别系统逐渐进入市场，广泛应用于身份鉴定、电子商务、视频监控、人机交互、企业安全与管理、信息安全、刑事侦破、出入口控制等领域。

人脸识别技术融合了数字图像处理、计算机图形学、模式识别、计算机视觉、人工神经网络、生物特征技术以及生理学、心理学等多个学科的理论和方法。人脸识别技术涉及的图像逐渐复杂，虽然人脸识别研究已经有了很大的进展，但目前的技术仍然不能对诸如复杂背景中的人脸等进行有效地处理和自动跟踪。因此，人脸识别技术在当前及未来很长一段时间内仍然是富有挑战性的课题。

1、 人脸识别技术

1.1人脸识别技术的研究背景和应用价值

随着社会的不断进步以及各方面对于快速有效的自动身份验证的迫切要求，生物特征识别技术在近几十年中得到了飞速的发展。作为人的一种内在属性，并且具有很强的自身稳定性及个体差异性，生物特征成为了自动身份验证的最理想依据。当前的生物特征识别技术主要包括有：指纹识别，视网膜识别，虹膜识别，步态识别，静脉识别，人脸识别等。与其他识别方法相比，人脸识别由于具有直接，友好，方便的特点，使用者无任何心理障碍，易于为用户所接受，从而得到了广泛的研究与应用。除此之外，我们还能够对人脸识别的结果作进一步的分析，得到有关人的性别，表情，年龄等诸多额外的丰富信息，扩展了人脸识别的应用前景。当前的人脸识别技术主要被应用到了以下几个方面：

（1）刑侦破案

（2）证件验证

（3）视频监控

（4）入口控制

（5）表情分析

（6）人脸识别也具有一些有趣有益的应用,比如能够识别主人身份的智能玩具、家政机器人、具有真实面像的虚拟游戏玩家等。

1.2人脸识别的方法和研究内容

人脸识别：是基于人的面部特征信息进行的一种技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，然后再利用已有的人脸数据库，确定场景里的一个人或者多个人。

目前人脸识别研究范围主要包括以下几个方面：

（1）人脸检测与定位：即从某一场景中检测出某人并对其定位。

（2）人脸特征表示：即采取不同的方式来表示人脸的特征。

（3）人脸识别：即将获取的人脸与数据库已知的人脸进行比对，得出相关信息，识别出人脸。

（4）表情与姿态分析：对待识别的人脸表情与姿态进行分析，并加以归类。

（5）生理分析与分类：分析人脸的生理特征，得出其生理的相关信息。

人脸识别的研究方法：

1.基于几何特征的方法

人脸由眼睛、鼻子、嘴巴、下巴等部件构成，正因为这些部件的形状、大小和结构上的各种差异才使得世界上每个人脸千差万别，因此对这些部件的形状和结构关系的几何描述，可以作为人脸识别的重要特征。几何特征最早是用于人脸侧面轮廓的描述与识别，首先根据侧面轮廓曲线[3]确定若干显著点，并由这些显著点导出一组用于识别的特征度量如距离、角度、等由正面灰度图中线附近的积分投影模拟侧面轮廓图是一种很有新意的方法。

采用几何特征进行正面人脸识别一般是通过提取人眼、口、鼻等重要特征点的位置和眼睛等重要器官的几何形状作为分类特征,但Roder对几何特征提取的精确性进行了实验性的研究，结果不容乐观。

可变形模板法可以视为几何特征方法的一种改进，其基本思想是:设计一个参数可调的器官模型(即可变形模板),定义一个能量函数，通过调整模型参数使能量函数最小化，此时的模型参数即作为该器官的几何特征。

这种方法思想很好，但是存在两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广，二是能量函数优化过程十分耗时，难以实际应用。

2.局部特征分析方法（Local Face Analysis）

主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的点与原图像空间中点的临近性没有任何关系，而局部性和拓扑性对模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表达十分重要。基于这种考虑，Atick提出基于局部特征的人脸特征提取与识别方法。这种方法在实际应用取得了很好的效果，它构成了FaceIt人脸识别软件的基础。

3.神经网络方法（Neural Networks）

人工神经网络是一种非线性动力学系统[6]，具有良好的自组织、自适应能力。目前神经网络方法在人脸识别中的研究方兴未艾。Valentin提出一种方法，首先提取人脸的50个主元，然后用自相关神经网络将它映射到5维空间中，再用一个普通的多层感知器进行判别，对一些简单的测试图像效果较好；Intrator等提出了一种混合型神经网络来进行人脸识别，其中非监督神经网络用于特征提取，而监督神经网络用于分类。Lee等将人脸的特点用六条规则描述，然后根据这六条规则进行五官的定位，将五官之间的几何距离输入模糊神经网络进行识别，效果较一般的基于欧氏距离的方法有较大改善，Laurence等采用卷积神经网络方法进行人脸识别，由于卷积神经网络中集成了相邻像素之间的相关性知识，从而在一定程度上获得了对图像平移、旋转和局部变形的不变性，因此得到非常理想的识别结果，Lin等提出了基于概率决策的神经网络方法(PDBNN),其主要思想是采用虚拟(正反例)样本进行强化和反强化学习，从而得到较为理想的概率估计结果，并采用模块化的网络结构(OCON)加快网络的学习。这种方法在人脸检测、人脸定位和人脸识别的各个步骤上都得到了较好的应用，其它研究还有:Dai等提出用Hopfield网络进行低分辨率人脸联想与识别，Gutta等提出将RBF与树型分类器结合起来进行人脸识别的混合分类器模型，Phillips等人将MatchingPursuit滤波器用于人脸识别，国内则采用统计学习理论中的支撑向量机进行人脸分类。

神经网络方法在人脸识别上的应用比起前述几类方法来有一定的优势，因为对人脸识别的许多规律或规则进行显性的描述是相当困难的，而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一般也比较容易实现。因此人工神经网络识别速度快，但识别率低。而神经网络方法通常需要将人脸作为一个一维向量输入，因此输入节点庞大，其识别重要的一个目标就是降维处理。
4、特征脸法

特征脸方法利用主分量分析进行降维和提取特征。主分量分析是一种应用十分广泛的数据降维技术，该方法选择与原数据协方差矩阵前几个最大特征值对应的特征向量构成一组基，以达到最佳表征原数据的目的。因为由主分量分析提取的特征向量返回成图像时，看上去仍像人脸，所以这些特征向量被称为“特征脸”。

在人脸识别中，由一组特征脸基图象张成一个特征脸子空间，任何一幅人脸图象（减去平均人脸后）都可投影到该子空间，得到一个权值向量。计算此向量和训练集中每个人的权值向量之间的欧式距离，取最小距离所对应的人脸图像的身份作为测试人脸图像的身份。

下图给出了主分量分析的应用例子。图中最左边的为平均脸，其它为对应7个最大特征值的特征向量。

word/media/image2.gif

5.其它方法：

除了以上几种方法，人脸识别还有其它若干思路和方法，包括以下一些：
1）隐马尔可夫模型方法[9]（Hidden Markov Model）
2）Gabor小波变换+图形匹配
3）人脸等密度线分析匹配方法

4）基于弹性模型的方法

5）特征脸方法（Eigenface或PCA）

2、 人脸识别技术的研究现状

2.1国内研究现状

国内关于人脸自动识别的研究始于二十世纪80年代，自九十年代在国家自然科学基金“863”计划等资助下，国内许多研究机构在人脸识别领域进行了卓有成效的研究。研究工作主要是集中在四大类方法的研究：基于几何特征的人脸正面自动识别方法、基于代数特征的人脸正面自动识别方法、基于连接机制的人脸正面自动识别方法以及基于深度学习的人脸识别方法。

四川大学周激流教授实现了具有反馈机制的人脸正面识别系统[11]，运用积分投影法提取面部特征的关键点并用于识别，获得了比较满意的效果。他同时也尝试了“稳定视点”特征提取方法，即为使识别系统中包含3D信息，他对人脸侧面剪影识别做了一定的研究，并实现了正，侧面互相参照的识别系统。中国科技大学杨光正教授等提出一种基于镶嵌图的人脸自动识别方法，采用基于知识的三级金字塔结构对人脸进行基本定位，前两级建立在不同分辨率的镶嵌图基础上，第三级用一种改进的边缘检测方法进一步检测眼睛和嘴巴。清华大学彭辉、张长水等专家对特征脸的方法做了进一步的发展，提出采用类间散布矩阵[12]作为产生矩阵，进一步降低了产生矩阵的维数，在保持识别率的情况下，大大降低了运算量。南京理工大学杨静宇等主要是采用奇异值分解方法进行人脸识别研究，如用Daubechies正交小波变换对人脸图像作预处理，等到不同频带上的四个子图像，对它们分别提取奇异值，然后用最近邻方法进行分类，同时设计一种适用于多分类结果融合的群体决策算法，并且对分类结果有选择的进行融合。程永清，庄永明等对同类图像的平均灰度图进行SVD分解得到特征脸空间，每一幅图像在特征脸空间上的投影作为其代数特征，然后利用层次判别进行分类。张辉，周宏祥，何振亚采用对称主元分析神经网络，用去冗余和权值正交相结合的方法对人脸进行特征提取和识别。该方法所用特征数据量小，特征提取运算量也较小，比较好地实现了大量人脸样本的存储和人脸的快速识别。香港中文大学教授汤晓鸥、王晓刚及其研究团队他们研发的DeepID人脸识别技术的准确率超过99%，比肉眼识别更加精准。在此之前，汤晓鸥的研究组开发了一个基于高斯过程的人脸识别技术GaussianFace (高斯脸)，取得了98.52%的识别率。这也是计算机自动识别算法的识别率首次超过肉眼。

3.2国外研究现状

当前很多国家展开了有关人脸识别的研究，主要有美国，欧洲国家，日本等，著名的研究机构有美国MIT的Medialab，AI lab，CMU的Human-Computer Interface Institute，Microsoft Research,英国的Department of Engineering in University of Cambridge等。综合有关文献，在人脸识别的领域中，国际上逐步形成了以下几个研究方向：基于几何特征的人脸识别方法，主要代表是MIT的Brunelli和Poggio小组，他们采用改进的积分投影法提取出用欧氏距离表征的35维人脸特征矢量用于模式分类；基于模板匹配的人脸识别方法，主要代表是Harvard大学Smith-Kettlewell眼睛研究中心的Yuille，他采用弹性模板来提取眼睛和嘴巴的轮廓，Chen和Huang则进一步提出用活动轮廓模板提取眉毛、下巴和鼻孔等不确定形状；基于K-L变换的特征脸的方法，主要研究者是MIT媒体实验室的Pentland；基于隐马尔可夫模型的方法，主要代表有Cambridge大学的Samaria小组和Georgia技术研究所的Nefian小组；神经网络识别的方法，如Poggio小组提出的HyperBF神经网络识别方法，英国Sussex大学的Buxton和Howell小组提出的RBF网络识别方法等；基于动态链接结构的弹性图匹配方法，主要研究者是由C.VonderMalsburg领导的德国Bochum大学和美国Southern California大学的联合小组；利用运动和颜色信息对动态图像序列进行人脸识别的方法，主要代表是Queen Mary和Westfield大学的Shaogang Gong小组。

3、人脸识别技术的未来发展趋势：

经过约四十年的发展,人脸检测和识别技术取得了长足进步。但因诸多因的制约,目前,基于计算机视觉的人脸检测和识别研究还远未成熟。通过本论文的研究和分析,认为以下几个方面尤其值得进一步深入探索:

（1）人脸区域的有效分割。

本文仅对彩色图像中的人脸检测进行了比较详细的研究,如何在灰度图像中快速有效地检测到人脸位置,并准确分割出人脸值得深入研究。

（2）从三维的角度研究人脸识别问题。

本文只研究了使用三维信息处理姿态变化下的人脸识别问题。人脸是非刚性物体,人脸表情的变化会导致人脸具有较大的变形;光照的变化会引起人脸纹理很大的变化。因此,使用三维信息实现光照、姿态、表情不变的人脸识别值得进一步研究。

（3）多信息合作与融合机制的研究。

由于各种生物识别技术都有各自的缺点和局限性,仅仅依靠单一的生物特征有时无法满足实际需要,因此将不同特征、不同识别方法结合建立基于多生物特征的识别融合系统,正在受到广泛的关注。列如将肤色、器官、动作甚至语音等信息进行融合，必将提高检测的性能。

（4）应用系统设计方面的工作。

本文在实验条件下对有限的几个人脸数据库进行了静态识别研究。构建鲁棒性、实用的人脸识别应用系统需要很多的工程技术解决方案和实践开发经验的支持。因此,如何将本文算法应用的实际工程中,开发出相应的应用系统是未来工作之一。

（5）对于摄像机图象的研究。

从摄像机输入动态图可以进行二维及三维的运动估计,从而建立三维的人脸模型[16]。在此基础上，我们可以进行有效的表情分析和多姿态的人脸检验,以作为身份辨认的辅助手段。目前复杂背景图像中的人脸检测方法多针对正面端正的人脸.多姿态人脸的检测(特别是侧面人脸的检测)还存在很大的困难,有效的方法还不多。这方面的研究也将是一个重点。

（6）研究和使用新的照射源。

如红外线、某些特定频率的电磁波等，利用人脸皮肤对这些照射源特殊的反射特性来快速的定位出人脸的大致区域。

（7）深入研究非人脸样本的选取算法。

由于非人脸的多样性，非常难以选取一定量的样本来加以充分表示。因此研究如何快速选取少量的关键非人脸样本可以解决非人脸样本难以界定的问题。使其能够合理快速的提取体现人脸特性的关键特征，以提高人脸检测的泛化性能。

4、总结：

本文在系统分析研究相关文献的基础上，综述了人脸识别技术的研究背景意义及发展、研究现状。人脸识别在过去十年内得到了迅速的发展，在近五年内更是出现了多个已投入商用的人脸检测、识别系统。以下选择性的对以上介绍的几个方法进行总结。

可变形模板法：视为几何特征方法的一种改进，基本思想是:设计一个参数可调的器官模型(即可变形模板),定义一个能量函数，通过调整模型参数使能量函数最小化，此时的模型参数即作为该器官的几何特征。这种方法存在两个问题，一是能量函数中各种代价的加权系数只能由经验确定，难以推广，二是能量函数优化过程十分耗时，难以实际应用。

局部特征分析方法：主元子空间的表示是紧凑的，特征维数大大降低，但它是非局部化的，其核函数的支集扩展在整个坐标空间中，同时它是非拓扑的，某个轴投影后临近的点与原图像空间中点的临近性没有任何关系，而局部性和拓扑性对模式分析和分割是理想的特性，似乎这更符合神经信息处理的机制，因此寻找具有这种特性的表达十分重要。基于这种考虑，Atick提出基于局部特征的人脸特征提取与识别方法。这种方法在实际应用取得了很好的效果，它构成了FaceIt人脸识别软件的基础。

神经网络方法：在人脸识别上的应用比起前述几类方法来有一定的优势，因为对人脸识别的许多规律或规则进行显性的描述是相当困难的，而神经网络方法则可以通过学习的过程获得对这些规律和规则的隐性表达，它的适应性更强，一般也比较容易实现。因此人工神经网络识别速度快，但识别率低 。而神经网络方法通常需要将人脸作为一个一维向量输入，因此输入节点庞大，其识别重要的一个目标就是降维处理。

经过几十年的研究，人脸识别已经取得了很大的进展，但现有的人脸识别方法一般都是针对某一类问题提出的，由于人脸识别问题的复杂性，实现一个通用的人脸识别系统目前还不现实。因此解决特定条件下或者特定领域的人脸识别问题仍然是目前人脸识别研究的重要课题。可以预见，在不久的将来，有关人脸识别技术应用的产品将流行于市场。

参考文献：

[1]BENGIO Y. Learning deep architectures for AI [J]. Foundations and Trends in Machine Learning, 2009,2(1): 1-12.

[2]BENGIO Y, DELALLEAU 0. On the expressive power of deep architectures [C]. Algorithmic Learning Theory, Berlin Heidelberg, 201]: 18-36.

[3]BENGIO Y, LECUN Y. Scaling learning algorithms towards AI [J]. Large-Scale Kernel Machines, 2007,1-34

[4]PARKE F I. Computer generated animation of faces [C]. Proceedings of the ACM annual conference, Boston, 1972 (1): 451-457.

[5]杨健.线性投影分析的理论勾算法及其在特征抽取中的应用研究[D];南京:南京理工大学,2002.

[6]CHANH, BLEDSOE W. A man-machine facial recognition system: some preliminary results [R]. Tech. Rep. Panoramic Research Tnc,Palo Alto, 1965

[7]KCGS, KARGER P A. Cryptology ePrint Archive [R].Report 2005.

[8]IEITMEYER R. Biometric identification promises fast and secure processing of airline passengers [J]. ICAO Journal, 2000, 55(9): 10-11.

[9]孙冬梅,裘正定.生物特征识别技术综述[J].电子学报29(12):1744

[10]ZHAOW,CHELLAPPAR,PHILLIPSPJ,elal. Face recognition: literature survey [J].ACM Computing Surveys (CSUR), 2003, 35 (4): 399-458.

[11]PRINCESJ, WARRELLJ, ELDERJ, el al. Tied factor analysis for face recognition across large pose differences [J], IEEE Transactions on Pattern Analysis and Machine Intel 1j gence, 2008, 30(6): 970-984.

[12]BLANZV, VETTER T. Face recognition based on fitting a 3D morphable model [J]. IEEE Transact ions on Pattern Analysis and Machine Intelligence,2003,25(9): 1063—1074

[13]李春明,李玉山,庄庆德,关晓丹.人脸识别技术的研究[J]. 河北科技大学学报.2003(03) 

[14]何嘉锐.浅谈人脸识别技术[J].信息安全与技术.2011(01) 

[15]侯鲲,贾隆嘉,王赫宁.人脸识别技术的现状和发展趋势[J].科协论坛(下半月).2010(11) 

[16]钱锋.浅谈人脸识别技术的现状与应用[J].信息与电脑（理论版），2009(11) 

本文来源：https://www.2haoxitong.net/k/doc/54324fe227d3240c8447efca.html