网站首页

“目前，市场上有很多产品，如支付宝、美容相机和脸部解锁功能等。他们中的许多人都在使用Face++。以下是师旷技术的Face++产品专家乔良先生在UCloud主持的人工智能实验室活动上分享的全文，详细分析了人脸识别手机解锁后的过去生活。

你好，我是乔良，来自师旷科技公司。我今天分享的内容可能有点枯燥，主要是介绍面部解锁的具体技术。

人工智能分为两个阶段，首先是感知阶段，然后是认知阶段。目前，整个人工智能仍处于感知的初级阶段，主要的两种感知方式是视觉和听觉。目前，我们主要关注视觉方向。我们公司成立于2012年，多年来一直在研究视觉方向。它一直关注以人脸为核心的方向。那我们为什么会变成人脸？在我们看来，人脸是信息量最大、商业价值最高的图像数据。通过图像我们可以知道一个人的年龄、性别、面部表情、这个人是否是他自己等等。

手机解锁终于在今年爆发了。这实际上是多年人脸识别经验的最终结果。让我们先来看看手机安全的发展。

自2008年第一款苹果手机发布以来，已经过去了将近10年。密码解锁发生在2009年；2010年，在图形锁出现之后，许多生物识别技术出现了(见图中蓝色字体)。生物特征识别的主要目的是解决用户体验问题，因为输入密码并绘制图形来解锁非常麻烦。2013年指纹解锁后，每个人只要按下手指就可以解锁。指纹、人脸识别和虹膜都是为解决经验问题而设计的。

今年，两款具有代表性的手机问世，将人脸生物识别技术推向了前台。首先是今年上半年发布的三星S8。三星S8是正面单次解锁方案，这是今年最受欢迎的面部解锁方案。第二个是iPhone10。iPhone10是一个具有前结构光和双摄像头的解锁方案，代表了人脸解锁的未来趋势。

那么是什么促使今年的人脸解锁成为手机解锁的主流呢？

我认为最重要的因素是工业设计和制造技术的改进。今年的全屏已经成为工业设计的主流趋势。大指纹设计已经转移到手机的后面，指纹的用户体验优势已经降低。人脸不仅弥补了经验的不足，更重要的是，人脸只需要一个摄像头就可以完成，不需要像指纹一样占用更多的屏幕区域，所以屏幕比例可以大大增加。

第二个原因是成本和收益的问题。如果制造商想在手机的小空间中安装指纹模块和虹膜模块，那么手机的内部空间将会被占用，换句话说，成本是巨大的。然而，除了相机模块，人脸识别不会占用更多的内部空间。

第三是芯片处理能力的提高和人脸识别算法的成熟。一些硬件层面的加速方案可以让人脸识别算法在手机上运行得更快，新的生活技术可以让刷牙更安全。这将在后面详细描述。

第五个原因是相机模组制造技术的突破。事实上，结构光是在几年前引入的，但是它还没有小型化到手机那么大。iPhone是第一个引入这种设备的制造商。除了结构光之外，它还包括普通红外成像相机、飞行时间相机和相机模块的小型化。

最后一个原因是用户体验。在刷牙和开锁的过程中，你不需要做任何合作操作。你可以拿起手机，直接解锁。刷面还可以抵抗一些常见的干扰，如暗光、侧面、小尺度遮挡等。这使得刷牙成为一个更好的生物识别方案。

说到用户体验，让我们比较一下最常见的手机解锁方案的体验。

首先，在底库采集方面，只需要一张照片就可以解锁人脸，但需要采集多个指纹。Iris速度相对较快，但iris需要将手机放在前面，等待几秒钟。从解锁速度来看，面部解锁速度最快。拿起手机，直接解锁。指纹需要压在传感器上，虹膜需要对准眼睛。指纹解锁中有一些常见的干扰。例如，当他们的手是湿的时候，指纹不能完全解锁，手套也不能用来解锁。当虹膜解锁时，隐形眼镜或阳光直射也会受到干扰。人脸识别中也有令人不安的场景，例如，晚上家里的灯关了，或者戴着墨经、双胞胎等等都令人不安，但是现在我们可以通过点亮屏幕的亮度来解锁。因此，面部在整个体验中具有优势。

随着用户体验的结束，让我们讨论一下刷牙是否安全。

常见的生物特征包括指纹、虹膜、手指静脉、巩膜、视网膜和其他生物特征。传统的生物特征识别收集隐私特征，因此人脸是一种替代的生物特征识别方法。它收集的数据隐私较少，因为在我们的日常生活中，你很容易暴露你的照片。

如上图所示，从另一个角度来看，我们的眼睛很难区分这些指纹图像是否属于一个人，但是我们可以很容易地知道右边的这些图像是否属于同一个人。我们大脑中有一个叫做梭状回的区域，用于面部识别。梭状回有一个问题，通常称为面盲。患有这种疾病的人不能进行面部识别。上述观点是为了表明，与其他生物识别相比，人脸缺乏隐私性，更适合人脑识别。因此，解锁人脸识别需要更强的手段来识别真伪。

人脸识别背后使用了哪些技术？让我们来看看解锁手机的过程。

第一步是拿起手机，收集视频序列帧。此时，我们需要检测这些帧是否有人脸，我们需要找到人脸。

第二步是分析一个人面部的一些属性，包括面部眼睛的开合状态、头部的角度等。，并据此判断是否适合解锁。例如，当你闭着眼睛时，它不适合解锁，因为它显示有人拿着我的手机给我拍照。第三种技术是活检。我们需要判断你是在使用手机，还是有人在屏幕上打开你的触发器。第四项技术是人脸识别。我们可以通过比较底部图库中的照片和从该帧中提取的人脸特征来判断它是否属于同一个人。

人们早就应该听说过人脸识别，但事实上这项技术的历史并不长。2001年，人脸检测刚刚实现在PC机上实时运行，但没有使用深度学习。2005年，欧姆龙第一次在相机中进行人脸检测，这样相机在拍照时可以聚焦在人脸上。2012年，清华有三个同学，他们都做了一个游戏应用。这个游戏将根据你的头部上下晃动来控制游戏的主角。这是第一款基于面部控制的游戏。这三位同学是我们的三位创始人。在手机上计算人脸识别算法的能力是另一大进步。

2015年，马云在汉诺威展览会上展示了支付宝的刷脸计划。众所周知，支付对安全有很高的要求。在该方案中，使用了各种人脸技术，包括人脸检测、人脸识别和各种现场测试。然而，该方案直到今年才投入商业使用，近年来，脸谱支付发展迅速。去年，我们推出了一款名为FaceID的产品。当人们使用支付宝或一些金融产品时，有时手机会要求你做一些协调的动作，比如眨眼和摇头，FaceID就是这样做的。眨眼之间，摇头不是用来做人脸识别的，是用来做活体测试，来判断一个人是否是活体。

什么是活检？活检背后使用了什么技术？

如果一个人有指纹和虹膜，他还活着吗？他不是活着的，因为指纹和虹膜是不够的，你需要区分这个人是否还“活着”。例如，他的手指热吗？手指下的毛细血管里有血液流动吗？这是生物要解决的问题。因此，可以看出，事实上，任何生物识别方法中的活体识别都是基于人类的一些先验知识。不管是脸、指纹还是虹膜，都只能根据这些先验知识来判断，这就像通过管子看豹子一样，有很大的局限性。

如上所示。每个人都认为相对安全的指纹和虹膜也可能被破坏。关于指纹攻击，网上可以买到价值几十元的硅胶模具。一旦你有机会得到主人的指纹图像，你可以通过将它重新打印到硅胶模具中来解锁。因此，指纹模块现在已经针对生物进行了优化，比如判断手指当前的血流速度，从而证明你是活着的。至于虹膜，如果你用一副隐形眼镜打印高清照片，你也可以攻击。

在现场刷牙技术中，我们在去年的网络金融场景中遇到了这种现场攻击。第一种类型是变脸攻击，例如，一个人的脸贴在另一个人的脸上。第二个是屏幕重拍攻击，类似于今年的手机解锁攻击。第三种方法是通过计算攻击来生成一张3D假脸。由于金融领域的特殊性，攻击手段层出不穷。我们还制作了不同类型的活算法来抵御这些攻击。例如，我们将要求用户摇头并眨眼来判断当前操作对象是否是“活人”。

解锁手机对生命体提出了更高的要求。因为解锁需要拿起手机来完成测试，所以用户不愿意为了理解锁而摇头和眨眼。没有任何协调，手机怎么能在这么短的时间内说出你的真实身份？

你能看到上面三幅画中的哪一幅是真人吗？

上面的一个相对简单。这张照片怎么样？

正确答案是最后两个人是真实的人。第一个实际上很难区分，但是颧骨有一个鼠标指针。第二，这个人的背景是模糊的，真正的相机不会捕捉到背景模糊的人。第三，我们打印出照片，剪下来，放在照相机前。第四个是屏幕改造。

因此，有必要在手机解锁时采取预防措施。首先，有必要定义什么是攻击场景。

手机上最常见的攻击场景是第一次屏幕重拍攻击和第二次照片打印攻击。

在这两种攻击场景中，我们会发现一些漏洞。首先是暴露的边界。当手机屏幕攻击或打印照片时，边框会暴露出来。第二个问题是模糊。如果手机攻击很近，边界会消失，但画面会模糊。类似的问题还包括手机屏幕的像素点、波纹、反射、扭曲和扭曲。

刚才我们为机器训练提供了大量的攻击数据。当机器看到更多数据时，它自然能够识别哪个是攻击数据。因此，机器最终达到的活体防御水平远远高于我们肉眼可以分辨的6个场景。在活体防御中，机器比我们的肉眼更可靠。

以下是人脸识别中一些常见的误解。

首先，我们经常会遇到一些问题。人脸识别的安全分数是多少？指纹是什么？安全标准永远不能简单地用百分比来衡量。判断安全性的标准是成本。让我们以锁为例。甲级锁的攻击成本是在一分钟内破解。乙类锁的供应成本约为5分钟。有一个丙类锁，也就是保险库的锁，需要三个小时才能打开。所以安全标准实际上是你的攻击成本。iphone更安全，不是因为他的人脸识别率比一部相机手机高很多，而是因为他的攻击成本更高。因为结构光摄像机可以抵御所有平面攻击，攻击者需要创建三维人脸模型来进行攻击。

第二，红外摄像机安全吗？

如上图所示，从图像中的数据量来看，普通摄像机采集的图像数据量要比红外摄像机采集的图像数据量大得多，因此不能简单地说红外摄像机更安全。然而，红外摄像机确实可以提高安全性。其安全性主要体现在对RGB的补充上。我们只能用肉眼看到RGB图像，而红外光是肉眼看不到的。通过红外图像，我们可以有效地区分哪些是脸，哪些是手机屏幕。此外，红外光可以帮助解锁黑暗场景，这也有助于体验。

第三，人脸的关键点不同于人脸的特征。

如上图所示，关键点在左边。当我们比较10个人的关键点时，我们会发现每个人的关键点都非常相似，所以比较关键点是非常不可靠的。面部特征是指人脸的一系列编码数据。你可以想象有一个多维空间，每个人脸都是多维空间中的一个点。如果你收集了多张脸部照片，那么这些点越靠近，它们就越有可能是同一个人，而且离得越远，它们就越有可能不是同一个人。我们的逻辑计算如下。

今年，除了苹果，所有解锁方面都是解锁级解决方案。在付款的情况下，仍然需要指纹或密码来完成。我们相信人脸解锁的未来是人脸支付。在支付方面，只有特定的摄像机硬件方案才能达到这种安全级别。例如，苹果使用结构光。

结构光双摄影的主要原理是通过结构光发射器和接收器之间产生的相位差来计算人脸的深度，并根据这个深度来判断真假。因此，结构光硬件本身能够抵御所有2D攻击，包括屏幕和纸张。然而，由于支付场景的敏感性，攻击者可能使用更高成本的攻击，如3D打印或硅胶膜来窃取所有者的财产。这需要像我们这样的算法来解决这种生活问题。

如前所述，刷脸费直到今年才真正落到实处。在杭州的一家肯德基店，安装了一台刷卡机。用户不需要带钱包和手机，只需跑到机器前刷牙就可以完成支付。在这个支付设备的顶部是一个结构光相机。

为了同时解决体验和安全问题，我们在生活技术上取得了新的突破。对具体的原则多说是不方便的。我可以给你看下面的图片。

如上图所示，您可以在右上角看到该图。左边这张脸是一张硅胶三维脸，真人拿着一张印有2D头像的纸。散斑结构光会在这些材料上产生光点。通过对采集的结构光斑图像进行计算，可以有效地判断哪种材料是硅胶，哪种材料是人手，哪种材料是纸张。未来我们将有更多的新技术来提高手机刷脸支付场景的安全性。

展望未来，我们认为刷脸付款的场景将在未来扩展到各行各业。因为刷牙不需要合作或任何操作，并且用户可以在没有感知的情况下完成，所以它不仅可以用于在线支付，还可以用于新的零售和无人超市的离线支付。

问答环节

问题1:我刚才提到，人脸有100多种特征。我想问你，有没有什么方法可以通过算法和深入学习有意识地提取一些特征。因为我们无法控制深度学习的许多学习过程，有什么好的方法和手段吗？是否可能关注算法的学习过程，并有意识地关注一些相互的位置？

乔良:你说的特征应该是指人脸的关键点。说到零件，关键是是否要对某些零件进行特殊训练。我认为它是通过使用场景来定义的。例如，在美容化妆场景中，需要涂口红和画眼线，眼睛和嘴唇的关键点要求很高，因此这两个部分需要增加更多的点，以使颜色变化更自然和更合适。因此，该算法由着陆场景驱动，在着陆场景中，我们需要生成关键点，然后对数据进行注释和训练，最后生成它们。场景是源头。

问题2:我有两个小问题。我刚刚介绍了识别特征区域是轮廓、眼睛和嘴巴。事实上，我经历过很多面部识别设备，但是戴着面具很难认出它们。然而，有些半边脸是可以的。为什么戴口罩时识别效果会低很多？另一个问题，刚才提到的IphoneX是一个前置结构光捕捉3D动画，哪一个可以详细描述？

乔良:让我先回答第一个问题。首先，我想解释一个误解。人脸的关键点和人脸的特征值是两件事。关键点是一个人脸上的点。它的应用场景通常是娱乐场景，如制作贴纸和美丽的面孔。然而，面部特征与关键点无关。这是一串面部编码。我们对每张脸都有一串脸部代码。对于这串代码，我们比较当前的脸和你是否是同一个人，所以这不是一回事。“半张脸没事”的场景你看，我猜应该是指脸的关键点。要点分为两步。第一步是关键点的检测，第二步是关键点的跟踪。检测意味着原始图片中没有人脸，然后是人脸。观察是否可以检测到关键点。就检测而言，如果你的脸有大面积的遮挡，就更难了。因此，在检测第一帧图像时，人脸应尽可能保持完整，关键点在跟踪时具有很强的鲁棒性。一旦人的脸被发现，我的脸甚至不会覆盖一半的脸。

第二个问题是IphoneX的正面结构光。前结构光有三个基本组成部分。第一个是RGB相机，第二个是散斑结构光发射器，第三个是红外结构光相机。IPhoneX的相机比我说的更复杂，但是为了便于理解，让我先从这三个部分的角度来介绍它。第一台红绿蓝相机用于捕捉面部图像，用于面部比较和正常拍摄。另外两种装置与结构光有关。结构光的原理是击中你脸上的一些红外点，并根据发射器和照相机之间的相位差计算景深信息。由于这种景深信息的准确性比普通的RGB双摄影高得多，所以它可以抵御一些低成本的攻击。除了机械光之外，飞行时间还用于根据红外光击中人脸并反射回来的时间来判断人的距离和人脸的3D特征。这两种方案都是安全性较高的摄像头模块。

问题3:我想问一个问题。从传统的单摄像机到后来的深度摄像机，再到现在这种包括结构光的摄像机，人脸识别在下一阶段的趋势是什么？谢谢你

乔良:就手机摄像头硬件而言，首先，单个RGB摄像头一直是焦点，因为从应用场景来看，超过70%的手机依赖单个摄像头。除了单幅摄影，目前的焦点是结构光和飞行时间，或iPhoneX。因为它可以解锁面部并将其提高到支付水平；此外，从摄影的角度来看，我们也在关注2PD技术。这实际上是一次拍摄，但是它的传感器把一个像素分成两个子像素，所以它可以捕捉两张图片。两幅图片对齐后，会发现非常小的角度差异。放大角度后，可以使单次拍摄达到类似双次拍摄的效果，并获得一定的景深信息。因此，我们认为2PD是一种低成本的替代双重摄影，它可以在一定程度上提高图像模糊的质量。

讲师介绍

Face++产品专家乔良曾先后为小米、Q6、MySpace等互联网公司服务，负责数千万款C端产品，并两次被苹果应用商店推荐。目前负责Face++各行业人脸识别算法的产品规划和登陆，手机解锁项目负责人。

这篇文章是由网站管理员的用户提交的。未经网站管理员同意，严禁复制。例如，如果大多数用户在稿件中发现虚假报告，欢迎读者反馈、纠正和报告问题(反馈入口)。

免责声明:本文是对用户的贡献。站长之家发布这篇文章只是为了传达信息。这并不意味着站长之家同意其观点，不对内容的真实性负责，仅供用户参考，不构成任何投资或使用建议。读者被要求核实真实性和可能的风险，任何后果将由读者自己承担。

• 上一篇：哪一个是最好的电视盒，选择和购买魔术的三个好方法使
• 下一篇：中国获得18项全球互联网领先科技成果的60%