1.什么是活体检测？
--判断捕捉到的人脸是真实人脸，还是伪造的人脸攻击（如：彩色纸张打印人脸图，电子设备屏幕中的人脸数字图像以及面具等）
2.为什么需要活体检测？
--在金融支付，门禁等应用场景，活体检测一般是嵌套在人脸检测与人脸识别or验证中的模块，用来验证是否用户真实本人
3.活体检测对应的计算机视觉问题：
--就是分类问题，可看成二分类（真or假）；也可看成多分类（真人，纸张攻击，屏幕攻击，面具攻击）
时代
从早期handcrafted特征的传统方法说起，目标很明确，就是找到活体与非活体攻击的difference，然后根据这些差异来设计特征，最后送给分类器去决策。
那么问题来了，活体与非活体有哪些差异？
1.颜色纹理
2.非刚性运动变形
3.材料（皮肤，纸质，镜面）
所以这段时期的文章都是很有针对性地设计特征，列举几篇比较重要的：
ImageDistortionAnalysis[1],2015
如下图，单帧输入的方法，设计了镜面反射+图像质量失真+颜色等统计量特征，合并后直接送SVM进行二分类。
ImageDistortionAnalysis[1]
ColourTexture[2],2016
OuluCMVS组的产物，算是传统方法中的战斗机，特别简洁实用，Matlab代码（课题组官网有），很适合搞成C++部署到门禁系统。
原理：活体与非活体，在RGB空间里比较难区分，但在其他颜色空间里的纹理有明显差异
算法：HSV空间人脸多级LBP特征+YCbCr空间人脸LPQ特征（后在17年的paper拓展成用ColorSURF特征[12]，性能提升了一点）
ColourTexture[2]
Pros:算法简洁高效易部署；也证明了活体与非活体在HSV等其他空间也是discriminative，故后续深度学习方法有将HSV等channel也作为输入来提升性能。
Motionmag.-HOOF+LBP-TOP[3],2014
DMD+LBP[4],2015
前面说的都是单帧方法，这两篇文章输入的是连续多帧人脸图；
主要通过捕获活体与非活体微动作之间的差异来设计特征。
一个是先通过运动放大来增强脸部微动作，然后提取方向光流直方图HOOF+动态纹理LBP-TOP特征；一个是通过动态模式分解DMD，得到最大运动能量的子空间图，再分析纹理。
PS：这个motionmagnification的预处理很差劲，加入了很多其他频段噪声（18年新出了一篇用Deeplearning来搞Motionmag[13].看起来效果挺好，可以尝试用那个来做运动增强，再来光流orDMD）
Motionmag.-HOOF+LBP-TOP[3]
Pulse+texture[5],2016
第一个将remotepluse应用到活体检测中，多帧输入
算法流程：
1.通过pluse在频域上分布不同先区分活体or照片攻击（因为照片中的人脸提取的心率分布不同）
Pulse+texture[5]
Pros:从学术界来说，引入了心理信号这个新模态，很是进步；从工业界来看，如果不能一步到位，针对每种类型攻击，也可进行Cascade对应的特征及分类器的部署方式
时代
其实用Deeplearning来做活体检测，从15年陆陆续续就有人在研究，但由于公开数据集样本太少，一直性能也超越不了传统方法：
CNN-LSTM[6],2015
多帧方法，想通过CNN-LSTM来模拟传统方法LBP-TOP，性能堪忧~
PatchNetpretrain[7]，CNNfinetune,2017
单帧方法，通过人脸分块，pre-train网络；然后再在global整个人脸图fine-tune，作用不大
PatchandDepth-BasedCNNs[8],2017
第一个考虑把人脸深度图作为活体与非活体的差异特征，因为像屏幕中的人脸一般是平的，而纸张中的人脸就算扭曲，和真人人脸的立体分布也有差异；
就算用了很多tricks去fusion，性能还是超越不了传统方法。
DeepPulseandDepth[9],2018
发表在CVPR2018的文章，终于超越了传统方法性能。
文章[8]的同一组人，设计了深度框架准端到端地去预测Pulse统计量及Depthmap（这里说的“准”，就是最后没接分类器，直接通过样本feature的相似距离，阈值决策）
在文章中明确指明：
1.过去方法把活体检测看成二分类问题，直接让DNN去学习，这样学出来的cues不够general和discriminative
2.将二分类问题换成带目标性地特征监督问题，即回归出pulse统计量+回归出Depthmap，保证网络学习的就是这两种特征（哈哈，不排除假设学到了colortexture在里面，黑箱网络这么聪明）
DeepPulseandDepth[9]
回归Depthmap，跟文章[8]中一致，就是通过Landmark然后3DMMfitting得到人脸3Dshape，然后再阈值化去背景，得到depthmap的groundtruth，最后和网络预测的estimateddepthmap有L2loss。
而文章亮点在于设计了Non-rigidRegistrationLayer来对齐各帧人脸的非刚性运动（如姿态，表情等），然后通过RNN更好地学到temporalpulse信息。
Non-rigidRegistrationLayer[9]
为什么需要这个对齐网络呢？我们来想想，在做运动识别任务时，只需简单把sampling或者连续帧合并起来喂进网络就行了，是假定相机是不动的，对象在运动；而文中需要对连续人脸帧进行pulse特征提取，主要对象是人脸上对应ROI在temporal上的Intensity变化，所以就需要把人脸当成是相机固定不动。
Micro-texture+SSDorbinoculardepth[10],2018
ArXiv刚挂出不久的文章，最大的贡献是把活体检测直接放到人脸检测（SSD，MTCNN等）模块里作为一个类，即人脸检测出来的bbox里有背景，真人人脸，假人脸三类的置信度，这样可以在早期就过滤掉一部分非活体。
所以整个系统速度非常地快，很适合工业界部署~
至于后续手工设计的SPMTfeature和TFBDfeature比较复杂繁琐，分别是表征micro-texture和stereostructureofface，有兴趣的同学可以去细看。
texture+SSDorbinoculardepth[10]
De-Spoofing[11],ECCV2018
单帧方法，与Paper[8]和[9]一样，是MSU同一个课题组做的。
文章的idea很有趣，启发于图像去噪denoise和图像去抖动deblur。无论是噪声图还是模糊图，都可看成是在原图上加噪声运算或者模糊运算（即下面的公式），而去噪和去抖动，就是估计噪声分布和模糊核，从而重构回原图。
De-spoofingprocess[11]
那问题来了，数据集没有像素级别一一对应的groundtruth，也没有SpoofNoise模型的先验知识（如果有知道Noise模型，可以用LiveFace来生成SpoofingFace），那拿什么来当groundtruth，怎么设计网络去估计Spoofingnoise呢？
Magnitudeloss(当输入是Liveface时，N尽量逼近0)；
Repetitiveloss(Spooingface的Noise图在高频段有较大的峰值)；
0\1MapLoss(让RealFace的deepfeaturemap分布尽量逼近全0，而Spoofingface的deepfeaturemap尽量逼近全1)
De-spoofing网络架构[11]
Pros:通过可视化最终让大众知道了SpoofingNoise是长什么样子的~
Cons:在实际场景中难部署（该模型假定SpoofingNoise是strongly存在的，当实际场景中活体的人脸图质量并不是很高，而非活体攻击的质量相对高时，Spoofingnoise走不通）
后记：不同模态的相机输入对于活体检测的作用
1.近红外NIR
由于NIR的光谱波段与可见光VIS不同，故真实人脸及非活体载体对于近红外波段的吸收和反射强度也不同，即也可通过近红外相机出来的图像来活体检测。从出来的图像来说，近红外图像对屏幕攻击的区分度较大，对高清彩色纸张打印的区分度较小。
从特征工程角度来说，方法无非也是提取NIR图中的光照纹理特征[15]或者远程人脸心率特征[16]来进行。下图可见，上面两行是真实人脸图中人脸区域与背景区域的直方图分布，明显与下面两行的非活体图的分布不一致；而通过与文章[5]中一样的rPPG提取方法，在文章[]中说明其在NIR图像中出来的特征更加鲁棒
NIR人脸区域与背景区域直方图[15]
2.结构光/ToF
由于结构光及ToF能在近距离里相对准确地进行3D人脸重构，即可得到人脸及背景的点云图及深度图，可作为精准活体检测（而不像单目RGB或双目RGB中仍需估计深度）。不过就是成本较高，看具体应用场景决定。
3.光场Lightfield
光场相机具有光学显微镜头阵列，且由于光场能描述空间中任意一点向任意方向的光线强度，出来的raw光场照片及不同重聚焦的照片，都能用于活体检测：
3.1raw光场照片及对应的子孔径照片[17]
如下图所示，对于真实人脸的脸颊边缘的微镜图像，其像素应该是带边缘梯度分布；而对应纸张打印或屏幕攻击，其边缘像素是随机均匀分布
光场相机图
3.2使用一次拍照的重聚焦图像[18]
原理是可以从两张重聚焦图像的差异中，估计出深度信息；从特征提取来说，真实人脸与非活体人脸的3D人脸模型不同，可提取差异图像中的亮度分布特征+聚焦区域锐利程度特征+频谱直方图特征。
至此，Faceanti-spoofing的简单Survey已完毕~
毫无疑问，对于学术界，后续方向应该是用DL学习更精细的人脸3D特征和人脸微变化微动作(MotionSpoofingNoise?)表征；而也可探索活体检测与人脸检测及人脸识别之间更紧密的关系。
对于工业界，可直接在人脸检测时候预判是否活体；更可借助近红外，结构光/ToF等硬件做到更精准。
Reference:
[1]DiWen,HuHan,,2015
[2]ZinelabidineBoulkenafet,JukkaKomulainen,,2016
[3]
MultifeatureVideoletAggregation,2014
[4]SantoshTirunagari,,2015
[5]XiaobaiLi,,
fromfacevideos,201623rdICPR
[6]oofing,20153rdIAPR
[7]GustavoBotelhodeSouza,OntheLearningofDeepLocalFeaturesfor
RobustFaceSpoofingDetection,2017
[8]YousefAtoum,,2017
[9]YaojieLiu,AminJourabloo,XiaomingLiu,LearningDeepModelsforFaceAnti-Spoofing:BinaryorAuxiliarySupervision，CVPR2018
[10]DiscriminativeRepresentationCombinationsforAccurateFaceSpoofingDetection，2018PR
[11]AminJourabloo,FaceDe-Spoofing:Anti-SpoofingviaNoiseModeling,ECCV2018
[12]ZinelabidineBoulkenafet,FaceAntispoofingUsingSpeeded-UpRobustFeaturesandFisherVectorEncoding,IEEESIGNALPROCESSINGLETTERS,,,FEBRUARY2017
[13]Tae-HyunOh,Learning-basedVideoMotionMagnification,ECCV2018
[14]XiaobaiLi,RemoteHeartRateMeasurementFromFaceVideosUnderRealisticSituations
[15]XudongSun,ContextBasedFaceSpoofingDetectionUsingActiveNear-InfraredImages,ICPR2016
[16]JavierHernandez-Ortega,TimeAnalysisofPulse-basedFaceAnti-SpoofinginVisibleandNIR,CVPR2018workshop
[17]SooyeonKim,FaceLivenessDetectionUsingaLightFieldCamera,2014
[18]XiaohuaXie,One-snapshotFaceAnti-spoofingUsingaLightFieldCamera,2017
推荐阅读
[1]机器学习-波澜壮阔40年【获取码】SIGAI0413.
[2]学好机器学习需要哪些数学知识？【获取码】SIGAI0417.
[3]人脸识别算法演化史【获取码】SIGAI0420.
[4]基于深度学习的目标检测算法综述【获取码】SIGAI0424.
[5]卷积神经网络为什么能够称霸计算机视觉领域？【获取码】SIGAI0426.
[6]用一张图理解SVM的脉络【获取码】SIGAI0428.
[7]人脸检测算法综述【获取码】SIGAI0503.
[8]理解神经网络的激活函数【获取码】
[9]深度卷积神经网络演化历史及结构改进脉络-40页长文全面解读【获取码】SIGAI0508.
[10]理解梯度下降法【获取码】SIGAI0511.
[11]循环神经网络综述—语音识别与自然语言处理的利器【获取码】SIGAI0515
[12]理解凸优化【获取码】SIGAI0518
[13]【实验】理解SVM的核函数和参数【获取码】SIGAI0522
[14]【SIGAI综述】行人检测算法【获取码】SIGAI0525
[15]机器学习在自动驾驶中的应用—以百度阿波罗平台为例(上)【获取码】SIGAI0529
[16]理解牛顿法【获取码】SIGAI0531
[17]【群话题精华】5月集锦—机器学习和深度学习中一些值得思考的问题【获取码】SIGAI0601
[18]大话Adaboost算法【获取码】SIGAI0602
[19]FlowNet到：基于卷积神经网络的光流预测算法【获取码】SIGAI0604
[20]理解主成分分析(PCA)【获取码】SIGAI0606
[21]人体骨骼关键点检测综述【获取码】SIGAI0608
[22]理解决策树【获取码】SIGAI0611
[23]用一句话总结常用的机器学习算法【获取码】SIGAI0611
[24]目标检测算法之YOLO【获取码】SIGAI0615
[25]理解过拟合【获取码】SIGAI0618
[26]理解计算：从√2到AlphaGo——第1季从√2谈起【获取码】SIGAI0620
[27]场景文本检测——CTPN算法介绍【获取码】SIGAI0622
[28]卷积神经网络的压缩和加速【获取码】SIGAI0625
[29]k近邻算法【获取码】SIGAI0627
[30]自然场景文本检测识别技术综述【获取码】SIGAI0627
[31]理解计算：从√2到AlphaGo——第2季神经计算的历史背景【获取码】SIGAI0704
[32]机器学习算法地图【获取码】SIGAI0706
[33]反向传播算法推导-全连接神经网络【获取码】SIGAI0709
[34]生成式对抗网络模型综述【获取码】SIGAI0709.
[35]怎样成为一名优秀的算法工程师【获取码】SIGAI0711.
[36]理解计算：从根号2到AlphaGo——第三季神经网络的数学模型【获取码】SIGAI0716
[37]【技术短文】人脸检测算法之S3FD【获取码】SIGAI0716
[38]基于深度负相关学习的人群计数方法【获取码】SIGAI0718
[39]流形学习概述【获取码】SIGAI0723
[40]关于感受野的总结【获取码】SIGAI0723
[41]随机森林概述【获取码】SIGAI0725
[42]基于内容的图像检索技术综述——传统经典方法【获取码】SIGAI0727
[43]神经网络的激活函数总结【获取码】SIGAI0730
[44]机器学习和深度学习中值得弄清楚的一些问题【获取码】SIGAI0802
[45]基于深度神经网络的自动问答系统概述【获取码】SIGAI0803
[46]反向传播算法推导——卷积神经网络【获取码】SIGAI0806
[47]机器学习与深度学习核心知识点总结写在校园招聘即将开始时【获取码】SIGAI0808
[48]理解SpatialTransformerNetworks【获取码】SIGAI0810
[49]AI时代大点兵-国内外知名AI公司2018年最新盘点【获取码】SIGAI0813
[50]理解计算：从√2到AlphaGo——第2季神经计算的历史背景【获取码】SIGAI0815
[51]基于内容的图像检索技术综述--CNN方法【获取码】SIGAI0817
[52]文本表示简介【获取码】SIGAI0820
[53]机器学习中的最优化算法总结【获取码】SIGAI0822
[54]【AI就业面面观】如何选择适合自己的舞台？【获取码】SIGAI0823
[55]浓缩就是精华-SIGAI机器学习蓝宝书【获取码】SIGAI0824
[56]DenseNet详解【获取码】SIGAI0827
[57]AI时代大点兵国内外知名AI公司2018年最新盘点【完整版】【获取码】SIGAI0829
[58]理解Adaboost算法【获取码】SIGAI0831
[59]深入浅出聚类算法【获取码】SIGAI0903
[60]机器学习发展历史回顾【获取码】SIGAI0905
[61]网络表征学习综述【获取码】SIGAI0907
[62]视觉多目标跟踪算法综述(上)【获取码】SIGAI0910
[63]计算机视觉技术self-attention最新进展【获取码】SIGAI0912
[64]理解Logistic回归【获取码】SIGAI0914
[65]机器学习中的目标函数总结【获取码】SIGAI0917
原创声明：本文为SIGAI原创文章，仅供个人学习使用，未经允许，不能用于商业目的
