Face recognition based on NSCT and centrosymmetric local direction pattern
魏维，杨恢先，陶霞，曾金芳，（湘潭大学物理与光电工程学院，湖南 湘潭 411105）
摘要：针对人脸辨认中姿势、光照、表情改变构成的辨认率不高的问题，本文提出一种非下采样Contourlet改换(NSCT)与绝对值型中心对称部分方向形式(ACSLDP)相结合的人脸辨认办法。首要，对人脸图画进行非下采样Contourlet改换处理，得到多个不同标准不同方向的子带图画，然后核算子带图画绝对值型中心对称部分方向形式，再对每一幅子图画进行分块，使用信息熵对每块子图画进行加权，核算直方图特征信息，将直方图串接起来作为人脸图画的特征向量，最终使用最近邻分类器分类辨认。在ORL、YALE和CAS-PEAL-R1人脸库上进行测验，试验成果表明所提办法人脸有比较强的辨认才能，特征维数小，且对姿势、光照、表情改变具有较好鲁棒性。
关键词：图画处理；人脸辨认；NSCT；绝对值型中心对称部分方向形式；信息熵；最近邻分类器
基金项目：湖南省天然科学基金(2018JJ3486)
0 导言
近年来人脸辨认在国家安全、社会安稳和日子便当等方面使用广泛，具有与其他生物特征辨认技能没有的长处，如具有非触摸、非强制性等。人脸辨认成功的使用在于人脸特征信息怎么有用地获取 [1] 。
人脸部分特征提取 [2~5] ，办法主要是对部分纹路信息的获取，因而在面临光照、姿势、表情和遮挡等杂乱改变时往往具有更好的表现力。Jabid等人 [2] 提出一种依据部分方向形式的人脸特征表明办法，部分方向形式特征提取办法在人脸辨认中获得了显着的作用，其快捷有用的特色招引了许多专家学者的研讨和重视并提出了许多对其改善的算法 [3~5] ，李照奎等人 [3] 提出一种改善部分方向形式的算法——差值部分方向形式（DifferenceLocal Directional Patterns, DLDP），随后王晓华等人[4] 提出梯度中心对称部分方向形式（Gradient CenterSymmetry Local Directional Patterns, GCSLDP），它们都是使用近邻边际值之间信息，人脸辨认作用不太显着。杨恢先等人 [5] 提出了一种依据中心对称部分方向形式的算法（center-symmetric local dirertionalpattern，CSLDP）。CSLDP算法因为考虑了原始数据空间人脸信息，人脸特征愈加完善，但对噪声和光照状况的安稳性缺少。
Gabor小波 [6] 在提取方针的部分空间和频域信息方面具有杰出的特性。人脸图画经过Gabor小波分化后，原始的人脸特征维数会添加，核算杂乱度会添加，难以将其运用在实践体系中。针对这一现象，呈现了一种现在比较常用的剖析东西——Contourlet改换 [7] ，Contourlet 改换尽管下降了特征维度，可是因其下采样只是在固定的领域内提取，简略有图画信息的遗失，会导致频谱走漏和频谱混叠，以及平移不变性的缺少，导致人脸辨认率下降 [8] 。针对以上问题，呈现了一种对其改善的非下采样Contourlet改换 [8] （NonsubsampledContourlet Transform，NSCT），不只可以战胜Contourlet 改换带来的缺点还可以很好的保存更多人脸图画特征信息。
遭到文献[8] 和文献[5]的启示，提出一种非下采样 Contourlet 改换与绝对值型中心对称部分方向形式（Absolute Center of Symmetry Local DirectionalPatterns，简称ACSLDP）相结合的人脸辨认办法。首要对人脸图画进行非下采样 Contourlet 改换，得到具有多个标准、多个方向的子带图画，然后使用ACSLDP提取子带图画特征信息，再对每一幅图画进行分块，使用信息熵 [9] 对每块子带图画进行加权，并将一切分块的核算直方图特征信息串接，融组成一个直方图，最终使用最近邻分类器 [10] 分类辨认。
1 根本原理
1.1 NSCT
依据人类对天然图画和视觉体系的探究和总结，人们发现当图画表明具有以下特征时，可以被描绘为“最佳”：
(1)多分辨率；
(2)方向性；
(3)局域性；
(4)各向异性 [8] 。
非下采样Contourlet改换不只悉数具有以上4种特性，还具有一种可以很好的防止图画像素错位的平移不变性 [8] 。NSCT由两个部分构成，榜首部分对错下采样结构金字塔（NonsubsampledPyramid，NSP），NSP完结了多标准分化得到低频重量和不同子带的高频重量，其间低频重量可以很好的捕捉到人脸图画的概括细节信息；第二部分对错下采样方向滤波组 Nonsubsampled Directional Filter Banks，（NSDFB）。NSDFB完结了对不同子带的高频重量进行多方向多分辨率分化，NSDFB可以很好的捕获到更多方向信息，然后抽取到更多的人脸图画特征。图1给出了NSCT三层分化结构示意图。
NSP是一个双通道滤波器组，得到一个低通重量和多个不同子带重量，如图2所示。
NSDFB是对不同子带重量进行方向分化，因为NSDFB去除了下采样只进行了上采样滤波，NSDFB防止了下采样的多种缺点，然后很好的防止了信息的缺失，改善了图画边际和部分细节的清晰度，保存了更多方向信息。
一副人脸图画经过NSCT分化会得到n(n=1,2,3)层，每一层分化会得到2 n 个方向 [8] 。因为考虑到人脸图画信息中奇点、骤变以及噪声通常在高频子带中呈现，且低频子带中往往保存了人脸图画的大部分信息，所以在本文中放弃了一部分高频方向信息。因而如图3所示选取了三层且各层方向数为4,4,2。
1.2 绝对值型中心对称部分方向形式
本课题组杨恢先等人提出一种中心对称部分方向形式，CSLDP根本编码过程为：
（1）首要将人脸图画3×3子邻域与 Kirsch 8个模板卷积后，得到8个边际呼应 m i (i=0,1,⋯,7)，边际呼应m i 具有正负；
（2）选用中心对称的思维，经过比较邻域内以中心像素点处于对称方位的4个梯度方向的边际呼应，既边际呼应m i 与 m i+4 (i=0,1,⋯,3)直接做差比较，大于等于0时，二进制编码为1，反之亦然为0；
（3）考虑中心像素点与邻域均值的巨细联系并赋最大权重；
（4）按次序得到一个五位二进制数，转换为十进制数作该中心像素的CSLDP编码。文章改善办法：对边际呼应值m i 取绝对值，比较的是|m i |与 |m i+4| (i=0,1,⋯,3)的巨细，其他不变。边际呼应值m i 的正负意味着某个方向上两个相反的趋势(上升或下降)，但最大正值与最小负值都对应图画边际，所以直接作差，会对有些边际特征无法区别。而将边际呼应m i 与 m i+4(i=0,1,⋯,3)都取绝对值之后做差，绝对值越大，往往表明两个方向之间的细节特征愈加杰出，而更杰出的细节信息往往具有更强的判别力，考虑到近邻边际呼应值之间的内涵改变。因为都归于中心对称部分方向形式，为了区别，将改善的办法命名为ACSLDP编码。
CSLDP、ACSLDP编码核算别离如式(1)、(2)所示。CSLDP、ACSLDP特征提取流程如图4所示。
其间：g i (i=0,1,⋯,7)表明中心像素g c 的8个邻域点的灰度，g m 为g c 的8个邻域点的灰度均值，m i (i=0,1,⋯,7)表明中心像素，g c 对应的8个Kirsch 边际呼应值。
2 依据NSCT与ACSLDP相结合的人脸辨认
人脸特征辨认流程如图5所示；
算法的根本流程描绘为:
对人脸图画进行预处理后进行多标准、多方向的NSCT 分化，得到一个低频系数子带和多标准、多方向上的高频系数子带；
核算子带图画绝对值型中心对称部分方向形式。依据NCST与ACSLDP相结合的算法(本文命名为NACLDPH)提取子带图画特征信息；因为在进行比照试验算法时加入了依据NCST与CSLDP相结合的算法(本文命名为NCLDPH)的比照，故在图4和图5中加入了CSLDP的比照，并用括号表明；
对每一幅子带图画进行分块，使用信息熵对图画的每一块进行加权，信息量越多，信息熵值越大，权重系数越大；
并将一切分块的核算直方图特征 信息串接起来，构成人脸 特征，并用多通道最近邻分类器进行分类；
2.1 NACLDPH特征提取
3 试验成果与剖析
3.1 试验环境及参数选取
试验所用的硬件环境为Intel(R)Core(TM)i3-3217，主频1.8 GHz，内存4 GB；仿真试验环境是MatlabR2014a，Windows10体系 ；本试验中各人脸库介绍以及分块和试验参数挑选如表1所示。
人脸库部分人脸图画如图7所示。
不同的分块数会得到不同的辨认作用，本文章选用部分区域法，便是对人脸图画进行均匀分块。如图8所示不同分块方法在不同人脸库上的辨认率。
3.2 辨认率与核算杂乱度剖析
为了点评NSCT+ACSLDP算法的有用性，文章挑选与用CSLDP [5] 、ACSLDP、DLDP [3] 、GCSLDP [4] 、HNCLDP [11] 、NSCT+CSLDP算法与NSCT+ACSLDP算法进行比较，NSCT+ACSLDP算法在ORL人脸库、YALE人脸库、CAS-PEAL-R1光照人脸库和CAS-PEAL-R1表情人脸库上别离选用7×2、8×8、11×10和4×5的分块数，bins选用32，试验成果如表2～4所示。
YALE人脸库被用于测验杂乱度试验，意图为了比较每种比照算法的杂乱度，试验中随机选取每人1张人脸图画作为练习集，其他人脸图画作为测验集，挑选最佳辨认率对应的分快数，核算每个算法以完结单幅人脸图画所需求的均匀时刻t：
其间：T 1 表明单幅图画特征提取的均匀时刻，T 2 表明对一副测验样本与练习样本进行屡次匹配的时刻。每个算法在YALE人脸库的特征维数和均匀耗时如表5所示。
依据在YALE、ORL和CAS-PEAL-R1人脸库上试验成果可以得出定论：
(1)特征提取算子辨认率ACSLDP>CSLDP，其间ACSLDP、CSLDP的形式数为32，CSLDP算法从实质上说，是在强化空间特征信息的提取；边际呼应值m i(i=0,1,⋯,7)的正负意味着某个方向上两种改变的趋势，因为最大正值与最小负值都对应图画边际信息，假如将它们直接作差，就会对有些边际特征无法区别，而对边际呼应值取绝对值后作差值，绝对值越大，往往表明两个方向之间的细节特征愈加杰出，而更杰出的细节信息往往具有更强的判别力。ACSLDP将充沛考虑到近邻边际呼应值之间的内涵改变。因而，文章所提ACSLDP特征提取算子的有用性。
(2) 文章挑选比照算法HNCLDP算法对错采样Shearlet改换结合CSLDP， NCLDPH算法对错下采样Contourlet改换结合CSLDP，NACLDPH算法对错下采样Contourlet改换结合ACSLDP。在YALE库中，在辨认率方面，NACLDPH算法比较DLDP、GCSLDP、HNCLDP算法辨认率都高。在ORL人脸库中，在辨认率方面，NACLDPH算法比较DLDP、GCSLDP、HNCLDP算法辨认率都高，除了在样本数为3时，NACLDPH辨认率比HNCLDP低了0.19个百分点外，其他状况，NACLDPH辨认率都高。在CAS-PEAL-R1人脸库中，在辨认率方面，NACLDPH算法比较DLDP、GCSLDP、HNCLDP算法辨认率都高。
(3)在核算杂乱度方面，NACLDPH、NCLDPH、HNCLDP根本适当， CSLDP算法进行8次卷积，4次中心对称边际值作差， 4次比较巨细，1次原始空间求均匀值；GCSLDP算法进行8次卷积，8次相附近边际值作差，2次求最大值；DLDP算法因为形式数相对过高, 导致特征维度比较高，特征提取时刻较长。
归纳而言，比较较CS-LDP特征算法，ACSLDP特征提取算子能更好地提取人脸图画的边际信息和纹路信息，且没有添加直方图维数，特征提取简略。NSCT使用于人脸图画处理中，原因是NSCT在图画表明方面有着以下几种共同的优势：
（1）可以准确定位图画边际信息，且不会添加核算难度（各标准方向子带图画与原始图画标准巨细相同）；
（2）在同一标准改换上，NSCT分化的高频重量在多个方向上显现了细节信息，因而可以供给与原始图画像素彻底对应的子带 系数的方位，然后使特征提取和特征交融具有更好的功能；这使得NSCT使用于人脸辨认中可以更好地提取图画特征,具有更高的辨认正确率。由此NACLDPH算法有更高的辨认率，充沛发掘人脸图画结构信息，对姿势、光照和表情等改变有较好鲁棒性。
4 定论
提出了一种NSCT与ACSLDP相结合的人脸辨认办法。NSCT能很好地表达人脸图画在不同标准和不同方向上的特征，选用的ACSLDP能更多地保存特征信息，削弱外界要素的影响，表现出对光照、表情和姿势改变具有比较好的鲁棒性。在ORL、YALE和CAS-PEAL-R1人脸库上进行测验，试验成果表明：NSCT+ACSLDP算法对姿势、光 照和表 情等改变有更强的鲁棒性，获得较高的辨认率，且特征维度较小，辨认时刻较少，证明NACLDPH算法的有用性。
参考文献:
[1] Lee C, Landgrebe D A. Feature extraction based on decision boundaries[J]. Pattern Analysis& Machine Intelligence IEEE Transactions on, 2018, 15(4):388-400.
[2] Jabid T, Kabir M H, Chae O. Local Directional Pattern (LDP) for face recognition[C]// Digestof Technical Papers International Conference on Consumer Electronics. IEEE, 2010:329-330.
[3] Li Z K, Ding L X, Wang Y, et al. Facial features based on the pattern of difference betweenlocal orientation said [J]. Journal of Software ,2015, 26(11):2912-2929.
李照奎, 丁立新, 王岩,何进荣,丁国辉. 依据差值部分方向形式的人脸特征表明[J]. 软件学报, 2015,26(11):2912-2929.
[4] Wang X H, Li R J, Hu M, Ren F J. Occluded facial expression recognition based on thefusion of local features [J]. Journal of lmage and Graphics, 2016, 21 (11) :1473-1482.
王晓华，李瑞静，胡敏，任福继.交融部分特征的面部遮挡表情辨认[J].中国图象图形学报,2016,21(11):1473-1482.
[5] Yang H X, Zhai Y L, Cai Y Y, et al Face recognition based on center-symmetric gradientmagnitude and phase pattern [J]. Journal of Optoelectronics·Laser, 2015(5):969-977.
杨恢先, 翟云龙, 蔡勇勇,等. 依据中心对称梯度幅值相位形式的单样本人脸辨认[J]. 光电子·激光,2015(5):969-977.
[6] Amin M A, Yan H. Gabor and log-gabor wavelet for face recognition[J]. Advances in FaceImage Analysis Techniques & Technologies, 2011.
[7] Yang C L, Wang F, Xiao D. Contourlet transform-based structural similarity for image qualityassessment[C]// 2009 ieee international conference on intelligent computing and intelligentsystems. 2009:377-380.
[8] Zhang J, Face Recognition technology research based on nonsubsampled contourlettransform[D]. Beijing: Beijing University of Chemical Technology, 2011.
张军. 依据非下采样Contourlet改换的人脸辨认技能研讨[D].北京: 北京化工大学,2011.
[9] Perez C A, Cament L A, Castillo L E. Local matching Gabor entropy weighted facerecognition[C]// IEEE International Conference on Automatic Face & Gesture Recognition andWorkshops. IEEE, 2011:179-184.
[10] Huang H, Zheng X L. Hyperspectral image classification with combination of weightedspatial-spectral and KNN[J]. Optics & Precision Engineering, 2016,24(4):873-881.
黄鸿, 郑新磊. 加权空-谱与最近邻分类器相结合的高光谱图画分类[J]. 光学精细工程, 2016, 24(4):873-881[11] Yang H X, Zhai Y L, Cai Y Y, et al. Face recognition based on NSSTand CSLDP[J]. Computer Engineering and Applications, 2016, 52(8):135-140.
杨恢先,翟云龙,蔡勇勇,等.NSST与CSLDP相结合的人脸辨认[J].核算机工程与使用,2016,52(08):135-140+239.
本文来源于科技期刊《电子产品世界》2019年第5期第41页，欢迎您写论文时引证，并注明出处
