NSCT与中心对称局部方向模式相结合的人脸识别
Face recognition based on NSCT and centrosymmetric local direction pattern
本文引用地址：http://www.amcfsurvey.com/article/201904/400017.htm魏维，杨恢先，陶霞，曾金芳，（湘潭大学物理与光电工程学院，湖南 湘潭 411105）
摘要：针对人脸识别中姿态、光照、表情变化造成的识别率不高的问题，本文提出一种非下采样Contourlet变换(NSCT)与绝对值型中心对称局部方向模式(ACSLDP)相结合的人脸识别方法。首先，对人脸图像进行非下采样Contourlet变换处理，得到多个不同尺度不同方向的子带图像，然后计算子带图像绝对值型中心对称局部方向模式，再对每一幅子图像进行分块，利用信息熵对每块子图像进行加权，统计直方图特征信息，将直方图串接起来作为人脸图像的特征向量，最后利用最近邻分类器分类识别。在ORL、YALE和CAS-PEAL-R1人脸库上进行测试，实验结果表明所提方法人脸有比较强的识别能力，特征维数小，且对姿态、光照、表情变化具有较好鲁棒性。
关键词：图像处理；人脸识别；NSCT；绝对值型中心对称局部方向模式；信息熵；最近邻分类器
基金项目：湖南省自然科学基金(2018JJ3486)
0 引言
近年来人脸识别在国家安全、社会稳定和生活便利等方面应用广泛，具有与其他生物特征识别技术没有的优点，如具有非接触、非强制性等。人脸识别成功的应用在于人脸特征信息如何有效地获取 [1] 。
人脸局部特征提取 [2~5] ，方法主要是对局部纹理信息的获取，因此在面对光照、姿态、表情和遮挡等复杂变化时往往具有更好的表现力。Jabid等人 [2] 提出一种基于局部方向模式的人脸特征表示方法，局部方向模式特征提取方法在人脸识别中取得了显著的效果，其便捷有效的特点吸引了许多专家学者的研究和关注并提出了许多对其改进的算法 [3~5] ，李照奎等人 [3] 提出一种改进局部方向模式的算法——差值局部方向模式（DifferenceLocal Directional Patterns, DLDP），随后王晓华等人[4] 提出梯度中心对称局部方向模式（Gradient CenterSymmetry Local Directional Patterns, GCSLDP），它们都是利用近邻边缘值之间信息，人脸识别效果不太明显。杨恢先等人 [5] 提出了一种基于中心对称局部方向模式的算法（center-symmetric local dirertionalpattern，CSLDP）。CSLDP算法由于考虑了原始数据空间人脸信息，人脸特征更加完善，但对噪声和光照情况的稳定性不足。
Gabor小波 [6] 在提取目标的局部空间和频域信息方面具有良好的特性。人脸图像经过Gabor小波分解后，原始的人脸特征维数会增加，计算复杂度会增加，难以将其运用在实际系统中。针对这一现象，出现了一种现在比较常用的分析工具——Contourlet变换 [7] ，Contourlet 变换虽然降低了特征维度，但是因其下采样只是在固定的领域内提取，容易有图像信息的遗漏，会导致频谱泄漏和频谱混叠，以及平移不变性的缺乏，导致人脸识别率降低 [8] 。针对以上问题，出现了一种对其改进的非下采样Contourlet变换 [8] （NonsubsampledContourlet Transform，NSCT），不仅能够克服Contourlet 变换带来的缺陷还能够很好的保留更多人脸图像特征信息。
受到文献[8] 和文献[5]的启发，提出一种非下采样 Contourlet 变换与绝对值型中心对称局部方向模式（Absolute Center of Symmetry Local DirectionalPatterns，简称ACSLDP）相结合的人脸识别方法。首先对人脸图像进行非下采样 Contourlet 变换，得到具有多个尺度、多个方向的子带图像，然后利用ACSLDP提取子带图像特征信息，再对每一幅图像进行分块，利用信息熵 [9] 对每块子带图像进行加权，并将所有分块的统计直方图特征信息串接，融合成一个直方图，最后利用最近邻分类器 [10] 分类识别。
1 基本原理
1.1 NSCT
根据人类对自然图像和视觉系统的探索和总结，人们发现当图像表示具有以下特征时，可以被描述为“最佳”：
(1)多分辨率；
(2)方向性；
(3)局域性；
(4)各向异性 [8] 。
非下采样Contourlet变换不仅全部具备以上4种特性，还具备一种能够很好的避免图像像素错位的平移不变性 [8] 。NSCT由两个部分构成，第一部分是非下采样结构金字塔（NonsubsampledPyramid，NSP），NSP实现了多尺度分解得到低频分量和不同子带的高频分量，其中低频分量能够很好的捕捉到人脸图像的轮廓细节信息；第二部分是非下采样方向滤波组 Nonsubsampled Directional Filter Banks，（NSDFB）。NSDFB实现了对不同子带的高频分量进行多方向多分辨率分解，NSDFB能够很好的捕获到更多方向信息，从而抽取到更多的人脸图像特征。图1给出了NSCT三层分解结构示意图。
NSP是一个双通道滤波器组，得到一个低通分量和多个不同子带分量，如图2所示。
NSDFB是对不同子带分量进行方向分解，由于NSDFB去除了下采样只进行了上采样滤波，NSDFB避免了下采样的多种缺陷，从而很好的避免了信息的缺失，改善了图像边缘和局部细节的清晰度，保留了更多方向信息。
一副人脸图像经过NSCT分解会得到n(n=1,2,3)层，每一层分解会得到2 n 个方向 [8] 。因为考虑到人脸图像信息中奇点、突变以及噪声通常在高频子带中出现，且低频子带中往往保留了人脸图像的大部分信息，所以在本文中舍弃了一部分高频方向信息。因此如图3所示选取了三层且各层方向数为4,4,2。
1.2 绝对值型中心对称局部方向模式
本课题组杨恢先等人提出一种中心对称局部方向模式，CSLDP基本编码步骤为：
（1）首先将人脸图像3×3子邻域与 Kirsch 8个模板卷积后，得到8个边缘响应 m i (i=0,1,⋯,7)，边缘响应m i 具有正负；
（2）采用中心对称的思想，通过比较邻域内以中心像素点处于对称位置的4个梯度方向的边缘响应，既边缘响应m i 与 m i+4 (i=0,1,⋯,3)直接做差比较，大于等于0时，二进制编码为1，反之亦然为0；
（3）考虑中心像素点与邻域均值的大小关系并赋最大权重；
（4）按顺序得到一个五位二进制数，转换为十进制数作该中心像素的CSLDP编码。文章改进方法：对边缘响应值m i 取绝对值，比较的是|m i |与 |m i+4| (i=0,1,⋯,3)的大小，其他不变。边缘响应值m i 的正负意味着某个方向上两个相反的趋势(上升或下降)，但最大正值与最小负值都对应图像边缘，所以直接作差，会对有些边缘特征无法区分。而将边缘响应m i 与 m i+4(i=0,1,⋯,3)都取绝对值之后做差，绝对值越大，往往表示两个方向之间的细节特征更加突出，而更突出的细节信息往往具有更强的判别力，考虑到近邻边缘响应值之间的内在变化。由于都属于中心对称局部方向模式，为了区分，将改进的方法命名为ACSLDP编码。
CSLDP、ACSLDP编码计算分别如式(1)、(2)所示。CSLDP、ACSLDP特征提取流程如图4所示。
其中：g i (i=0,1,⋯,7)表示中心像素g c 的8个邻域点的灰度，g m 为g c 的8个邻域点的灰度均值，m i (i=0,1,⋯,7)表示中心像素，g c 对应的8个Kirsch 边缘响应值。
2 基于NSCT与ACSLDP相结合的人脸识别
人脸特征识别流程如图5所示；
算法的基本流程描述为:
对人脸图像进行预处理后进行多尺度、多方向的NSCT 分解，得到一个低频系数子带和多尺度、多方向上的高频系数子带；
计算子带图像绝对值型中心对称局部方向模式。基于NCST与ACSLDP相结合的算法(本文命名为NACLDPH)提取子带图像特征信息；由于在进行对比实验算法时加入了基于NCST与CSLDP相结合的算法(本文命名为NCLDPH)的对比，故在图4和图5中加入了CSLDP的对比，并用括号表示；
对每一幅子带图像进行分块，利用信息熵对图像的每一块进行加权，信息量越多，信息熵值越大，权重系数越大；
并将所有分块的统计直方图特征 信息串接起来，形成人脸 特征，并用多通道最近邻分类器进行分类；
2.1 NACLDPH特征提取
3 实验结果与分析
3.1 实验环境及参数选取
实验所用的硬件环境为Intel(R)Core(TM)i3-3217，主频1.8 GHz，内存4 GB；仿真实验环境是MatlabR2014a，Windows10系统 ；本实验中各人脸库介绍以及分块和实验参数选择如表1所示。
人脸库部分人脸图像如图7所示。
不同的分块数会得到不同的识别效果，本文章采用局部区域法，就是对人脸图像进行均匀分块。如图8所示不同分块方式在不同人脸库上的识别率。
3.2 识别率与计算复杂度分析
为了评价NSCT+ACSLDP算法的有效性，文章选择与用CSLDP [5] 、ACSLDP、DLDP [3] 、GCSLDP [4] 、HNCLDP [11] 、NSCT+CSLDP算法与NSCT+ACSLDP算法进行比较，NSCT+ACSLDP算法在ORL人脸库、YALE人脸库、CAS-PEAL-R1光照人脸库和CAS-PEAL-R1表情人脸库上分别采用7×2、8×8、11×10和4×5的分块数，bins采用32，实验结果如表2～4所示。
YALE人脸库被用于测试复杂度实验，目的为了比较每种对比算法的复杂度，实验中随机选取每人1张人脸图像作为训练集，其他人脸图像作为测试集，选择最佳识别率对应的分快数，计算每个算法以完成单幅人脸图像所需要的平均时间t：
其中：T 1 表示单幅图像特征提取的平均时间，T 2 表示对一副测试样本与训练样本进行多次匹配的时间。每个算法在YALE人脸库的特征维数和平均耗时如表5所示。
根据在YALE、ORL和CAS-PEAL-R1人脸库上实验结果可以得出结论：
(1)特征提取算子识别率ACSLDP>CSLDP，其中ACSLDP、CSLDP的模式数为32，CSLDP算法从本质上说，是在强化空间特征信息的提取；边缘响应值m i(i=0,1,⋯,7)的正负意味着某个方向上两种变化的趋势，因为最大正值与最小负值都对应图像边缘信息，如果将它们直接作差，就会对有些边缘特征无法区分，而对边缘响应值取绝对值后作差值，绝对值越大，往往表示两个方向之间的细节特征更加突出，而更突出的细节信息往往具有更强的判别力。ACSLDP将充分考虑到近邻边缘响应值之间的内在变化。因此，文章所提ACSLDP特征提取算子的有效性。
(2) 文章选择对比算法HNCLDP算法是非采样Shearlet变换结合CSLDP， NCLDPH算法是非下采样Contourlet变换结合CSLDP，NACLDPH算法是非下采样Contourlet变换结合ACSLDP。在YALE库中，在识别率方面，NACLDPH算法相比DLDP、GCSLDP、HNCLDP算法识别率都高。在ORL人脸库中，在识别率方面，NACLDPH算法相比DLDP、GCSLDP、HNCLDP算法识别率都高，除了在样本数为3时，NACLDPH识别率比HNCLDP低了0.19个百分点外，其余情况，NACLDPH识别率都高。在CAS-PEAL-R1人脸库中，在识别率方面，NACLDPH算法相比DLDP、GCSLDP、HNCLDP算法识别率都高。
(3)在计算复杂度方面，NACLDPH、NCLDPH、HNCLDP基本相当， CSLDP算法进行8次卷积，4次中心对称边缘值作差， 4次比较大小，1次原始空间求平均值；GCSLDP算法进行8次卷积，8次相邻近边缘值作差，2次求最大值；DLDP算法由于模式数相对过高, 导致特征维度比较高，特征提取时间较长。
综合而言，相比较CS-LDP特征算法，ACSLDP特征提取算子能更好地提取人脸图像的边缘信息和纹理信息，且没有增加直方图维数，特征提取简单。NSCT应用于人脸图像处理中，原因是NSCT在图像表示方面有着以下几种独特的优势：
（1）可以精确定位图像边缘信息，且不会增加计算难度（各尺度方向子带图像与原始图像尺寸大小相同）；
（2）在同一尺度变换上，NSCT分解的高频分量在多个方向上显示了细节信息，因此可以提供与原始图像像素完全对应的子带 系数的位置，从而使特征提取和特征融合具有更好的性能；这使得NSCT应用于人脸识别中能够更好地提取图像特征,拥有更高的识别正确率。由此NACLDPH算法有更高的识别率，充分挖掘人脸图像结构信息，对姿态、光照和表情等变化有较好鲁棒性。
4 结论
提出了一种NSCT与ACSLDP相结合的人脸识别方法。NSCT能很好地表达人脸图像在不同尺度和不同方向上的特征，采用的ACSLDP能更多地保留特征信息，削弱外界因素的影响，表现出对光照、表情和姿态变化具有比较好的鲁棒性。在ORL、YALE和CAS-PEAL-R1人脸库上进行测试，实验结果表明：NSCT+ACSLDP算法对姿态、光 照和表 情等变化有更强的鲁棒性，取得较高的识别率，且特征维度较小，识别时间较少，证明NACLDPH算法的有效性。
参考文献:
[1] Lee C, Landgrebe D A. Feature extraction based on decision boundaries[J]. Pattern Analysis& Machine Intelligence IEEE Transactions on, 2018, 15(4):388-400.
[2] Jabid T, Kabir M H, Chae O. Local Directional Pattern (LDP) for face recognition[C]// Digestof Technical Papers International Conference on Consumer Electronics. IEEE, 2010:329-330.
[3] Li Z K, Ding L X, Wang Y, et al. Facial features based on the pattern of difference betweenlocal orientation said [J]. Journal of Software ,2015, 26(11):2912-2929.
李照奎, 丁立新, 王岩,何进荣,丁国辉. 基于差值局部方向模式的人脸特征表示[J]. 软件学报, 2015,26(11):2912-2929.
[4] Wang X H, Li R J, Hu M, Ren F J. Occluded facial expression recognition based on thefusion of local features [J]. Journal of lmage and Graphics, 2016, 21 (11) :1473-1482.
王晓华，李瑞静，胡敏，任福继.融合局部特征的面部遮挡表情识别[J].中国图象图形学报,2016,21(11):1473-1482.
[5] Yang H X, Zhai Y L, Cai Y Y, et al Face recognition based on center-symmetric gradientmagnitude and phase pattern [J]. Journal of Optoelectronics·Laser, 2015(5):969-977.
杨恢先, 翟云龙, 蔡勇勇,等. 基于中心对称梯度幅值相位模式的单样本人脸识别[J]. 光电子·激光,2015(5):969-977.
[6] Amin M A, Yan H. Gabor and log-gabor wavelet for face recognition[J]. Advances in FaceImage Analysis Techniques & Technologies, 2011.
[7] Yang C L, Wang F, Xiao D. Contourlet transform-based structural similarity for image qualityassessment[C]// 2009 ieee international conference on intelligent computing and intelligentsystems. 2009:377-380.
[8] Zhang J, Face Recognition technology research based on nonsubsampled contourlettransform[D]. Beijing: Beijing University of Chemical Technology, 2011.
张军. 基于非下采样Contourlet变换的人脸识别技术研究[D].北京: 北京化工大学,2011.
[9] Perez C A, Cament L A, Castillo L E. Local matching Gabor entropy weighted facerecognition[C]// IEEE International Conference on Automatic Face & Gesture Recognition andWorkshops. IEEE, 2011:179-184.
[10] Huang H, Zheng X L. Hyperspectral image classification with combination of weightedspatial-spectral and KNN[J]. Optics & Precision Engineering, 2016,24(4):873-881.
黄鸿, 郑新磊. 加权空-谱与最近邻分类器相结合的高光谱图像分类[J]. 光学精密工程, 2016, 24(4):873-881[11] Yang H X, Zhai Y L, Cai Y Y, et al. Face recognition based on NSSTand CSLDP[J]. Computer Engineering and Applications, 2016, 52(8):135-140.
杨恢先,翟云龙,蔡勇勇,等.NSST与CSLDP相结合的人脸识别[J].计算机工程与应用,2016,52(08):135-140+239.
本文来源于科技期刊《电子产品世界》2019年第5期第41页，欢迎您写论文时引用，并注明出处
评论