-
0 引言
-
自1974年以来,秦始皇陵园的东侧先后发现了3个兵马俑陪葬坑,3个坑内埋藏陶俑、陶马近8 000件。其中陶俑的体型、头颅与真人大小基本相同,陶俑的面部轮廓与五官特征刻画逼真,面部表情生动,形态各异,俗称千人千面。王玉清先生[1]认为秦俑是秦代真人的再现,他将秦俑的脸面轮廓分为八类:“目”字形脸,“国”字形脸,“用”字形脸,“甲”字形脸,“田”字形脸,“申”字形脸,“蛋”形脸和“由”字形脸。他认为一种脸型代表某一地区人的面形,或者是这种脸型的创作者是同一个技师。袁仲一先生[2]认为,出现这些脸型的原因是因为制作者使用了不同脸型的范模,秦俑的脸型之所以各不相同是模制后二次雕刻的原因。张卫星先生[3]将秦俑的面型分为十种类型:椭圆形、卵圆形、倒卵圆形、圆形、方形、长方形、菱形、梯形、倒梯形和五角形,他认为秦兵马俑军阵以传统的北方人为主,同一个作战单位的秦俑面部特征相似,可能他们之间有地缘、血缘的关系。这些均是秦俑研究专家们对秦俑面部所做的定性分析。
-
人脸识别技术是基于人脸部特征信息进行身份识别的一种生物识别技术[4-5]。它采用像机或摄像头采集人脸图像,并自动检测,进而对检测到的人脸进行脸部识别的一系列技术。目前该技术在文物研究中还很少应用到,本研究尝试将人脸识别技术应用到秦俑面部定量分析中,试图为秦俑研究提供一种定量分析方法。
-
1 人脸识别与秦俑面部识别
-
人脸识别技术的研究始于20世纪60年代,随着计算机技术和光学成像技术的发展而逐渐得到发展,20世纪90年代后期真正进入初级应用阶段,目前广泛应用在政府、军队、银行、安全防务等领域,如日常生活中常见的门禁系统、智能考勤系统、人脸支付系统等。该技术的核心是对人脸部的关键点(face landmark),如鼻尖,嘴角,眼角等的识别和比对。人脸具有唯一性和不易被复制的良好特性,与人体其他生物特征(指纹、虹膜)一样与生俱来,为身份鉴别提供了条件。人脸识别具有信息采集简单,结果直观等特点。
-
秦俑面部具有和人脸一样的特征,人脸识别技术能否识别并提取秦俑面部特征是本研究的关键,研究组进行了前期实验,采集了20件秦俑的面部图像,利用几种人脸检测器处理图像,都能够准确找到秦俑面部区域,人脸识别库Dlib、face_recognition能够准确提取秦俑面部特征,这说明人脸识别技术可以应用到秦俑面部识别当中。根据需要,尽量选择秦俑面部正对摄像机镜头的图像,共采集秦俑图像416张。
-
2 秦俑面部特征定量分析过程
-
秦俑面部特征定量分析过程分为6个阶段:图像预处理、面部检测筛选、面部特征提取、面部特征向量表示、面部特征向量相似度计算、面部特征向量相似度分析,如图1所示。
-
图1 秦俑面部特征定量分析过程
-
Fig.1 Process of the quantitative analysis of facial features of terracotta warriors
-
2.1 秦俑面部图像预处理
-
采集的秦俑图像需要进行预处理:尺寸调整、光线补偿、灰度变换等。秦俑面部识别对图像分辨率、图像尺寸要求不高,使用普通相机采集,每张图像分辨率为72 dpi,尺寸为3 456像素×4 608像素。接下来需要对这些图像进行尺寸调整,图像尺寸过大不利于面部识别、特征提取。采用OpenCV图像处理库的resize功能自动调整图像尺寸,调整后的图像分辨率为96 dpi,尺寸为345像素×460像素。原始图像文件以时间为文件名,不便于查找,需要重新命名文件名,将图像按顺序编号并重新命名。为了便于查询分析,将文件名及路径存储至MySQL数据库中。
-
2.2 面部检测筛选
-
人脸检测是指从输入图像中检测并提取人脸图像,通常采用Haar特征和Adaboost算法训练级联分类器对图像中的每一块进行分类。如果某一矩形区域通过了级联分类器,则被判别为人脸图像。对比了4种人脸检测方法:OpenCV中的Haar Cascade人脸检测器、OpenCV中的Single-Shot-Multibox深度人脸检测器、Dlib中的HoG人脸检测器、Dlib中的MMOD深度人脸检测器,最终选择Dlib中的HoG人脸检测器检测秦俑面部。HOG(Histogram of Oriented Gradient)人脸检测器基于方向梯度直方图特征和支持向量机SVM(Support Vector Machine)算法,在CPU上检测速度最快,适用于正面和略微非正面的面部图像,相较其他3个属于轻量级模型,在小的遮挡下也能有效工作。
-
采集的秦俑图像可能存在以下情况:一张图像里可能存在2个以上的秦俑面部; 有些图像中秦俑面部特征残缺,面部颜色分布不符合正常情况等; 还有可能面部区域尺寸小于80像素×80像素。对于第一种情况,将面部区域中心的水平坐标与整体图像中心的比较,如果偏差小于整体图像的1/4,则选中,反之剔除; 第二种情况,计算机可能检测不出秦俑的面部区域,则直接剔除; 第三种情况,尺寸过小会导致人脸特征点不明显,也剔除。416张图像经检测筛选后得到图像375张。
-
2.3 面部特征提取
-
人脸特征这里主要指人脸的几何特征,是指眼睛、鼻子和嘴唇等特征之间的几何关系,秦俑和人一样也具有这些特征。实验通过Dlib、face_recognition中的face_landmarks方法提取秦俑面部特征点:左右眉毛各5个,鼻梁4个,鼻头5个,左右眼各6个,上下嘴唇各12个,脸型17个特征点,然后存储特征图像。为便于后续分析,需要将特征点可视化,通过图像处理工具包PIL(Python Image Library)中的ImageDraw方法将特征点分类连线并绘制在原始图像上,保存图像至特定文件,如图2a,最后存储特征掩码。为了分析特征点的几何特性,需要将特征点图像单独存储,通过PIL中ImageDraw方法创建和原始图像尺寸一致的纯黑底图,在底图上绘制特征点连线,保存图像至特定文件,如图2b。经过特征提取,共得到375组特征图、特征掩码。
-
图2 面部特征提取结果示例
-
Fig.2 Example of the facial feature extraction result
-
2.4 面部特征向量表示
-
面部特征向量表示是指将复杂面部特征信息通过算法投影至潜在语义向量空间[6-8],面部特征的向量表示便于计算机计算秦俑面部之间的相似度。在将秦俑面部特征投影至向量空间之前,需要进行脸对齐[9-11],利用人脸关键点几何特征调整秦俑面部的角度,使其对齐并转正。由于秦俑面部特征点所限定的人脸区域尺寸大小不一,旋转角度不一样,所以需要通过坐标变换,对人脸区域图像进行归一化操作,为向量表示提供统一特征数据。
-
首先,对齐面部,利用眉毛、眼睛、鼻子、嘴、脸型关键特征点构成的几何特征转正脸部、裁剪、归一化脸部; 转正时,利用OpenCV图像处理库分别计算左、右眼的中心坐标。左右眼的中心坐标连线与水平方向的夹角为θ,以左右两眼整体中心坐标为基点,将图像逆时针旋转θ,得到转正后的图像。取秦俑脸型水平坐标的最小值和眉毛垂直坐标的最小值为裁剪矩形的左上角坐标,取脸型水平坐标的最大值及脸型垂直坐标的最大值为裁剪矩形的右下角坐标,将其上下左右各外扩10个像素后进行裁剪。归一化,利用OpenCV图像处理库的resize功能统一图像尺寸至172像素×230像素,保存至特定文件。最后,进行面部特征向量化,将对齐的图像输入人脸识别库Dlib的人脸向量表征深度神经网络模型中,模型自动提取图像人脸特征,将特征投影至128维向量,并存入MySQL数据库,如图3。该模型是在人脸数据集Labeled Faces in the Wild上训练得到,数据集包含了13 000多张面部图像。经过面部特征向量表示,共得到375组128维向量。
-
2.5 面部特征向量相似度计算
-
秦俑面部特征向量相似度采用欧氏距离计算,相似度=1-欧式距离。
-
第一步,读取第1个秦俑面部特征向量,然后顺次读取其他秦俑特征向量,计算两向量之间的欧氏距离,将两个秦俑文件名、欧氏距离存入数据库; 第二步,读取第2个秦俑特征向量,计算该向量与其他向量的欧氏距离,将数据存入数据库; 重复上述操作,直到全部秦俑特征向量都处理完毕。经过面部特征向量相似度计算,得到375×375组相似度值。
-
原始采集的416张秦俑图像与实际秦俑一一对应,每张图像具备唯一性,受光线、背景、残缺等负面因素影响,经人脸检测筛选得到375张有效面部特征图像。通过统计向量相似度可以进一步证明图像的唯一性,具体做法是在数据库管理工具Navicat查询界面输入并执行查询语句,观察输出。首先,查询欧氏距离为0(相似度为1)的相似度计算记录,结果表明参与相似度计算的两图像都为同一图像,忽略这种结果。再查询参与相似度计算的两图像不为同一图像的相似度计算记录,将欧氏距离按升序(相似度降序)排列,记录这种结果。如图4为欧氏距离值最小的5对图像拼图。
-
图3 面部特征向量表示示意
-
Fig.3 Representation of the facial feature vector
-
图4 欧氏距离值最小的5对图像拼图
-
Fig.4 Five pairs of image puzzles with the smallest Euclidean distance
-
2.6 面部特征向量相似度分析
-
从个体到整体对秦俑面部相似度进行定量统计分析,解决人工定性分析中存在的论据不充分的问题,实验从以下三方面进行分析:单秦俑面部相似度Top-N分析,观察单秦俑面部相似度最高3个及最低3个; 多秦俑面部相似度分析,将秦俑面部两两相似度绘制成热力图,可视化分析相似度; 秦俑面部相似度分布分析,将所有相似度值按区间统计数量,用直方图展示相似度分布,分析相似度分布类型。
-
1)单秦俑面部相似度Top-N分析,是一对一分析每个秦俑和其他秦俑的相似度。具体做法是在数据库管理工具Navicat查询界面输入查询语句,如查询与002号秦俑相似度最高和最低的3个秦俑。在程序里循环构造每个秦俑的查询语句,自动执行查询语句,根据查询语句执行结果在相似度最高和最低的3个秦俑图像上标注编号和相似度,拼接并输出,如图5。
-
图5 秦俑相似度最高3个及最低3个拼图示例
-
Fig.5 Puzzles for the three highest and lowest similarity of terracotta warriors
-
2)多秦俑面部相似度分析。从数据库读取秦俑面部相似度值并绘制成热力图,如图6,横坐标和纵坐标代表秦俑编号,每两个秦俑组成的方块颜色代表他们的相似度。图中白色表示相似度最高,黑色表示相似度最低。观察图6,可以发现水平方向有颜色近黑色的线条(如15号陶俑),说明该秦俑和其他秦俑都不相似,图7a是与其他秦俑面部相似度最低的10个秦俑; 水平方向颜色近白色的线条(如031号陶俑),说明该秦俑面部和其他秦俑都相似,是“大众脸”,图7b是与其他秦俑面部相似度最高的10个秦俑。
-
3)相似度分布分析。将所有秦俑的相似度值按区间统计数量,用直方图显示,可以直观观察到秦俑相似度的分布情况,符合正态分布,如图8。图中[0,0.35)区间表示与其他秦俑面部相似度极低的秦俑,代表“特征鲜明”秦俑;(0.5,1]区间表示与其他秦俑面部相似度极高的秦俑,代表“大众脸”秦俑; 处于[0.35,0.5]区间内的秦俑他们之间具有一定的相似度但又各不相同,从相似度分布角度进一步验证了图7分析结果。
-
4)鲁棒性分析。图2和图7中,编号为208、211、241、244、271、321等的秦俑面部像素特征不鲜明,且图像背景、光照复杂,但人脸识别算法依然能检测到秦俑面部特征区域,并向量化,说明方法具备一定鲁棒性。
-
图6 秦俑面部相似度热力图
-
Fig.6 Thermal map of facial similarity of terracotta warriors
-
图7 “特征鲜明”秦俑及“大众脸”秦俑
-
Fig.7 Terracotta warriors with distinctive faces and common faces
-
图8 秦俑面部特征相似度分布直方图
-
Fig.8 Similarity distribution histograms of facial features of terracotta warriors
-
5)泛化性分析。图8中,对随机选取的170个秦俑统计得到图8a,对所有375个秦俑统计得到图8b,两图所示结果均符合正态分布,且分布态势基本相同,说明方法在不同量数据集上得到的结论相似,方法具备一定泛化性。
-
3 结论
-
人脸识别技术目前在日常生活中应用非常广泛,但尚未见在文物研究领域应用,将人脸识别技术应用于秦俑面部分析,目前还只是实验阶段,通过这次实验将人脸识别技术应用到秦俑的研究当中,发现了10个“特征鲜明”的秦俑及10个“大众脸”的秦俑,揭示了秦俑面部相似度分布符合正态分布的规律,为秦俑研究提供了一种定量分析的方法,相关思路可以用于秦俑五官单特征、服饰纹理分析,为大规模秦俑定量分析奠定了技术基础。
-
参考文献
-
[1] 王玉清.秦俑面形和表情[J].文博,1984(1):70-73.WANG Yuqing.Facial shape and expression of terracotta warriors[J].Relics and Museology,1984(1):70-73.
-
[2] 袁仲一.秦始皇陵考古发现与研究[M].西安:陕西人民出版社,2002:102-103.YUAN Zhongyi.Archaeological discovery and research on Qin Shihuang Mausoleum[M].Xi’an:Shaanxi People’s Publishing House,2002:102-103.
-
[3] 张卫星.千人千面的统一秦兵马俑面形再认识[J].文博,2005(1):68-72.ZHANG Weixing.Recognition of the face shape of Qin terracotta warriors and horses[J].Relics and Museology,2005(1):68-72.
-
[4] EKMAN P.Facial expression and emotion[J].The American Psychologist,1993,48(4):384-92.
-
[5] SEPAS-MOGHADDAM A,PEREIRA F,CORREIA P.Face recognition:a novel multi-level taxonomy based survey[J].IET Biometrics,2020,9(2):58-67.
-
[6] WRIGHT J,YANG A,GANESH A,et al.Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(2):210-227.
-
[7] YANG S,WEN Y,HE L,et al.Sparse common feature representation for undersampled face recognition[J].IEEE Internet of Things Journal,2021,8(7):5607-5618.
-
[8] MADARKAR J,SHARMA P,SINGH R P.Sparse representation for face recognition:a review paper[J].IET Image Processing,2021,15(9):1825-1844.
-
[9] TANG F,WU X,ZHU Z,et al.An end-to-end face recognition method with alignment learning[J].OPTIK,2020,205(C):1-15.
-
[10] GUO Y,CAO L,CHEN C,et al.Domain alignment embedding network for sketch face recognition[J].IEEE Access,2021,9:872-882.
-
[11] GUAN Y,FANG J,WU X.Multi-pose face recognition using cascade alignment network and incremental clustering[J].Signal,Image and Video Processing,2021,15(1):63-71.
-
摘要
秦始皇帝陵兵马俑自发现以来一直是学者们研究的热点,许多专家都做过秦俑面部特征的定性研究,但缺少定量论据。利用人脸识别技术对秦俑面部特征做定量分析,分析过程包括图像预处理、面部检测筛选、面部特征提取、面部特征向量表示、面部特征向量相似度计算、面部特征向量相似度分析等。通过单个秦俑面部相似度Top-N直观分析秦俑面部特征;通过热力图分析多个秦俑面部相似度,发现10个“特征鲜明”的秦俑及10个“大众脸”的秦俑;用直方图可视化秦俑面部相似度分布,揭示了秦俑面部相似度符合正态分布的规律。人脸识别技术为秦俑研究提供了一种定量分析思路,相关思路可以用于秦俑五官单特征、服饰纹理等分析,也为更大规模秦俑面部特征定量分析奠定了技术基础。
Abstract
Terracotta warriors and horses in the mausoleum of the first emperor of the Qin Dynasty has been a focus of scholars’ research since its discovery. Many experts have done qualitative research on the facial features of terracotta warriors and horses, but there is a lack of quantitative evidence. In this study, the face recognition technology was used to quantitatively analyze the facial features of terracotta warriors. The analysis process included image preprocessing, face detection and screening, face feature extraction, face feature vector representation, face feature vector similarity calculation and face feature vector similarity analysis, etc. The facial features of the terracotta warriors were analyzed intuitively through the facial similarity Top-N of a single terracotta warrior. By analyzing the facial similarities of several terracotta warriors through thermal maps, it was found that ten terracotta warriors had “distinctive faces” and ten terracotta warriors had “common faces.” A histogram was used to visualize the facial similarity distribution of terracotta warriors, and a normal distribution law of facial similarity distribution of terracotta warriors was obtained. For the research on terracotta warriors, the face recognition technology provides a quantitative analysis idea, which can not only be used for the analysis of facial features and clothing texture of terracotta warriors, but also lays down a technological foundation for the quantitative analysis of facial features of larger-scale terracotta warriors.