关键点重建算法在人脸超分辨率重建中的应用
摘 要
文中主要对基于关键点的人脸图像逐点超分辨率重建算法进行研究。在该算法中，对人脸中局部部位的细节进行重建，通过在算法中对人脸关键点附近区域中的超分辨映射函数的分别训练，实现了对人脸超分的逐层迭代重建。实验结果表示，利用该方法可以有效减少目标图像重建中的难度。
【关键词】分层网络 关键点 自编码 1 引言
面向人脸图像的超分辨率技术已经在多个领域广泛应用，如身份认证、网络化监控等应用更加深入和广泛。在本文中，主要采用基于线性与非线性的学习方法，对上述的超分映射函数进行学习。这其中，基于线性方法中选择采用主成分分析；而非线性方法在学习中则主要采用自编码网络，所有的方法均可以对人脸图像的局部区域进行训练超分映射函数的处理与学习。这其中，所提到的自编码网络学习方法，是神经网络学习领域中进行深度学习的主要理论基础。而在图像的超分辨率重构过程中，则主要采用双线性插值的方式来进行初始化处理；接着，将样本学习过程中所获得的
超分辨率映射函数用于对人脸图像中局部内容的计算与处理，并将处理结果叠加到全局的人脸图像，从而实现整体图像的超分处理过程。
2 基于局部细节的人脸图像超分辨率重构 2.1 关键点与逐层训练概念
文中所使用的关键点概念，是指人脸图像中，具有一定语义特征的脸部区域，比如：人脸的鼻角、眼角以及嘴角等位置。对于算法中所采用的关键点定位方法，则采用已有的SDM方法，基于大量的人脸关键点训练样本；在对Hessian矩阵的求解中通过学习梯度下降的方式来实现，最终实现对关键点的定位效果。同时，利用常用的关键点提取方法，对存在于较低分辨率图像中的人脸关键点进行提取。 考虑到从分辨率较低的图像重构高分辨率图像过程的难度不小，文中选用逐层训练的方式来实现。具体操作过程为：
（1）采用双线性插值的方式，对需要重构的原始图像进行初始化操作；
（2）利用上述的关键点算法，对人脸图像中所包含的局部特征进行定位处理；
（3）利用得到的关键点，获得其相邻的局部区域，对局部区域的大小，则需要以实验的方式来确定，以便能够获得最佳的重构效果。
在具体的算法设计与实现中，文中针对所有的局部区域进行逐层训练操作。首先，对存在于低分辨率图像和次高分辨率图像中的映射关系进行训练；然后，对存在于次高分辨率图像和高分辨率图像中的映射关系进行训练，以便能够得到更好的重??效果。需要说明的是，在次高分辨率图像的生成过程中，需要经过两次降采用操作，即先将人脸图像中的局部临近像素值进行缩小，逾期大小为原来大小的一半；再利用线性插值的方法，对原始数值进行计算。
在对人脸图像中的各个局部区域，在完成对其逐层的超分辨率重构处理后，将可以将重构得到的所有区域，以关键点位置为依据，将所有区域叠加到原来的全局因条件图像中。对于叠加后的图像，不可避免地存在重叠部分，而对这些重叠部分的处理，文中主要采用像素平均的方法，对重构后图像中所存在的图像灰度突变问题进行有效解决。 不过，对于经过叠加后所得到的全局图像，其中的重叠部分，会产生多样的块状区域，应该加以解决。本文中所采用的方法，主要为基于泊松编辑方法。在泊松编辑的过程中，首先应该完成的是对针对全局图像进行卷积计算，通过采用拉普拉斯算子，可以得到如下的式子： 2.2 基于AE的自编码技术
在如图1中，给出了基于自编码理论的非线性超分网络结构。可以发现，该网络中采用了三层的网络结构体系。