龙源期刊网 http://www.qikan.com.cn
超分辨率图像恢复算法综述
作者：黄巧洁
来源：《中国科技纵横》2016年第12期
【摘 要】 图像超分辨率是指从一序列低分辨率观测图像中恢复高分辨率图像，广泛用于视频监控、模式识别、军事侦察、遥感检测和医学诊断等领域，已成为图像处理领域最为活跃的研究方向之一。介绍了超分辨率图像恢复的经典算法，对比分析了各方法的优缺点，提出了超分辨率图像恢复的研究方向与展望，为其进一步发展提供了一定的理论基础。 【关键词】超分辨率 高分辨率图像 低分辨率图像 恢复
【Abstract】 Super-resolution image restoration is widely used in video surveillance， pattern recognition， military reconnaissance， remote sensing， medical diagnosis etc.， which has become one of the most active research areas in image processing. Firstly， classical algorithms of Super-resolution image restoration were introduced. Secondly， advantages and disadvantages of the above methods were compared and analyzed. Thirdly， research directions and prospects were proposed. It is hoped to provide some theoretical basis for further development.
【Key words】 Super-resolution；high-resolution image； low-resolution image； restoration 图像超分辨率（Super-resolution： SR）技术是一种提高图像空间分辨率的“软处理”方法，在不改变现有硬件设备条件的基础上通过信号处理方法获取更高分辨率、更高清晰度的图像，由一系列低分辨率（Low-resolution： LR）、低质量图像序列恢复出高分辨率（High-resolution： HR）、高质量图像的处理过程。图像超分辨率是通过对HR图像一系列降质处理（相当于低通滤波器）后得到的观测图像进行反求原HR图像的过程，属于图像逆问题，也属于数学病态问题。
自Harris和Goodman提出SR重建概念以来，该技术就受到广泛关注，主要经历了静态图像、单视频和多视频SR重建三个阶段，主要算法有基于频域插值的方法、非均匀采样内插法、迭代反投影法、凸集投影法、正则化重建法、最大后验概率/凸集投影混合法和基于学习的方法。SR图像恢复应用广泛，已成为图像处理领域最为活跃的研究方向之一。通过SR图像恢复能有效提高现有监控设备的分辨率水平和监控能力，对推进智能视频监控的发展[1]，对“数字城市”、“平安城市”建设等，都具有重要意义。 1 超分辨率图像恢复算法 1.1 基于频域插值的方法
先使用傅里叶变换将图像变换到频域，再利用位移特性观测模型解决图像的内插问题。在处理过程中，假设LR图像序列无噪声，且原始模拟图像的频率带限，利用多幅图像间离散和
龙源期刊网 http://www.qikan.com.cn
连续傅里叶变换间的平移特性以及混叠关系来获得HR图像。此方法理论简单，运算复杂度低，但忽略了观测模型中光学系统的诸多因素的影响，仅局限于全局平移运动模型下应用。很多学者对此进行改进，Tekalp等[2]考虑了线性空不变点扩散函数和观测噪声的影响，采用最小二乘法计算系统方程的解；Kim等[3]也考虑了噪声的情况，用加权最小二乘法进行计算；Rhee和Kang[4]提出采用离散余弦变换代替傅里叶变换，减少存储资源的需求，提升了计算效率。但始终无法突破Tsai中整体平移相似的假设，仅含有限的空域先验知识，因此只能在全局平移运动和线性空间不变模糊模型中使用。因此，实际工程应用中难以实用。 1.2 非均匀采样内插法
属于空域插值放大法，包括运动估计、非均匀内插、图像去模糊和去噪三个方面[5]。在运动估计中，选择一幅参考图像，根据某一运动模型，求出其他图像与参考图像之间的运动参数，并根据此参数将所有LR观测图像投影到参考图像对应的高分辨率网格上，得到非均匀分布的空间采样图，然后用非均匀内插法内插出所有整数格网的像素值，接着进行去模糊和去噪处理，得到HR的图像，如图1所示。
此方法计算量小、模型简单，但需要假定所有的LR图像的噪声和模糊特征一致，不使用先验约束，恢复效果不佳，不能保证最优性。 1.3 迭代反投影法（IBP：Iterative back-projection）
首先，利用待求HR图像的一个初步估计作为当前结果，通过观测模型投影到LR观测图像上，从而获得LR模拟图像，然后计算LR模拟图像与实际观测图像之间的差值，并由此差值更新当前估计，如此循环，得到最终结果[6]。S. Mann等[7]对图像的配准作了改进；Irani等[8]使用该方法实现了包含多运动目标的视频图像的SR恢复。IBP法容易理解和实现，但由于问题的不适定性导致它的其解不唯一，严重依赖于反投影矩阵，难以引入先验约束，收敛速度慢。
1.4 凸集投影法（POCS：Projection onto convex sets）
最早由H. Stark和P. Oskoui[9]提出，把HR图像的每一个约束条件都定义为向量空间中的一个凸集合，所求的HR图像包含于这些凸集合中，取其交集，即可得到HR图像的解。约束条件包括观测数据一致性、能量有界性、正定性、光滑性等，但H.Stark和P. Oskoui在对数据一致性约束定义的投影算子中忽略了观测模型中噪声的影响；Tekalp等[10]进行了扩展，考虑了噪声的影响；Patti等[11]考虑了任意采样网和运动模糊；随后，又通过修改约束集合减少边缘噪声[12]。POCS法原理直观、实现算法简单，容易加入先验知识；但它的解依赖于初始估计，且不唯一，收敛速度慢且稳定性不高，运算量大。 1.5 正则化重建法 1.5.1 确定性正则化
龙源期刊网 http://www.qikan.com.cn
SR重建问题是一个不适定问题，确定性正则化通过加入先验知识约束把不适定问题适定化，是解决病态问题的经典方法。最终迭代结果主要受限于迭代过程中所加入的正则项，其一般形式可表示为：
其中，拉格朗日乘子是正则化参数项，为数据一致性约束，通过观察模型描述了所求HR图像与LR观测图像相一致的程度，是正则化项，算子C是高通滤波器[6]。上述问题可转化为求最小值问题，通过求导变换可得的迭代公式为：
M.C. Hong等[13]提出一种多通道正则化SR算法，在每次迭代过程中无需先验知识计算正则化系数；M.G. Kang[14]构造了一种通用多通道反卷积方法，也包含了多通道正则化SR算法；R.C. Hardie[15]提出最小化正则化代价函数方法，采用迭代梯度正则化和共轭梯度下降法优化处理最小化代价函数；P.C. Hansen等[16]使用L曲线求解最优正则化参数。 1.5.2 随机正则化
R.R. Schulz 和 R.L. Stevenson[17]最早提出利用最大后验概率方法MAP进行HR重建，把HR图像和观察得到的LR图像当作两个不同的随机过程，利用隐马尔可夫随机场先验模型，将SR问题变为一个具有唯一解的条件最优问题。由于MAP提供了先验约束，为SR重建提供了有效的正则化估计。MAP具有确定性正则化的一切优点，还具备选择噪声模型和图像先验模型的稳健性和灵活性，使其成为研究的热点。Tom等[18]提出了最大似然估计来同时估计亚像素位移、观测图像噪声及HR图像，采用最大期望来求解；Tom和Hardie等[19]提出了运动参数与HR图像的联合求解；Rudin等[20]首先提出了一种有效的全变分正则化方法；Farsiu等[21]提出了SR图像重构双边全变差正则化，更好地保护了图像的边缘。 1.6 MAP/POCS混合法
MAP法推导严谨，POCS法更容易加入先验约束，将两者结合起来将是一个不错的途径。Keightley等[22]提出了一个MAP和POCS相结合的方法，在最大后验概率方法的迭代优化过程中加入先验约束，以便对图像像素值的范围进行约束。Elad等[23]提出了一种通用的最大似然估计凸集投影SR方法。 1.7 基于学习的方法
该方法是空域法的一种，前提是认为LR图像完全拥有用于推理预测其所对应的高分辨率部分的信息。具体重建过程如下：准备匹配所需的由高低分辨率图像块组成的训练集，对观测到的LR图像块进行匹配，从而得出最匹配的高/低图像块组，利用块组中的HR图像块重建出HR图像。目前，常用的学习算法有Chang等[24]提出的基于邻域嵌入的方法；Karl等[25]提出的基于支持向量回归的方法；Yang等[26]提出的使用图形块的稀疏表示的方法。 2 方法比较