超分辨率复原技术的发展

The Development of Super2Re solution Re storation from Image

Sequence s

1、引言

在图像处理技术中,有一项重要的研究内容称为图像融合。通常的成像系统由于受到成像条件和成像方式的限制,只能从场景中获取部分信息,如何有效地弥补观测图像上的有限信息量是一个需要解决的问题。图像融合技术的含义就是把相关性和互补性很强的多幅图像上的有用信息综合在一起,产生一幅(或多幅) 携带更多信息的图像,以便能够弥补原始观测图像承载信息的局限性。 （图象融合就是根据需要把相关性和互补性很强的多幅图象上的有用信息综合在一起,以供观察或进一步处理,以弥补原始单源观测图象承载信息的局限性,它是一门综合了传感器、图象处理、信号处理、计算机和人工智能等技术的现代高新技术,于20 世纪70 年代后期形成并发展起来的。由于图象融合具有突出的探测优越性,在国际上已经受到高度重视并取得了相当进展,在医学、遥感、计算机视觉、气象预报、军事等方面都取得了明显效益。从图象融合的目标来看,主要可将其归结为增强光谱信息的融合和增强几何信息的融合。增强光谱信息的融合是综合提取多种通道输入图象的信息,形成统一的图象或数据产品供后续处理或指导决策,目前在遥感、医学领域都得到了比较广泛的应用。增强几何信息的融合就是从一序列低分辨率图象重建出更高分辨率的图象(或图象序列) ,以提高图象的空间分辨率。对图象空间分辨率进行增强的技术也叫超分辨率(super2resolution) 技术,或亚像元分析技术。本文主要关注超分辨率(SR) 重建技术,对SR 技术中涉及到的相关问题进行描述。）

（我们知道,在获取图像的过程中有许多因素会导致图像质量的下降即退化,如光学系统的像差、大气扰动、运动、离焦和系统噪音,它们会造成图像的模糊和变形。图像复原的目的就是对退化图像进行处理,使其复原成没有退化前的理想图像。按照傅里叶光学的观点,光学成像系统是一个低通滤波器,由于受到光学衍射的影响,其传递函数在由衍射极限分辨率所决定的某个截止频率以上值均为零。显然,普通的图像复原技术如去卷积技术等只能将物体的频率复原到衍射极

限相应的截止频率处,而不能超越它,这样截止频率之外的能量和信息被无可奈何的丢失了。超分辨率图像复原就是试图复原截止频率之外的信息,以使图像获得更多的细节和信息。超分辨率复原技术在遥感、视频、医学和公安等领域具有十分重要的应用价值和广阔的应用前景。例如在遥感应用中,通过利用超分辨率复原技术,在不改变卫星图像探测系统的前提下,可实现高于系统分辨率的图像观测。正因为如此,超分辨率图像复原在近年 来已成为国际上图像复原领域最为活跃的研究课题,）

（图像分辨率是图像质量的重要指标,分辨率越高,细节越精细,图像提供的信息越丰富。在遥感监测、军事侦察、交通及安全监控、医学诊断和模式识别等应用中,都需要高分辨率图像。由于受成像系统物理条件和天气条件的影响,在成像过程中常常存在光学和运动模糊、下采样和噪声等退化过程,使实际得到的图像质量较差、分辨率低。这可通过减小像素尺寸、改变探测元排列方式和超分辨率图像恢复等方式提高图像分辨率。由于目前成像系统几乎都达到了不导致曝光退化的最小像素尺寸[1 ] ,因此对减小像素尺寸的方法技术和经济成本要求较高。将成像系统探测元的正方形排列方式改成梅花形、超模式或六边形排列,虽然可将图像空间分辨率分别提高2倍、2 倍或2 3 倍[2 ] ,但在应用上通过探测元排列方式提高分辨率不容易实现。相比较通过融合图像序列中信息提高图像分辨率的超分辨率图像恢复方法既经济又容易实现。）

(在数字图像的采集与处理过程中,有许多因素会导致图像分辨率的下降,主要表现为模糊、噪声和变形。造成模糊的因素有很多,如传感器的形状和尺寸、光学仪器的性能(如点扩散函数: PSF)引起的光学模糊以及采集对象的运动带来的运动模糊。另外,在成像、传输、存储过程中,会引入不同类型的噪声(如高斯、椒盐噪声等) ,且其引入方式也不同(加性或乘性噪声) ,这都会直接影响到图像的分辨率。此外,数字化采集过程也会影响图像的分辨率,欠采样效应会造成图像的频谱交叠,使获取的图像因变形而发生降质,尤其是经过压缩的图像,会产生量化噪声和编码效应等。图1所示为图像的降质过程。提高图像分辨率最直接的办法就是提高采集设备传感器的密度,然而高密度的图像传感器(如CCD)的价格相对昂贵,在一般应用中难以承受;另一方面,成像系统受其固有传感器排列密度的限制,目前已接近极限[ 1 ]。提高图像分辨率的另一方法是提高芯片尺寸,但这

将导致电容的增加和电荷转移速度的下降。一种有效提高图像分辨率的途径是采用基于信号处理的方法对图像的分辨率进行提高,即超分辨率

SR( super2resolution)重建,它利用多帧图像序列进行处理,提取图像序列中附加的空域和时域信息,生成一幅高分辨率HR ( high2resolution)图像。若利用一个滑动窗口对多帧低分辨率LR ( low2resolution)图像序列进行处理,则可以生成HR图像序列。SR重建技术的优点是不涉及硬件,成本低,现有的图像系统还可以使用,是一种比较经济的方案。由于SR重建技术可以克服图像系统内在分辨率 的限制,改进图像处理中大多数图像的性能,因而这一技术在视频、成像、遥感、医学、监控和军事等领域具有十分重要的应用,具体有如下几个方面:) (图像超分辨率技术的应用很广泛。就目前来看，图像超分辨率技术已经应用到遥感技术应用领域中的资源调查、土地划界、植被监测、农作物和灾害监测等环节，应用在社会公共安全领域中的银行、机场、交通路口等公共场合的安全监控和刑事犯罪侦破等环节以及医学领域中的检测识别和定位精度等等。该项技术还可以很好应用于工业自动化控制领域，机器人视觉领域，天文观察、多光谱成像、超声成像等领域，具有很重要的理论研究意义和实用研究价值。)

1、超分辨率复原技术的含义

许多成像系统,如红外成像仪和CCD 照相机等,在采集宽快速视场图像的过程中,受其固有的传感器阵列排列密度的限制,图像的分辨率不可能很高;同时欠采样效应又会造成图像的频谱交叠,使获取的图像因变形效应而发生降质(理论依据是奈奎斯特采样定理) 。虽然成像系统的光学元件能够有效地限制传感器阵列上图像的频带宽度,使获取的图像有可能避免变形效应的发生,但这要求光学元件与传感器阵列进行有效组合,这在实际应用场合中是很难做到的。如果采用增加传感器阵列密度的办法来提高图像分辨率和消除变形效应,则费用可能很昂贵或者很难实现。解决这一问题的一个有效办法就是超分辨率复原技术。这种方法的目的就是由一些低分辨率变形图像(或视频序列) 来估计一幅较高分辨率的非变形图像,同时还能够消除加性噪声以及由有限检测器尺寸和光学元件产生的模糊。大多数超分辨率复原方法是从经典的单帧图像复原技术发展而来的。单帧图像复原技术经过几十年的研究,逐步形成了一套统一的理论框架。虽然单帧