南京林业大学本科毕业论文
数学描述图像模糊模型如图2-1所示。
f(x, y) h(x, y) g(x, y) 图2-1 模糊图像退化数学模型
数学关系表示为:
g(x,y)? , y (2-1) f(x,?y)h(x其中,(x,y)——图像像素点的坐标,f(x,y)——输入原始图像,g(x,y)——输出模糊图像,h(x,y)——模糊核或称点扩散函数,“*”——卷积。
在数字信号中,空间域两个信号的卷积等于频域中两个信号的乘积,经过傅里叶变换可得:
G(u,v)?F(u,v)H(u,v) (2-2)
其中,(u,v)——频域中的坐标,G(u,v)——g(x,y)对应的频域值,F(u,v)——f(x,y)对应的频域值,H(u,v)——h(x,y)对应的频域值。
从式(2-1)可以看出,图像的模糊是成像系统的退化(或说模糊核的作用)后造成的。由此模型可知,图像的恢复则是在已知h(x,y)的基础上,对模糊图像进行反卷积运算得到原始图像f(x,y)的最优估计值f?(x,y)。这里是最优估计值f?(x,y)而非原图像
f(x,y)的原因有两个方面(复原图像的病态性):一、在进行反卷积时方程解的不确定
[31]
性,即图像复原中最棘手的奇异解问题;二、反卷积方程存在多个解。
2.3 图像去模糊评价方法
在实际应用中,对于图像的恢复效果人们是比较关心的,图像复原质量的好坏通常由图像逼真度和图像可懂度两方面来诠释。对于恢复图像的评价可以从主观和客观两方面进行。主观评价主要依赖于人的视觉感受、生理差异及相关的专业知识,具有不稳定性和无统一标准性。而客观评价则弥补了主观评价的不足,是建立在一些客观且具有统一标准的量度上的用数学模型进行描述的,如平均绝对误差(MAE)、均方误差(MSE)、信噪比(SNR)、峰值信噪比(PSNR)和平均结构相似性指数(MSSIM)等。对于复原算法的优劣也是可以衡量的,主要表现在以下几个方面:算法的收敛性、稳定性、鲁棒性、计算复
- 6 -
南京林业大学本科毕业论文
杂度、可移植性、复原效果。鉴于本论文是去模糊算法的对比分析,我们在评价复原效果的同时也会相应地从其它几个方面来比较分析。
模糊图像复原质量的评价函数有很多,均要求其具有无偏性、单峰性和对去噪能力、去模糊程度有指示作用。本文的模糊复原评价我们将基于PSNR和MSSIM这两种参考型的评价方法,下面我们将介绍各自的原理。
2.3.1 峰值信噪比(PSNR)
峰值信噪比(PSNR),该指标提供了一个衡量图像失真或是噪声水平的客观标准,常用于图像压缩等领域压缩前后图像劣化程度的客观评价。作为衡量图像质量的重要指标,基于通信理论是指最大信号量与噪声强度的比值。由于数字图像多以离散的数字表示图像的像素,因此采用图像的最大像素值来代替最大信号。PSNR值越大则越趋于无劣化,正常情况下,PSNR的普遍基准为30dB。
?10log10( PSNR??225M5N*?/??f?ij(,f)?i j( , ) ()2-3)
?2其中M,N表示图像的高度和宽度;M*N表示图像的大小,f(i,j)原始图像的灰度,f?(i,j)被评价图像。PSNR的值越大,说明噪声越小,图像恢复越好。
2.3.2 平均结构相似性指数(MSSIM)
平均结构相似性指数(MSSIM),是一种用于衡量两张影像相似程度的指标。该理论以为自然图像信号是高度结构化的,即像素间非常强的相关性,特别是空域中最接近的像素,此种相关性蕴含着视觉场景中物体结构的重要信息。相较于PSNR,SSIM是从对感知误差的度量到对感知结构失真度量的转变。总之,当两张图像中一张为未失真图像,一张为失真图像,二者的结构相似性可以看成是失真图像的品质衡量指标。该评价是将图像相似度测量划分为3个部分进行综合比较:亮度(luminance)、对比度(contrast)和结构(structure)的比较。
给定两个信号x, y分别对应原图和待评价图,两者的结构相似性定义为:
SSIM(x,y)??l(x,y)???c?x,y?????s?x,y??? (2-4) 上式中
22?uy?C1? (2-5) l?x,y???2uxuy?C1???ux22??y?C2? (2-6) c?x,y???2?x?y?C2????x??? s?x,y????xy?C3????x?y?C3? (2-7)
- 7 -
南京林业大学本科毕业论文
其中,l(x,y)比较x和y的亮度,c(x,y)比较x和y的对比度,s(x,y)比较x和y的结构,且α>0,β>0,γ>0,是调整l(x,y)、c(x,y)、s(x,y)相对重要性的参数;?x及?y分别是x和y的平均值和标准差,为x和y的共变异数;皆为常数,用以维持l(x,y), c(x,y)和s(x,y)的稳定。下面我们定义一下一般情况处理时的常数值:
C1??K1L? (2-8) 式中,C1的出现时为了避免值ux2+uy2很小时出现不稳定现象而增加的,其中L是图像像素灰度值的极大值(如8位深的灰度图像L值为255),K1是一个远小于1的正数。
C2??K2L? (2-9) 式中,K2《1,C2与C1定义相同
C3?C2?2 (2-10)
22同时为简单处理,式(2-4)中的α、β和γ均设置为1,则最终SSIM的表达式为:
2222????uxSSIM?x,y???2uu?C2??C?u?C????C2????????xy1xy2y1xy????
(2-11)
在实际应用比较中,通常用一个平均的SSIM,即平均结构相似性指数(MSSIM)来评价图像的整体质量:
MSSIM?,x??y?1/M??S?SIM,? x y (2-12)
在进行图像比较时,首先比较两个输入信号间的亮度,即离散信号的平均亮度;其次,从图像中去除平均亮度值并使用标准差作为信号对比度的估计值;接着进行信号间的结构对比,用前两步处理后的信号除以各自的标准差;最后,将以上三部分连结组成全局的相似度测量标准,即式(2-11)或(2-12)。
结构相似性指标值越大,代表两个信号的相似度越高。值得注意的是,相较于PSNR,结构相似性在影像品质的衡量上更能符合人眼对影像品质的判断。
2.5 本章小结
本章主要作为图像去模糊理论的基础介绍,首先介绍了运动模糊和离焦模糊这两大模糊类型,也是我们论文中将要去除的两类模糊。在图像去模糊技术中通常会提到图像退化模型,虽然不同的模糊类型的点扩散函数各异,但是退化模型的原理是相同,所以在此介绍了图像退化的基本模型。任何技术都离不开评价,图像去模糊算法比较亦然。紧接着,文章中主要介绍了客观评价中两个典型的去模糊评价方法:峰值信噪比(PSNR)和结构相似性指数(MSSIM),并且分析了它们各自的优势。
- 8 -
南京林业大学本科毕业论文
3算法比较
3.1 运动模糊去除方法
当成像系统与目标物之间存在相对运动时(包括成像系统的相对抖动和目标物的运动),运动模糊便会产生。根据发生运动的主题的不同,运动模糊分为全局运动和局部运动。例如,摄像师拍摄一张马路照片,由于行驶的车辆在运动,照片中除了车辆是模糊外,其它是清晰的,此种成为局部运动模糊;但当成像系统发生运动而被摄物静止不动时,出现整张照片模糊不清的情况为全局运动模糊。运动一般分为匀速直线运动(空间不变)和空间变化运动,最简单的运动就是匀速直线运动,而现实生活中造成模糊的运动一般不是匀速直线运动,如旋转、加速等。但是在实际应用处理中,我们将非匀速直线运动理解成多个在水平方向的匀速直线运动的近似合成,均当成匀速直线运动处理[32],也是我们本文将采用的典型模型。
3.1.1 运动模糊图像的退化模型及参数估计
运动模糊是引起图像模糊的最普遍原因之一,具有一般普遍性,该种模糊是由于被拍摄的景物与相机间的相对运动造成的。在获取图像时,传感器与图像间存在匀速直线运动,假设图像f(x, y)进行平面运动,x0(t)和y0(t)是x和y方向上随时间变化的相应运动参数。若T为曝光时间,则在T内成像载体上任一点的曝光总数可以根据对该时间间隔曝光数的积分求得,即运动后的图像可如下表示:
g?x,y???f? ?x?x0?t?,y?y0?t???dt,t??0,T? (3-1)0傅里叶变换为
G?u,v????g?x,y?e?j2??ux?vy?TdxdyT?e?j2??ux?vy?dxdy ?????f?x?xt,y?ytdt?????00????0???j2??ux?vy??????f?x?xt,y?ytedxdy?dt?????00??0??
T则可以推出
G?u,v???F?u,v?e0T?j2???ux0?t??vy0?t???dt
一般令H?u,v???e0T?j2???ux0?t??vy0?t???dt,可得到
G?u v (3-2) ,v??H?,u?v?F,?u当做匀速直线运动时,运动模糊的点扩散函数可表示为以下:
- 9 -
南京林业大学本科毕业论文
2Lx?12,x?y?,??ta?n? h(x,y) (3-3) 2y??L?0,others?其中,L表示运动距离,即模糊核尺度,θ表示运动方向,即水平方向的模糊夹角。这两个参数决定着点扩散函数,也是我们追求的参数。
对式(3-3)两边进行傅里叶变换,可以得到:
H(u,v)?sin?L?uco?s?v?s??i?n
?L?ucos??vsi?n? (3-4)
用w代替u cos(θ)+v sin(θ),则H(u,v)表示为:
H(u,v)?sin?(Lw)?Lw (3-5)
只要能够得到模糊角度θ和模糊尺度L,点扩散函数就可确定。运动图像去模糊的质量主要取决于运动模糊参数(即运动模糊角度θ和运动模糊长度L)。对于运动模糊参数的估计主要是利用模糊图像在频域具有周期性零点的特性来估计的。通过以上我们知道图像复原在数学理解为通过二维离散傅里叶变换将时域卷积运算转化到频域的乘法运算,而运动模糊参数的求取则是对模糊图像的频谱图的黑带条纹(图像零点个数)的分析得来的。
对于模糊长度的估计通常采用倒频谱法估计[33],先对图像倒频谱变换,即对功率谱的对数值进行傅里叶逆变换,将复杂的卷积关系变换为简单的线性叠加,从而在其倒频谱上可以较容易地识别出信号的频谱组成分量。具体步骤为:一、将图像频谱变换成倒频谱并计算;二、根据估计的图像模糊方向,将其旋转到水平方向;三、计算旋转后图像在列方向上像素值的平均值,第一个负的列平均值所对应的列数即为估计的模糊长度。
3.1.2 RL算法(Richardson-Lucy algorithm)
Richardson-Lucy算法是应用最广泛的图像去模糊算法之一,是一种非线性迭代图像复原技术。RL算法是在假定图像像素服从泊松分布的条件下,运用最大似然法、基于贝叶斯分析来求解原始清晰图像的。RL算法在图像复原过程中由于存在振铃效应和噪声放大的问题,会影响图像恢复质量。当迭代次数增加时,能使图像恢复更多的细节,但相应地,振铃效应增多,模糊图像中的噪声会被放大。本文中我们不考虑噪声的影响,来分析比较算法的去模糊特性,那对于RL算法去模糊效果的好坏,控制振铃效应的影响是我们需要处理的。相较于其它复原方法,RL算法更具鲁棒性,复原效果清晰精确。
下式为图像模糊过程:
- 10 -