龙源期刊网 http://www.qikan.com.cn
图像拼接技术研究综述
作者：熊哲源 熊小敏 吴胜益 袁幼平 来源：《科技资讯》2015年第01期
摘 要：图像拼接技术是虚拟现实和图像绘制技术的一个重要研究方向，文章对图像拼接的内涵进行了阐述，提出图像拼接在虚拟现实、提高图像的分辨率、增大光学系统的视场角、方便图像的检索、编辑、分析和理解等四大方面的应用，研究分析了图像拼接算法的流程，介绍了图像拼接的关键技术：即图像拼接预处理技术、图像配准技术和图像融合技术。结合图像拼接技术在现实生活中的应用，提出了图像拼接方法在实时图像拼接、自动图像拼接、彩色图像拼接、3D立体图像拼接等几大方面的研究新进展。 关键词：图像拼接 图像配准 图像融合 虚拟现实
中图分类号：TP3 文献标识码：A 文章编号：1672-3791（2015）01（a）-0000-00 1 引言
图像拼接是将一组已经在空间上配准的、相互之间存在重叠部分的图像序列，经过图像变换、重采样和图像融合后形成一幅包含每个图像序列的宽视角或360度视角的全景图像的技术[1]。目前，图像拼接技术的应用方向主要包括以下四个方面： 1.1 虚拟现实
将图像拼接技术应用于虚拟现实系统中，实现动态或者交互式虚拟的3D环境，可以利用多个图像源实时合成视频，能呈现远程会诊和手术参与的三维场景，音乐会或体育赛事，或参加远程教育和虚拟教室等。 1.2 提高图像的分辨率
利用具有重叠区域的多幅图像或者视频图像序列可以生成超分辨率图像，因为图像的重叠区域包含实际场景的很多冗余信息。 1.3 增大光学系统的视场角
为了有效地提高视场光学系统，多传感器可用于捕捉不同角度的图像，然后使用领域的图像拼接技术的实时拼接这些图像，形成了较大的实地查看图像。 1.4 方便图像的检索、编辑、分析和理解
龙源期刊网 http://www.qikan.com.cn
通过获取场景和目标更多的信息生成大场景图像或三维立体图像，以利于图像的检索、编辑、分析和理解。朱云芳[2]提出通过构造视频的全景图，利用手工与计算机相结合的方法对全景图进行编辑，实现对视频内容的检索和编辑。 2 图像拼接的关键技术
图像拼接的一般流程包括图像预处理、图像配准和图像融合三步： 2.1图像预处理
由于硬件设备自身缺陷，有很多不同的噪声使得捕获的图像达不到图像质量的要求，因此需要对原始图像进行去噪、修正等图像预处理工作。图像预处理阶段的精度对最后拼接图像的质量有着很大的影响。图像拼接预处理的主要目的就是保证图像配准的精度，简化图像配准的难度。常见的预处理方法包括以下几种[3]： 2.1.1 图像平滑与边缘锐化处理
由于图像的拍摄视角不同、折叠变换不同以及存在随机噪声，使得具有重叠区域的图像序列在重叠部分的细节上并不完全相同。因此，只能选取轮廓或其它主要边缘来做特征匹配的垂直边缘。
2.1.2 相位相关算法
如果图像存在平移，那么可以将平移转化到频域，并且计算相位差。在平移运动坐标上的脉冲就是这个相位差的傅立叶反变换，在对齐两幅图像的位移位置后，两幅图像的对齐点可以通过搜索最大值的位置得到。 2.1.3 灰度图投影算法
如果垂直方向上的平移可以忽略，而且水平方向上平移较小的时候，可以使用灰度图投影算法对相邻的两幅图像进行粗略定位。以便在进行精确配准时，减小误，差缩小搜索范围。首先，一个彩色图像转换为灰度，然后将其转换为二进制图像的灰度图像，所有像素的灰度值，然后到垂直方向，预计到积累，通过比较相邻的曲线大致可以匹配的位置图像的投影。 2.1.4视频序列子集的筛选
进行基于视频的图像拼接时，需要首先对视频序列图像进行筛选。由于视频序列图像有很充裕的重叠信息可以利用，因为它们相互之间的位移量很小。因此，为了既可以降低配准误差和拼接图像的不连续性，又能减小计算量，可以只选取它的一个子集，而不使用全部的视频序列图像。
龙源期刊网 http://www.qikan.com.cn
2.1.5 基于模板匹配的算法
基于模板匹配的过程是将一幅图像中位于重叠区域的一块作为模板，在另一幅图像中搜索和模板具有相同或相似值的对应块，这样就可以确定两幅图像的重叠范围。通常情况下，如果模板面积越大，这种算法的精度就越高，但是其计算复杂度也会很高。此外，也可以使用以图像的重叠在另一个为模板与图像的最佳匹配的搜索两个相邻像素的比例为模板，然后一部分，有效地降低计算量。然而，在很多的分割计算所需的比例，将减少准确性。 2.1.6 遗传算法估计碎片图像的拓扑排列
如果原始图像是一些碎片图像，并且相机的运动方式未知或不规则（如医学图像，海底或者太空探测图像），或者不知道它们的拓扑排列顺序时可以使用对原始图像序列的拓扑排列进行估计的方法。
图像拼接的预处理是为下一步的精确配准做准备，许多预处理算法和配准算法是紧密相关的。可以根据选定的图像配准算法来选择相应地的预处理算法，从而提高图像拼接精度和速度。此外，拼接图像变换模型的选定还可以根据原始图像的特性来，这样就可以选择合适的图像拼接预处理算法和图像配准算法。 2.2 图像配准
图像配准的定义是关于同一目标的两幅或者多幅图像在空间位置上的对准。如果对同一目标的两个图像是相同的，即可完成图像配准并不难。图像配准是一个非常复杂的技术过程。由于捕捉到不同时刻，不同视场和不同的成像传感器随着亮度的噪音和各种不同的成像过程的耦合，而是具有某种程度的相似性两个图像[4]。图像配准的过程主要包括以下几个步骤： 2.2.1 选择特征空间
可以根据待配准图像的各种不同特征来实现匹配，主要包括图像本身的亮度，图像的边缘、曲线、角点、直线交点、高曲率点，图像的不变矩、重心等。 2.2.2选择相似性测度
图像配准中最重要的步骤是相似性测度的选择，因为相似性测度的结果决定了两幅图像是否匹配，而且决定了如何确定匹配位置。 2.2.3 选择搜索空间与策略
搜索空间的目的是找到图像配准的最佳位置的集合。在很多情况下，减少测量的数量是很重要的，因为误匹配位置越多，计算量就越大，问题就越严重。在有些情况下，可以利用一些