第二章 双目视觉系统
一个完整的双目立体视觉系统通常可划分为以下五个模块[14]：
(1)获取图像 模拟双目的方式，两台平行的摄像机对同一场景进行拍摄，
从而获取左右眼图像。
(2)摄像机标定 通过选取图像特征点，建立摄像机的几何成像模型，得
出摄像机内外参数。
(3)立体匹配，通过左右两图像的视觉差获取图像深度图，为三维重建提
供立体模型。
信息。
本文研究重点在立体标定与立体匹配。
(4)三维重建 通过图像的立体模型，恢复图像的立体感，获取场景立体
2.3摄像机立体标定
双目视觉系统最终目标是获取图像场景的立体信息。由摄像机投影原理我们可知，摄像机拍摄到的图像与图像场景的立体信息存在某种关系。这某种关系与摄像机的内外参数有关，求解这些参数的过程即是摄像机标定。因此，摄像机标定在双目视觉系统中具有重要的地位：标定结果的精度直接影响到后续工作的可靠度。以下我们对摄像机标定相关理论知识进行探究。
2.3.1像平面坐标系、摄像机坐标系和世界坐标系
由图形学知识我们可知，摄像机采集的图像在计算机内表示为m?n数组：数组值表示各个像素点的亮度值。如图(2-2)，m,n表示图像中像素的行数与列数；
定义直角坐标系u,o,v为图像坐标系，(u,v)表示某一像素点的图像坐标。
由于(u,v)只是表示某一像素的图像坐标，而不是数学意义上的点坐标，因此需要将以像素为单位的像平面坐标系转换成以毫米为单位的像平面坐标系。该坐标系可表示为x,O,y如图2.3所示。
- 4 -
第二章 双目视觉系统
图2-2 图像坐标系与像平面坐标系
一般图像中心点表示为像平面坐标系中的原点O，而一般图像左上角点表示为图像坐标系中的原点o，任意点p在两种坐标系中的关系如下：
x?u??u0?dx? (2-3) ??v?y?v0dy??其中，(u,v)，(x,y)分别表示点p在图像坐标系与像平面坐标系中的坐标，
o(u0,v0)，O(x0,y0)分别表示图像坐标系与像平面坐标系原点坐标；dx,dy分别表
示每一个像素在x与y方向上的物理尺寸，上式表示为齐次坐标与矩阵形式：
?1?dx?u???v???0?????1????0??01dy0?u0???x?? (2-4) v0??y??????1??1???如图2-2双目视觉系统成像示意图可知，在摄像机坐标系中：摄像机光轴与图像平面的交点为原点，Xc,Yc与像平面坐标系x,y平行。三大坐标系如图2-3
- 5 -
第二章 双目视觉系统
所示， XW,YW,ZW为世界坐标系，OW为世界坐标系原点； x,y为像平面坐标系，
O为像平面坐标系原点。Xc,Yc,Zc表示摄像机坐标系，Oc为摄像机光心即摄像机坐标系原点；OOc为摄像机焦距f。
图2-3 三大坐标系（像平面坐标系，摄像机坐标系，世界坐标系）
其中，世界坐标系与摄像机坐标系的关系表示为：
?Xc??Y??c???RT?Zc??0????1??XW??XW???Y?t??YW???M2?W? (2-5） ??ZW?1??ZW??????1??1?T其中， R表示3?3正交单位旋转矩阵；t表示三维平移向量； 0??000?；
M2为4?4矩阵[15]。
2.3.2摄像机模型
1、线性摄像机模型(针孔成像模型)
由图2.2可知针孔成像模型中成像系统没有任何畸变，空间任何一点
P(XW,YW,ZW)在图像中的投影位置表示为p(x,y)，p(x,y)是摄像机光心点O与
P点的连线OP在图像平面的交点。由投影比例关系有如下关系式（以左摄像机成像为例）：
- 6 -
第二章 双目视觉系统
??x????y???fXcZcfYcZc (2-6)
(XW,YW,ZW)为空间点P其中，(x,y)为空间点P左摄像机成像点p坐标；
的摄像机坐标表示形式。上述透视投影关系为：
?x??f???0s?y?????1????00f0?X??Xc?00??c??Y?Yc?00????P?c? (2-7)
?Zc??Zc??10?????1???1?其中，s表示比例因子，P表示透视投影矩阵[16]。将公式(2-4)，(2-5)
（XW,YW,ZW）px,y）代入上式得出空间中P与其投影点（的关系
?1?0u0??dx?XW??XW?f000a0x0?u???????x0?Y??Y?Rt??1???0??0f00??W???0ayy00?M2?W?s?vv0??T????01?Z????Z? (2-8) ??dy??WW??????100100010????????????00111???????????M1M2XW?MXW其中，ax=ff，ay=分别称为x,y轴上归一化焦距；M为3?3投影矩阵；
dydxM1参数ax、ay、x0、y0决定，称为摄像机内部参数；M2称为摄像机外部参数。
摄像机标定过程即是确定某一摄像机的内外参数的过程。
由上式可得出求出某空间点P的空间坐标方程， 但是事实上，由于M是即使已知摄像机的内外参数和图像点的位置(x,y)时，消去z只3?4不可逆矩阵，
可得到关于XW,YW,ZW的两个线性方程，由这两个线性方程只能确定P点位于射线OP上。因此，只由线性模型无法确定空间点的位置坐标。
2、非线性模型
非线性模型在线性模型的基础上考虑到实际中的畸变。假设在实际成像过程中产生了畸变，新的成像点坐标为(x',y')，表示为[17]：
- 7 -