Displets论文读后感

1.论文基本信息

题目：Displets:Resolving Stereo Ambiguities using Object Knowledge 时间：2015.6

作者：Fatma Guney, Andreas Geiger 2.论文摘要

立体技术近年来发展迅速，但仍然存在一些具有挑战性的问题。一个比较显著的问题是，传统的方法不易对具有反射性和无纹理的平面恢复重建。该论文在较大的距离上进行规范，使用图像分类技术确定目标视差位置（displets），采样时使用基于稀疏视差评估的逆图像技术以及语义分割技术。Displets指出，特定类别的物体形状不是随意的，它具有典型有规律的结构。综合上述思路，针对“车”这一类别进行试验，利用CRF框架将目标转化为超像素，在KITTI立体评估中，该方法排名第一。 3.引言

计算机视觉的目标是从摄像机得到的二维图像中提取三维信息，从而重建三维世界模型，主要分为四个步骤，如图所示：该论文主要针对立体匹配阶段，其基本原理是从两个视点观察同一景物以获取立体图相对，匹配出相应像点，从而

计算出视差并获得三维信息。一般情况下，一幅图像中的某一特征基元在另一幅图像中可能会有很多候选匹配对象，可真正同名的结构基元只有一个，因此可能会出现歧义匹配。该论文就是为了解决立体歧义问题。

大部分的双目视觉立体匹配算法集中对文字特征和平滑假设做处理，忽略了语义信息的重要性。该论文集中研究中级阶段的目标识别和语义分割技术，而且注重目前研究较少的三维重建部分。如下图所示，当前算法面临的主要问题是由于目标类的弱纹理性，反射性，半透明性，通过使用目标识别知识，增加可能的目标之间的距离，提高匹配效果。4.文章基本原理

使用SLIC算法将图像分解为一系列的超像素平面，关于displets的说明：

采样三维CAD模型结构（上，中图），通过局部平面和视差图的匹配获取平面参数，其实S代表超像素平面，ni表示平面的法向量。1）能量函数

立体匹配算法主要是通过建立一个能量代价函数，通过此能量代价函数最小化来估计像素点视差值。立体匹配算法的实质就是一个最优化求解问题，通过建立合理的能量函数，增加一些约束，采用最优化理论的方法进行方程求解。该论文的能量函数如下：（1）DataTerm（能量函数第一部分） 该数据项指出，左图像和右图像中一致的点在外观上应该相

似。由于可能存在很多相似的点，因此用一个半密集的特征区域匹配算法从初始的稀疏视差图得到惩罚偏差如下：（2）LocalSmoothness（能量函数第二部分）

在能量函数中，鼓励局部平滑度，通过惩罚超像素边缘的不连续性，鼓励具有相似方向的相邻像素。平滑项可分解为：表示超像素i和超像素j之间一系列共享的边界像素，和控制每个式子的重要性。如果相邻的超像素i和j很容易被一个闭塞的边界分开，就降低和的权值。 （3）DispletPotentials（能量函数第三部分）

Displet Potentials标识一个符合特定语义类的可能的几何区域。Displet的一元可能性（unary potential）被定义为，该可能性用来描述图像中形状符合特定目标类的区域被指定给语义类标签在每个displet和所有超像素之间定义一个可能性，加上一个变量代表平面的法向量，确保displet不会重叠。2）Rapid Inverse Graphics（快速逆图像） 该部分描述如何使用逆图像从无限大空间的视差图中再次采样，用MCMC画一组符合特定目标类的代表性采样。该过程从原始摄像机中生成视差图，呈现的视差图和输入的视差图进行对比，返回一个表示一致程度的分数。这确保该算法可以抵抗不能程度的光照变化，特别是反射性和半透明的表面。

（1）Semi-ConvexHull（半凸面车身）