布景常识
运动含糊
钓寒江雪收拾
Figure 1 水平方向运动含糊50像素（图画现已缩小）
Figure 2 水平方向运动含糊10像素（图画现已缩小）
Figure 3 软件仿照水平方向运动含糊5像素（图画现已缩小）
Figure 4 软件仿照无运动含糊（图画现已缩小）
Figure 5 软件仿照运动含糊比照（图画无缩放，左上：无运动含糊，右上：运动含糊5像素，左下：运动含糊10像素，右下运动含糊50像素）钓寒江雪收拾
Figure 6 软件仿照运动含糊比照（图画无缩放，左上：无运动含糊，右上：运动含糊5像素，左下：运动含糊10像素，右下运动含糊50像素）钓寒江雪收拾
Figure 7 软件仿照运动含糊比照（左上：无运动含糊，右上：运动含糊5像素，左下：运动含糊10像素，右下运动含糊50像素）钓寒江雪收拾
Figure 8 运动含糊（左30毫秒，右50毫秒）
Figure 9 运动含糊（左10毫秒，右30毫秒）
图画配准
配准是寻觅从一个数据集到另一个数据集的转化联络的问题。大部分这类直接办法中，这两组数据集的维度相同(例如，咱们配准3D数据到3D数据或许2D数据到2D数据)，转化办法有旋转，平移，也或许有缩放。好的办法对此类问题十分有用。许多事例中人们期望知道一个在与自己具有相同维度的数据会集的方针的位姿—国际坐标中的方位和方向。例如，咱们有一个患者体内的MRI（核磁共振）图画（3D数据集），咱们期望叠加在实在患者的画面上以辅导外科手术。这种情况下，咱们期望知道旋转，平移，缩放模型，用以将一个图画叠加在别的一个图画上（钓寒江雪翻译）。还有个比如，咱们或许有一个2D图画模板，咱们想在一副航拍图画中找到该模板，咱们相同需求知道旋转平移和缩放联络，以将一副图画叠加在别的一个副上。咱们或许也运用匹配质量打分的办法来标明咱们是否树立了正确的匹配联络。咱们运用查找和发现位姿恒常性特性来处理此类问题。位姿恒常性是指刚性物体中不同特搜集反应该物体相同的位姿。成果，刚性物体配准问题变得简略许多，由于咱们只需找到一小部分特征来估量物体的位姿（钓寒江雪翻译），且咱们能用其他部分来承认该位姿。
该问题一个重要的变种是在投影联络下施行配准。这种情况下咱们看到一个3D物体的图画，且需求将该物体配准到图画。一般，这个问题可以用同维度数据集配准的查找算法来解。这儿咱们需求凭借一种有时被称为摄像机恒常性的特性的协助，摄像机恒常性意思是图画中的一切特征在都是同一个摄像机拍照的（钓寒江雪翻译）。摄像机恒常兴意味着，刚性物体到图画的匹配查找问题被大大简化，由于咱们只需求一小撮特征来估量物体的位姿和摄像机的标定，且咱们可以用其他剩下的特征来承认位姿。
最杂乱的配准问题是要处理能发生形变的物体。这种情况下，配准两个数据集的转化模型是个大家族（译者注：不只旋转，平移，缩放，投影）。查找特定转化相对而言愈加杂乱。配准可形变土体是医疗图画剖析的一个核心技能，由于人体安排可形变且一般在不同的成像办法下对相同的身体部分进行成像。
刚性物体配准
假定咱们有两个点集，源集
与方针集
。方针集是源集的旋转，平移及缩放版别，且其间或许有噪点。咱们期望核算该旋转，平移及缩放量。
这个问题可以直接表达为公式，假定咱们知道
到
的映射，记
为方针点调会集某点索引到源会集第i个点（钓寒江雪翻译）。这种情况下，咱们可以核算一个最小二乘方程，最小化
其间s是缩放因子，
是旋转，
是平移。假定方针没有缩放，咱们设s=1。
咱们能可以用数值优化的办法解该优化问题，虽然该问题有解析解。Horn(1987b)以为平移两可以从中心点康复，旋转和缩放可以从点集的各类矩中得到。事实上，这篇文章以为假定方针是源的旋转平移和缩放版别，点到点的映射联络无关紧要。这个事例违反了配准问题，可是实践中并不常见。
更普遍地，S是一个从几许结构中采样到的点集，T是一个从相同结构的旋转平移缩放版别中采样的的点集。例如，S或许是物体的调集模型，T是经过立体重构或许激光测距的办法取得。另一个比如，S和T或许是从不同的3D图画解剖结构数据会集经过特征检测齐取得。不同比如中，咱们信任S是T的旋转平移及缩放版。可是T中的点未必对应S中的点。更糟糕，采样进程意味着咱们无法精确估量矩。所以Horn的算法不行。还有糟糕的作业，数据集或许包括较大的差错和过错外点。
记
该数据集经过源集的旋转平移与缩放得到。在处理该问题的办法中，
中大部分点需求接近T中的一个点。且供给一个映射联络。咱们经过估量映射联络来查找正确的转化联络，然后经过估量得转化联络来估量映射联络，然后重复。咱们也可以挑选一小部分数据来查找，然后用以估量转化联络。
迭代最近点
此时，假定咱们没有外点。咱们期望关于恣意
，存在最近点
。假定咱们运用一个合理的转化估量，间隔不能太大。留意点的索引依赖于j, 但也依赖于特定的转化参数
，记最近点索引为
，假定咱们估量的转化欢欣为
。然后咱们迭代地精细化估量成果：(a)转化S中的点；(b)逐个找到T中对应的最近点；以及(C)最小二乘法从头估量转化参数。这催生了一个迭代算法，依据文献 Besl and McKay (1992),称为迭代最近点算法iterated closestpoints。该算法可以明确地收敛到正确答案（钓寒江雪翻译）。
实践运用中，它的确可以。两个点集可以助其改进其功能。首要，重估量进程不需求收敛以使算法有用。例如，咱们不需求完整地估量转化联络，咱们做一次梯度下降。这略微改进了转化联络，且修正了最近点映射联络。其次，咱们不需求再最小化进程中运用悉数的点。特别地，假定最近点相对较远，最好鄙人一步的最小2乘法中扔掉这些点。这会使算法更鲁棒。
你或许会以为与其说这是个算法不如说是个算法模板；许多特征可以被成功地修正。例如，它可以用来在数据结构中小心肠加快坚持对最近点的盯梢。另一个比如，一个可选的用于改进鲁棒性的战略，是运用M估量器替代最小二乘差错项。事实上，该算法不需求S和T的点集。例如，它相对直接地用于S是网格点，T是点集的事例（Besl and McKay 1992）。别的，有杰出的依据标明咱们优化的关于(s, θ, t)的方针函数在实践运用中功能杰出。例如，虽然它不是可微的（由于最近点改动，导致微分步长改动），2阶办法如牛顿办法或许LBFGS在实践引证中事实上体现更好。
经过映射联络查找转化联络
迭代最近点重复估量源集于方针集的映射联络，然后用以估量转化联络。就咱们所见，该查找办法面对许多部分极小值。另一个办法是查找映射空间。这看起来好像没有出路，由于有许多的映射联络，可是在刚性物体的事例中，较小的映射集足以配准整个物体。另一个直接考虑映射的优势是咱们可以直接运用符号进行作用而不是点。例如，咱们映射中放置线段，角，乃至如斑驳（blobs）点状特征。这类符号或许改动细节，但对整个算法影响细小。
很小的源符号集与方针符号集进行映射，足以估量转化联络。调集的标准依赖于转化联络及符号自身。咱们参阅可用于核算转化联络的称谓帧支撑群frame-bearing group一群符号。表12.1给出了2D-2D帧支撑群的比如，且表12.02给出了3D到3D事例的比如。这也将在未来的运用中进一步拓宽。
现在咱们假定咱们在源和方针中有帧支撑群。进一步，假定咱们有符号集的映射联络，咱们可以核算源之于方针的相应的转化联络（钓寒江雪翻译）。只能有一个或许的映射联络。例如，假定群是先或许点，咱们只能把源线（点）放置在与方针线（点）映射的方位。可是或许有多种或许的映射；例如群由3个点组成，可是有6种或许性。
假定一个群或许映射过错，大部分的源符号将转化到远离方针的方位。可是假定正确，许多或许大部转化过的源符号将落在方针符号邻近。这意味着咱们可以用RANSAC（10.4.2），重复地运用如下进程，剖析成果：
- 为方针和源随机挑选帧支撑群，
- 核算源与方针单元的映射联络（假定有多个，咱们随机挑选），然后核算转化联络。
- 运用该转化联络转化源集没，并与方针进行比较打分只。
假定咱们施行满足屡次，咱们极大或许可以在好的群之间取得好的映射成果，且咱们也可以查看每个分数用以分辩好坏。从好的映射联络，咱们可以分辩源与方针的匹配对，终究依据最小2乘法核算转化联络。
运用：树立图画拼接
一个拍照大而壮丽的方针的细节的办法是拍照许多张小的图画，并将其拼接到一同。曩昔的做法常常是将相片冲印，然后堆叠贴在软木板上，用以符合。这引入了图画拼接，一系列堆叠的图画。图画拼接现在能用数字图画配准的办法施行。
表1 3D-3D帧支撑群.假定咱们在源和方针中都有一个群，且有一个映射联络；然后，咱们可以仅有地估量转化联络。
Figure 10 左图，机场上空航拍视频帧。这些帧被纠正并拼接在右图，其间显现（a）大局可见结构（b）飞机飞翔途径。这个图最作为Figure1宣布在“Video Indexing Based on Mosaic Representations,”by M. Irani and P. Anandan, Proc. IEEE, v86 n5, 1998, _c IEEE, 1998.
一个运用是创立大型图画。也有几个其他重要的运用。例如，假定咱们用在飞机笔直装置的一个的摄像机拍照了一些图画（钓寒江雪翻译）；然后假定咱们一帧一帧配准这些图画，咱们不光可以得到飞机可见的图画，还可以呈现飞机的途径，如图Figure 12.1所示。另一个比如， 假定咱们咱们有一个获取视频的固定的摄像机。逐帧配准后，咱们可以估量（a）运动物体，（b）布景，且用新的办法向观众呈现（figure 12.2）。还有个比如，咱们可以构建圆柱面全景图画，仿照圆柱面摄像机拍照的图画。乃至球面全景图画，仿照球面球面摄像机拍照的图画。全景图画的一个特性看起来像一个视角的图画，简略查询提取信息。特别地，简略运用全景图画仿照摄像机旋转聚焦点时之所见。
创立拼接式图画配准的一个重要运用。在最简略的比如中咱们期望配准两张图画咱们先找到符号，然后确认哪些点是匹配额，然后挑选转化联络，并最小化２次匹配差错。Brown and Lowe(2003)给出了寻觅符号的战略。他们找到感兴趣点，然后核算范畴的ＳＩＦＴ特征，然后运用近似最接近点办法寻觅匹配对，一小组匹配点足以拟合映射联络。
figure 11 左图，空中飞机拍照的视频帧（钓寒江雪翻译）。这些帧被纠正并拼接到右图，其间显现（a）视频中飞机飞翔轨道和（b）观察者的飞翔轨道。留意拼接显现了飞机移动速度（可看到每一个飞机拼接实体距离多远；假定距离远，阐明移动快）。
这类有两种有用的转化联络。最简略的比如中，摄像机是一个笔直平移的摄像机，且它被平移。这意味着图画符号平移（钓寒江雪翻译），由于咱们只需求估量图画之间的平移量，另一个杂乱的比如，摄像机是一个绕其焦点旋转的透视的摄像机。假定咱们对该摄像机一窍不通，这个I1和I2的相关部分是一个面投影转化联络，又称单应改换。了解更多关于摄像机及环境信息，可以得到更紧的约束条件的转化（钓寒江雪翻译）。
在单应坐标中，转化联络将点I1中的Ｘ１＝
映射到Ｉ２中的
。转化联络的办法是3×3行列式非零的矩阵。记为Ｈ。咱们用平面上４个对应点估量元素值。记
为第Ｉ１中第ｉ个点，对应
，现在咱们有式
Figure 12
假定咱们叉乘并相减，咱们依据每一组映射点对的不知道矩阵进口得到单应线性方程，例如：
这个体系给出了H巨细的（up to scale,原文）求解办法（咱们作业在单应坐标系下）。这是一个依据少数点估量Ｈ好的办法， 但当咱们有一大堆映射点对时，或许得不到最精确的解。这种情况下，咱们应该最小化Ｈ的函数
其间g是判别函数，假定咱们有外点的话，这不是个好主意，或许一个M估量器。这个函数值关于H的巨细是不变的（意思是H矩阵的元素共同扩大或许缩小都不影响函数值），所以咱们需求一个归一化的办法（钓寒江雪翻译）。咱们可以设置一个量为1来归一化（不是个好主意，由于这带来了偏置量），或许要求Frobenius 范数等于1。好的估量单应矩阵的软件现已可以在Web上取得。Manolis Lourakis在http://www.ics.forth.gr/~lourakis/homest/宣布了一个 C/C++ 库; there is a set of MATLAB functions for multiple view geometry at一个ＭＡＴＬＡＢ多视几许函数集，http://www.robots.ox.ac.uk/~vgg/hzbook/code/,作者是 David Capel, Andrew Fitzgibbon, Peter Kovesi, Tomas Werner, Yoni Wexler, and Andrew Zisserman.
最终，OpenCV也有单应估量办法。
假定有超越2张图画，配准图画到拼接图画更有意思。想想咱们有三个图画
，咱们可以配准图画1到图画2，然后图画2到图画3。可是假定图画3具有一些图画1所具有的特征，这或许是不明智的做法。记
为图画2到图画1的转化联络（顺次类推）。问题是
或许不是图画2到图画1的转化联络
的好的估量。在三张图画的情况下，差错或许不是那么大，可是能累加。
为了处理差错累加的问题，咱们需求运用悉数的差错值一次估量一切的配准数据。这个动作叫做绑定调整（bundle adjustment），依托剖析运动中结构的相关项施行（章节8.3.3）。一个天然办法是挑选一个坐标帧，图画帧再其内作业－例如，榜首帧图画，然后查找一系列其他图画与榜首幅图画的匹配联络，并最小化点对差错平方和。例如，记
为第j元组，它由图画ｉ中及图画k中组成。咱们可以经过最小化下式估量
和
，
(其间，假定没有外点，g是共同的，否则是M估量器)，然后用转化联络配准。留意，跟着图画数量添加，这个办法或许带来大的和差的优化问题（钓寒江雪翻译），很或许呈现部分最小值，所以需求从一个好的转化估量值开端。配准独立图画对可以供给这样的起始点。一旦图画现已配准到别的一副图画，咱们能得到一单张全景图画，然后小心肠混叠像素以处理由镜头体系导致的空间亮度改动（图12.5）。
依据模型的视觉：运用投影配准刚性物体
MODEL-BASED VISION: REGISTERING RIGID OBJECTS WITH PROJECTION咱们现在现已可以用图画配准刚性物体。这个问题的处理办法在实践运用中很有用， 由于它们答应咱们依据摄像机估量图画中已知物体的方位，方向，缩放，虽然物体身上的图画特征有许多不确认性。这类算法可以和国际发生作用，在体系中特别有用。例如，假定咱们期望移动一个物体到特定方位，或许捉住它，依据摄像机知道它的数据真的特别有用。咱们运用相同的办法来处理3D物体到3D物体的配准，办法重复：找到一个群；康复转化联络；对悉数源施行转化；然后对源于方针的类似度打分。最终咱们输出得分最好的转化成果。更进一步，假定最好的转化联络得分较好，那么物体就在那儿（那儿便是估量出的位姿）；假定欠好，他就不是（不在那儿）。
源
由多个依据某些几许结构的符号组成，而
是依据几许结构的旋转平移及缩放版的符号组成。咱们想得到实践的旋转，平移及缩放。一般该问题触及许多
中的外点，由于咱们不知道特征是否真的来自该物体。简直一切的符号都是点或许线段；关于
，这些由物体的几许模型决议，而关于
，则来自边际点或许边际点的拟合线（咱们能运用Chapter 10的这些机制取得这些线）（钓寒江雪翻译）。这个事例有两个不同的特性。咱们不能估量悉数的转化参数（一般也无关紧要），且它也很难得到令人满足的源与方针的类似度评分。
有许多办法可以估量转化参数。细节依赖于咱们是否标定摄像机，以及咱们运用了何种摄像机模型。在最简略的事例中，咱们运用了笔直的摄像机，标定依据不知道的标准，沿着Ｚ轴仰望摄像机坐标系。咱们无法估量3D方针的深度，由于改动深度不改动图画。咱们不能独立于摄像机的缩放标准断定物体的标准，由于一起改动这两个参数能得到相同的图画。例如，咱们扩大物体一杯，一起缩小摄像机的像元，咱们得到的图画点具有相同的坐标值。因而，咱们不能影响上述查找进程背面的因果联络。例如，咱们树立源与方针的正确的映射联络，然后，源符号将中止在接近或许在方针符号的上方。这意味着运用了上述RASANC风格的办法。类似地，假定咱们供给了精确的转化参数（咱们能设置摄像机缩放参数为1），咱们就可以估量深度。
在单个笔直摄像机的事例中，依据不知道缩放值得标定，三个映射点对现已满足估量旋转量。两个可观测的平移及缩放（参阅联络，给出了另一个帧群组）。在大部分运用中，深度在物体间的改换相关于物体的深度要小的多。这意味着，一个透视摄像机可以能被弱透视改换近似模型来近似。这等同于单个笔直摄像机，标定到一个不知道的标准。假定摄像机的标准已知，也就可以康复出无图的深度。
Figure 13 一个平面物体被配准到图画。左图中，一个物体的图画；中图中，一个图画中包括物体的两个实例，及其他资料（聚类中常见的比如）。特征点被检测了，且两个群组－在这个事例中，三点集－被查找；每个映射给出了一个从模型到图画的改换。满足的映射对齐了许多模型边际点与图画边际点，在左图中，这是为什么这个办法有时候被称为“对齐”。这个图画来自该主题的前期的论文，可是遭到其时落后的再生技能的影响。这个图画最早作为Figure 7宣布在“Object recognition using alignment,” D.P. Huttenlocher and S. Ullman, Proc. IEEE %&&&&&%CV, 1986. c IEEE, 1986.
验证: 比较转化与玄然后的源图与方针图
实践运用中，用来查找转化联络的RANSAC-风格的查找算法首要的难点在于配准３Ｄ方针与一个图画，一个好的评分办法比较难以得到（钓寒江雪翻译）。核算评分函数的办法是直接的，假定咱们启用烘托，一个通用意图用于依据模型生成图画的办法的描绘，包括一切的从绘线到给图画物理地精确地上色作业。咱们取得估量得转化模型，运用到模型，然后运用摄像机模型烘托转化后的物体模型。咱们施行烘托，并与图画进行比较。难点在于比较办法（这决议咱们需求烘托什么）。
咱们需求一个可以阐明一切已知图画痕迹的评分函数。这要能包括难以确认确认型的符号（角点或许边际点），或许图画纹路的痕迹。假定咱们知道一切的物体在其之下被观测的光照条件。咱们或许可以运用像素亮度（实践条件下，这简直行不通）。一般，关于光照咱们所能知道悉数便是亮度满足时，咱们能找到一些符号，这也是为什么咱们有配准假定需求查验。这意味着这些比较被要求在在光照改换条件下是鲁棒的。明显，实践中，最重要的查验是烘托物体的概括，然后比较其边际点。
一个天然查验办法是依据摄像机模型叠加物体的概括边际到图画，然后依据这些点与实在图画边际点的比较对假定模型进行评分，一般的评分是接近的实践的边际点的猜测的概括边际碎片的长度。这在摄像机框架下是旋转平移不变性的，这是个功德，可是随缩放因子改动，但未必是坏事。一般答应图画边际点知在他们方向与对应的模型边际方向邻近时奉献点评分值。这个原则是对边际点描绘越具体，人们更简略知道它是否来自该物体。
在线段中包括不行见的概括可不是个好主意，因而，烘托需求删去躲藏的线。由于概括内边际在差的光照条件下或许比照度低，所以运用了概括。这意味着概括的缺失体现的是光照的条件而非物体的存在性。
边际存在性查验或许很不行靠，乃至方向信息也不能真实处理该难题。当咱们投影一个模型鸿沟到一个图画时，概括邻近的边际的缺失是一个模型不存在于此的牢靠的信号。可是概括邻近存在边际却不是关于模型存在于此的牢靠的信号（钓寒江雪翻译）。例如，在纹路区域，有许多边际点组合在一同，这意味着，多纹路区域中，每个模型的每个位姿都或许会得到高的查验评分值。留意即便评分考虑边际方向也杯水车薪。
咱们可以调整边际检测器来重度滑润纹路强度，以期纹路区域的消失。这是个风险的躲避办法，由于这常常会影响比照度灵敏度，然后也会导致物体消失。但是，这个办法在可接受的程度下有作用，被广泛地运用。
参阅文献：
COMPUTER VISIONA MODERN APPROACHsecond editionDavid A. Forsyth
University of Illinois at Urbana-ChampaignJean PonceEcole Normale Supérieure
与非网原创内容，谢绝转载！
