图像配准

Image Registration

第二章 / 图像校正

参数面板

先切换仿射或透视模型，再调节误匹配数量与估计策略，观察矩阵、匹配残差和叠加结果如何一起变化。

几何模型

估计策略

误匹配数量1 对

观察匹配对0

仿射模型至少需要 3 对点；当前策略保留了 7 对内点，内点平均残差为 0.00 px。

当前匹配“左上外角”的残差为 0.00 px，它支持当前矩阵。

概念说明

图像配准要对齐什么

图像配准平移估计示例 — 图像配准估计坐标偏移或几何变换，让同一结构重合。图源：scikit-image registration 示例

任务

当同一目标在不同时间、视角或传感器拍成两幅图时，直接叠加会出现重影或错位。图像配准的任务是估计一个整体变换，把待配准图映射到参考图坐标系，使同一结构尽量重合。

思路

常用办法是先找两幅图中的同名<TeachingTerm term="控制点" explanation="控制点是两幅图中对应同一空间位置的标记点，用于约束几何变换的参数。" />，再用这些点估计变换参数；也可以比较整图相似度，或者用<TeachingTerm term="相位相关" explanation="相位相关利用图像频谱的相位信息估计两幅图之间的平移量，对亮度变化较稳健。" />搜索平移偏移。变换常用<TeachingTerm term="仿射变换" explanation="仿射变换保持平行关系和直线性，适合视角变化较小、目标近似平面的场景。" />或<TeachingTerm term="透视变换" explanation="透视变换允许近大远小的投影形变，适合同一平面因视角改变产生明显收缩的场景。" />，估计完成后把待配准图逐像素重采样到参考坐标系。

观察

切换几何模型或增加误匹配数量，观察参考点、观测点与模型预测点之间的误差向量；点击不同匹配对，查看叠加图重影和<TeachingTerm term="残差" explanation="残差是观测点与模型预测点之间的距离，越小表示当前匹配越支持估计出的变换。" />是否同步变化。

图像配准不是增强图像，而是建立两幅图的同一坐标系

图像配准的基本流程是：先找对应关键点，再估计仿射矩阵或透视矩阵，最后把整幅待配准图重新映射到参考图坐标系。这样才能服务于零件检测、图像拼接和变化检测。

仿射模型 / 6 个自由度

参考图

参考图提供稳定的特征坐标。

固定坐标系

红色编号点表示参考图中的稳定特征。

当前匹配

左上外角

参考点: (19.00, 19.00)
观测点: (24.10, 16.43)
预测点: (24.10, 16.43)
残差: 0.00 px

该匹配支持当前矩阵估计。

待配准图

观测点与预测圈用于判断几何一致性。

先做几何一致性筛选

深色编号点表示观测匹配位置，绿色空心圈表示当前矩阵预测位置。

配准后叠加结果

重影越明显，说明估计矩阵越偏。

残差 0.00 px

矩阵估计与结果判读

当前模型：仿射模型；估计策略：先做几何一致性筛选。

强度误差 0.019

[\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}] = A_{est} \cdot [\begin{matrix} x \\ y \\ 1 \end{matrix}] = [\begin{matrix} 0.952 & -0.168 & 9.200 \\ 0.132 & 1.038 & -5.800 \\ 0.000 & 0.000 & 1.000 \end{matrix}] \cdot [\begin{matrix} 19.00 \\ 19.00 \\ 1 \end{matrix}] = [\begin{matrix} 24.10 \\ 16.43 \\ 1 \end{matrix}]

2×3 仿射矩阵可描述旋转、缩放、平移与剪切。当前策略为“先做几何一致性筛选”。

切换模型或增加误匹配数量时，重点观察矩阵残差和叠加重影是否同步变化；这比单独看某一对匹配更能反映配准质量。

1. 建立图像对应关系

关键点匹配先比较描述子距离，再判断几何关系是否一致。当前匹配点对应 $D = \sqrt{Σ_{k}^{n} {(X_{ik} - X_{jk})}^{2}}$ 的一个候选最近邻。

参考点左上外角：(19.00, 19.00)

待配准图观测点：(24.10, 16.43)

描述子距离：0.2

2. 用对应点估计变换矩阵

当前选择的是仿射模型，至少需要 3 对点。如果误匹配混入估计，矩阵中每个参数都会被错误拉动。选择稳健策略时，会先用找到几何上一致的内点集合。

[\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}] = A_{est} \cdot [\begin{matrix} x \\ y \\ 1 \end{matrix}] = [\begin{matrix} 0.952 & -0.168 & 9.200 \\ 0.132 & 1.038 & -5.800 \\ 0.000 & 0.000 & 1.000 \end{matrix}] \cdot [\begin{matrix} 19.00 \\ 19.00 \\ 1 \end{matrix}] = [\begin{matrix} 24.10 \\ 16.43 \\ 1 \end{matrix}]

2×3 仿射矩阵可描述旋转、缩放、平移与剪切。当前策略为“先做几何一致性筛选”。

3. 把整幅图重采样到参考坐标系

配准完成后，不是只对关键点变换，而是把待配准图中全部像素都映射到参考图坐标系： $I_{ref} (x^{'}, y^{'}) = I_{src} (M (x^{'}, y^{'}))$ 。其中 M 为当前估计的变换矩阵，(x, y) 是对应源像素坐标。

当前内点平均残差：0.00 px

叠加强度误差：0.019

当前点：0.00 px

当前匹配对的三点关系

左图参考点：(19.00, 19.00)

右图观测点：(24.10, 16.43)

模型预测点：(24.10, 16.43)

从特征匹配到图像对齐

第四章强调“提取关键点、构造描述子、建立匹配关系”；第三章强调“选对几何模型并对整幅图做坐标变换”。图像配准正是这两部分内容的连接点。

特征距离

{Dis}_{ij} = \sqrt{Σ_{k}^{n} {(X_{ik} - X_{jk})}^{2}}

描述子之间的欧氏距离是常见相似性度量。距离小，只说明“像”，不保证几何上一定正确。

仿射坐标变换

[\begin{matrix} x^{'} \\ y^{'} \\ 1 \end{matrix}] = A_{est} \cdot [\begin{matrix} x \\ y \\ 1 \end{matrix}] = [\begin{matrix} 0.952 & -0.168 & 9.200 \\ 0.132 & 1.038 & -5.800 \\ 0.000 & 0.000 & 1.000 \end{matrix}] \cdot [\begin{matrix} 19.00 \\ 19.00 \\ 1 \end{matrix}] = [\begin{matrix} 24.10 \\ 16.43 \\ 1 \end{matrix}]

仿射变换保持直线性与平行性，适合视角变化较小的配准任务。

当前矩阵与真实矩阵对比

“真实矩阵”来自示例图生成时使用的变换；“估计矩阵”来自当前匹配点集合。误匹配越多，两者偏差通常越明显。

生成待配准图时使用的真实矩阵

A_{true} = [\begin{matrix} a_{11} & a_{12} & t_{x} \\ a_{21} & a_{22} & t_{y} \\ 0 & 0 & 1 \end{matrix}] = [\begin{matrix} 0.952 & -0.168 & 9.200 \\ 0.132 & 1.038 & -5.800 \\ 0.000 & 0.000 & 1.000 \end{matrix}]

它对应示例数据中的真实几何关系，实际任务中通常未知。

当前估计矩阵（先做几何一致性筛选）

A_{est} = [\begin{matrix} a_{11} & a_{12} & t_{x} \\ a_{21} & a_{22} & t_{y} \\ 0 & 0 & 1 \end{matrix}] = [\begin{matrix} 0.952 & -0.168 & 9.200 \\ 0.132 & 1.038 & -5.800 \\ 0.000 & 0.000 & 1.000 \end{matrix}]

模型至少需要 3 对点；当前有 7 对内点参与稳定估计。

误匹配为什么会破坏配准

当前观测点：(24.10, 16.43)

当前矩阵预测点：(24.10, 16.43)

残差定义为

e = \sqrt{{(x^{'} - {\hat{x}}^{'})}^{2} + {(y^{'} - {\hat{y}}^{'})}^{2}}

，当前值为 0.00 px。

当前误差向量：(0.00, 0.00) px

该匹配与当前矩阵保持几何一致，是稳定估计变换的有效支撑点。

“全部匹配”与“筛除误匹配”的差异

直接估计：全部匹配平均残差 8.74 px，其中满足阈值的有 2 对；叠加强度误差 0.196。

稳健筛选：内点平均残差 0.00 px，叠加强度误差 0.019。

当前页面为合成示例，内点无噪声、外点偏离极大，因此稳健策略通常能完全恢复真实矩阵；真实场景中 RANSAC 受噪声和采样次数影响，不一定完美。当误匹配数量增加时，重点观察“矩阵偏差”和“叠加后重影”是否同步恶化。稳健估计的最后一步通常会对内点做一次拟合，进一步减小整体误差。

仿射与透视模型如何选择

仿射模型

适合拍摄视角变化较小、目标近似位于同一平面且透视效应不强的场景。它保留平行性，因此参数更少、估计更稳定。

透视模型

当同一平面因为视角改变而产生明显透视收缩时，应改用透视模型。它能拟合更多形变，但也更依赖准确的对应点。

阈值分割与自动阈值