【论文阅读】图像配准之RIFT算法

‍。

qq_41095633

2421人浏览 · 2025-02-13 15:58:26

qq_41095633 · 2025-02-13 15:58:26 发布

RIFT: Multi-modal Image Matching Based on Radiation-invariant Feature Transform （2020）

摘要

传统的特征匹配方法如尺度不变特征变换（SIFT）通常利用图像强度或梯度信息来检测和描述特征点；然而，强度和梯度都对非线性辐射畸变（NRD）敏感。为了解决这个问题，本文提出了一种对大 NRD 具有鲁棒性的新型特征匹配算法。所提出的方法称为辐射不变特征变换（RIFT）。 RIFT有三个主要贡献：首先，RIFT使用相位一致性（PC）而不是图像强度来进行特征点检测。 RIFT同时考虑特征点的数量和重复性，同时检测PC图上的角点和边缘点。其次，RIFT最初提出了最大索引图（MIM）用于特征描述。 MIM 由 log-Gabor 卷积序列构造而成，对 NRD 比传统梯度图鲁棒性更强。因此，RIFT不仅大大提高了特征检测的稳定性，而且克服了梯度信息对于特征描述的限制。第三，RIFT分析了旋转对MIM值的内在影响，实现了旋转不变性。我们使用六种不同类型的多模型图像数据集来评估 RIFT，包括光学-光学、红外-光学、合成孔径雷达 (SAR)-光学、深度-光学、地图-光学和昼夜数据集。实验结果表明，RIFT 比 SIFT 和 SAR-SIFT 优越得多。据我们所知，RIFT 是第一个能够在上述所有类型的多模型图像上取得良好性能的特征匹配算法。

‍

算法流程

A. 特征检测

（1）Log-Gabor Filter（LG滤波器，LGF）构建

LGF能够有效地提取图像中的结构性特征，尤其是在纹理、边缘、角点等地方。一般可以通过log-Gabor滤波器(LGF)垂直方向的高斯扩展得到。2D-LGF的函数表示：

$L(\rho,\theta,s,o)=exp(\frac{-(\rho-\rho_s)^2}{2\sigma_{\rho}^2})exp(\frac{-(\theta-\theta_{so})^2}{2\sigma_{\theta}^2})$

s，o分别表示尺度和方向，源码为4尺度，6方向。

使用傅里叶逆变换转化到空间域：

$L(x,y,s,o)=L^{even}(x,y,s,o)+iL^{odd}(x,y,s,o)$

实部 $L^{even}$ 和虚部 $L^{odd}$ 分别代表偶数对称和奇数对称的log-Gabor小波

（2）相位一致性

时域上的卷积等于频域上的乘法，因此图像分别与不同尺度下的log-Gabor小波卷积得到对应的响应分量：

$E_{so}(x,y),O_{so}(x,y)]=[I(x,y)*L^{even}(x,y,x,o),I(x,y)*L^{odd}(x,y,x,o)]$

转化为幅度和相位表示：

$A_{so}=\sqrt{E_{so}(x,y)^2+O_{so}(x,y)^2} \\ \phi_{so}(x,y)=arctan(O_{so}(x,y)/E_{so}(x,y))$

综合不同尺度和方向的滤波结果：

$PC(x,y)=\frac{\sum_s\sum_oW_o(x,y)\lfloor{A_{so}(x,y)\Delta\phi_{so}(x,y)-T}\rfloor}{\sum_s\sum_oA_{so}(x,y)+\xi}$

$W_o(x,y)$ 是权重函数； $\xi$ 是微小值； $\Delta\phi_{so}(x,y)$ 是相位偏差函数；T是噪声补偿。

（3）角与边缘特征

为了获得 PC 测量和方向变化之间的关系，只计算每个方向 o独立的 PC 映射 $PC(\theta_o)$ 。然后计算这些 PC 图的矩并分析矩随方向的变化。

最小矩对应的轴称为主轴，主轴通常表示特征的方向信息；最大力矩对应的轴垂直于主轴，最大力矩的大小通常反映了特征的独特性。

$\begin{aligned} &a=\sum_o(PC(\theta_o)cos(\theta_0))^2\\ &b=2\sum_o(PC(\theta_o)cos(\theta_o))(PC(\theta_o)sin(\theta_o))\\ &c=\sum_o(PC(\theta_o)sin(\theta_o))^2 \end{aligned}$

然后，主轴 ψ、最大力矩 Mψ 和最小力矩 mψ 由下式给出:

$\begin{aligned} &\Psi =\frac{1}{2}arctan(\frac{b}{a-c})\\ &M_{\Psi}=\frac{1}{2}(c+a+\sqrt{b^2+(a-c)^2})\\ &m_{\Psi}=\frac{1}{2}(c+a-\sqrt{b^2+(a-c)^2}) \end{aligned}$

最小力矩 mψ 相当于角点检测器中的角点度量。也就是说，如果某个点的 mψ 值很大，则该点很可能是角点特征；最大矩Mψ是图像的边缘图，可用于边缘特征检测。具体来说，我们首先计算 PC 映射的 mψ 和 Mψ。对于最小矩图mψ，进行局部极大值检测和非极大值抑制，其余点被接受为角点特征。由于边缘结构信息具有更好的抗辐射畸变能力，因此我们还使用最大矩图Mψ来检测边缘特征点，即对Mψ进行FAST特征检测（注意，这里也可以使用其他特征检测器。使用FAST仅考虑它的时间效率）。

B. 特征描述

构造MIM图：

$A_o(x,y)=\sum_{n=1}^{N_s}A_{so}(x,y)$

MIM中的像素是不同方向幅度图中最大值的方向索引 $w_{max}$ 。

对于每个特征点，选择以特征为中心的具有 J × J 像素的局部图像块，并使用标准差等于 J/2 的高斯函数为每个像素分配权重。将局部块划分为 6x6 的子网格，并为每个子网格构建一个包含 No 个 bin 的分布直方图，因为 MIM 的值范围从 1 到 No 。通过连接所有直方图获得特征向量。因此，特征向量的维度为6×6×No 。为了获得光照变化的不变性，我们最终对特征向量进行归一化。