CVPR 2020 | SCOT: 基于最优传输理论的图像语义匹配图像语义匹配是对包含相同物体的两张图片的关键点进行匹配的任务。传统的关键点匹配方法如SIFT、SURF、FAST等手工特征具有很好的鲁棒性和通用性，但对于外观特征变化较大的物体效果较差。而深度特征则可以提供语义层面的信息用于匹配，近年来在图像分类、分割、物体检测等领域取得了很大进展，但在关键点匹配领域才逐渐引起关注。为了解决当前方法存在的多对一匹配和前景背景匹配问题，本文提出了基于深度特征和最优传输理论的语义匹配算法——SCOT（Semantic Correspondence as an Optimal Transport Problem）。一、背景知识根据最优传输理论，我们有两组点X和Y，它们对应的分布是μs和μt，表示X和Y里面元素的重要程度。针对匹配问题，首先要计算一个损失矩阵（Cost Matrix），代表的是从xi到yj匹配需要的代价Mij = dist(xi, yj)。最优传输问题定义如下：寻找一个传输矩阵T，使得整体匹配损失最小，同时满足T的每一行和每一列的和分别等于μs和μt。二、算法流程特征图提取从源图fs和目标图ft中提取深度特征，并计算关联图C，表示源图和目标图特征点之间的相似度。从语义匹配到最优传输问题将语义匹配问题转化为最优传输问题，即寻找一个全局最优的匹配矩阵T*，使得总体关联最大化（或等价地，使得总体不匹配损失最小化）。优化问题可以表示为：T* = argminT∈R+hsws×htwt∑ijTij(1-Cij)其中，Tij表示从源图第i个点到目标图第j个点的传输量，Cij表示两点之间的相似度。约束条件为了解决多对一匹配问题，加入约束条件使得T的每一行和每一列的和分别等于固定的数值（即μs和μt）。这些数值通过对CAM（Class Activation Map）进行阈值化和归一化处理得到，使得前景点的权重大于背景点，从而解决前景关键点匹配到背景的问题。三、实验结果论文在四个数据集上进行实验：Spair-71k（大规模），TSS、PF-PASCAL和PF-WILLOW（标准benchmark）。实验结果表明，SCOT算法在多对一匹配和前景背景匹配问题上取得了显著的效果提升。四、总结本文将图像语义匹配问题转换成最优传输问题，通过引入深度特征和CAM约束条件，解决了多对一匹配以及背景匹配的问题。实验结果验证了算法的有效性和优越性。五、参考文献与代码链接论文：Semantic Correspondence as an Optimal Transport Problem代码链接：csyanbin/SCOT（假设为示例链接，实际链接可能有所不同）通过本文的介绍，我们了解了SCOT算法的基本原理、算法流程和实验结果。该算法为图像语义匹配问题提供了新的解决思路和方法，具有重要的理论和实践意义。