近日,永利官网计算机与信息学院、农林大数据研究中心、智慧农林福建省高校重点实验室在人工智能领域权威期刊IEEE Transactions on Circuits and Systems for Video Technology,IEEE TCSVT(IEEE视频技术电路与系统汇刊)上发表题为“CGR-Net: Consistency Guided ResFormer for Two-View Correspondence Learning”(CGR-Net:用于双视图对应性学习的一致性引导ResFormer网络)”的研究论文。
论文封面
双视图像中的对应关系识别是计算机视觉关键,直接影响视觉定位、SLAM等任务。然而,初始对应常含大量错误,精确匹配极具挑战。现有研究多利用图神经网络或全局图构建邻域关系,但GCN易因特征传播而平滑,影响节点唯一性,导致模型陷入局部最优。传统PointCN网络处理顺序单一,未充分增强特征表示。相比之下,TransFormer能生成丰富特征映射,但其注意机制带来高额计算与内存成本,尤其是处理大量对应时。因此,寻找既能有效剔除错误对应,又能保持特征独特性和高效计算的新方法,是当前研究的迫切需求。
CGR-Net的架构
模块结构示意图
为了解决上述问题并重新聚焦于鲜明特征,本文设计了一个CGR-Net,它使用一致对应来引导模型视角聚焦,从而避免了异常值的负面影响,如图1所示。首先,设计了一个有效的图分数计算模块来增强重要特征的表示并全面地捕获上下文关系,以计算全局图分数。具体地说,我们构造局部领域图来捕获对应之间的拓扑信息。然后,引入了一个简单而有效的ResFormer块,以进一步增强的重要特征的表示,如图2所示。这种方法缓解了在使用图卷积操作聚合全局图分数过程中发生的平滑性问题。其次,提出了一个一致性引导对应选择(CGCS)模块,使模型能够重新聚焦于全局视角,而不是仅仅依赖来自相邻节点的信息聚合,有效地减少过平滑,实现更好的全局优化,如图3所示。提出的CGR-Net能够有效地识别内点、剔除离群点,并在多个公共数据集上实现了最先进的性能。
遥感图像配准的部分可视化结果
计算机与信息学院、农林大数据研究中心、智慧农林福建省高校重点实验室杨长才副教授和硕士李晓洁为论文共同第一作者,杨长才副教授为论文通讯作者。陈日清教授指导研究工作。魏丽芳教授和武汉大学马佳义教授等也为本研究成果作出重要贡献。该研究得到了国家自然科学基金项目、福建高校产学研联合创新项目、福建省自然科学基金面上项目等资助。
论文链接:https://ieeexplore.ieee.org/document/10623710
论文代码:https://github.com/XiaojieLi11/CGR-Net