本文引入交叉注意力机制对单一模态内部的各个重要对象进行差异化处理，从而促使模型在局部匹配过程中能够正确表达关键特征的语义信息。最后，为了避免模型对不同样本对之间相同语义的表达产生分歧，进而出现假阴性的情况。本文基于图卷积网络设计了内部与外部学习核函数，分别实现同一样本对的高维度融合以及不同样本对之间的高维空间聚类分析，使得模型更加贴近人类对于现实世界的理解方式。

模型的整体架构：

视觉编码器输出特征的可视化：