渐进特征提取和频域信息补充的多模态医学图像融合

      中国图象图形学报(A版)

      渐进特征提取和频域信息补充的多模态医学图像融合

      李夫辰1 高珊珊1,2,3* 刘峥张彩明4,5 周元峰4

      1.山东财经大学计算机科学与技术学院,济南250014

      2.山东省数字经济轻量智算与可视化重点实验室,济南250014

      3.山东省中美数字媒体国际合作研究中心,济南250014
      4.山东大学软件学院,济南250101

      5.山东省未来智能计算协同创新中心,烟台264025

      论文简介

      本文设计基于Swin Transformer(Swin-T)和CNN的全局—局部特征信息重建模块,利用Swin Trans⁃former的自注意力机制和移位窗口机制自适应地关注图像不同区域,建立图像的全局特征联系,深入挖掘图像的整体性特征信息,并通过跨窗口的交互灵活处理不同位置特征的相互依赖关系。同时结合CNN提取的区域性特征信息以有效建立图像的全局和局部间特征联系,从而提高重建图像质量。

      渐进特征提取和频域信息补充网络框架图:

      本文方法与其他8种方法在MRI和SPECT图像上的比较:

      本文方法与其他8种方法在MRI和PET图像上的比较:

      本文方法与其他8种方法在PC和GFP图像上的比较:

      MRI和SPECT医学图像融合任务数据集上不同模块组合的可视化结果: