李夫辰1 高珊珊1,2,3* 刘峥1 张彩明4,5 周元峰4
1.山东财经大学计算机科学与技术学院,济南250014
2.山东省数字经济轻量智算与可视化重点实验室,济南250014
3.山东省中美数字媒体国际合作研究中心,济南250014
4.山东大学软件学院,济南250101
5.山东省未来智能计算协同创新中心,烟台264025
本文设计基于Swin Transformer(Swin-T)和CNN的全局—局部特征信息重建模块,利用Swin Trans⁃former的自注意力机制和移位窗口机制自适应地关注图像不同区域,建立图像的全局特征联系,深入挖掘图像的整体性特征信息,并通过跨窗口的交互灵活处理不同位置特征的相互依赖关系。同时结合CNN提取的区域性特征信息以有效建立图像的全局和局部间特征联系,从而提高重建图像质量。
本文方法与其他8种方法在MRI和SPECT图像上的比较:
本文方法与其他8种方法在MRI和PET图像上的比较:
本文方法与其他8种方法在PC和GFP图像上的比较:
MRI和SPECT医学图像融合任务数据集上不同模块组合的可视化结果: