J MED BIOL ENG|利用正电子发射型计算机断层显像和核磁共振成像多模态输入融合进行基于可解释深度学习的阿尔茨海默症诊断

阿尔茨海默症(AD)是一种渐进性、无法治愈的人类脑部疾病，会损害推理和记忆力。在阿兹海默症出现临床表现之前的早期阶段进行检测，对于及时治疗至关重要。磁共振成像(MRI)通过测量颞中叶皮层和大脑其他区域脑容量的减少，以及正电子发射断层扫描(PET)测量颞顶叶关联皮层葡萄糖浓度的减少，为了解大脑异常提供了宝贵的信息。如果将这些数据结合起来，就能提高阿尔茨海默病诊断方法的性能。然而，这些数据是异构的，为此，Modupe Odusami (立陶宛考纳斯理工大学), Rytis Maskeliūnas (立陶宛考纳斯理工大学), Robertas Damaševičius (波兰西里西亚技术大学) & Sanjay Misra(挪威能源技术研究所)提出了一种新颖的启发式早期特征融合框架，该框架可对 PET 和 MRI 图像进行合并，同时在两个数据集上同时训练修改后的 Resnet18 深度学习架构。创新的三通道方法用于学习融合 PET 和 MRI 图像中最具描述性的特征，从而对 AD 进行有效的二元分类。

实验结果表明，所提出的模型在 ADNI 数据库中的分类准确率达到了73.90%。作者同时提供了一个可解释的人工智能（XAI）模型，使这些结果能够被解释。即使存在异质性数据，提出的模型也能学习多模态数据的潜在表征；因此，提出的模型解决了部分MRI 和 PET 数据的异质性问题。

研究以开放获取的形式发表在Journal of Medical and Biological Engineering上。