HIT Webinar 特邀报告 | [谷元杰 复旦] 面向医学影像的多模态多任务协同学习

面向医学影像的多模态多任务协同学习

北京时间2023年12月29日晚上20：00

#腾讯会议：389-300-321

多模态三维核磁共振分割和融合是在手术治疗计划、图像引导干预、肿瘤生长预测、放疗图生成等领域具有重要价值的两项技术。近年来，深度学习在这两项任务上取得了显著的进展，但也存在一些不可避免的瓶颈。一方面，最新的分割领域的研究，尤其是基于Unet风格的系列网络，已经接近了分割任务的性能极限。另一方面，对于多模态融合任务，由于不同成像方式的物理原理差异，很难获得真实的标签。因此，现有的多模态医学图像融合研究，通常只能融合两种固定比例的模态，这是主观的和任务特异的。为了克服上述问题，我们提出了一个集成多模态分割和融合的框架即SegCoFusion，它由一个新颖的特征频率分解网络（FDNet）、特征整合模块和分割网络组成。FDNet能够将不同模态的特征分解为高频和低频成分，从而更好的保留高频特征信息，实现细粒度融合。特征整合模块则采用了双路径特征补充策略，优化了分割输入，并将其与融合输出进行缝合。此外，我们还重点研究了胶质瘤的三维多模态融合和分割任务，定性和定量的结果表明，SegCoFusion能够突破分割和融合方法的局限性，实现了三维多模态融合和分割任务的双赢。END