MICCAI 2023 3D图像分割挑战赛 直播回放&问答文字版

近期举行的2023年国际医学图像计算与计算机辅助介入会议(MICCAI)上,上海人工智能实验室通用视觉中心(OpenGVLab)的医疗研究团队(参赛队伍名Blackbean)在3D图像分割赛道中取得了2项冠军、3项亚军、4项季军的成绩(MICCI 2023我团队共计获得3项冠军,十余项奖项 点击了解)。

近日,我们直播分享了比赛获胜的关键方法,包括预训练模型的作用、训练细节、模型加速等。观众的热情呼吁下,我们把直播内容要点,问答环节文字版汇总于此,希望对大家有帮助!

02

请问ct和mri联合训练的意思是类似nnunet设置不同类型同时训练吗?

不同模态数据怎么融合?

请问Ct只有单通道,mri有双通道输入,怎么在模型输入端的网络结构呢?

不同模态联合训练有两种方式:一种数据是对齐的(BraTS系列、autoPET),这类数据可以通过在输入端将不同模态的数据拼接(Concat)起来作为输入,即如果有4个模态,数据大小为HxWxD,则输入为4xHxWxD;另一种是提供了不同模态的数据但不对齐(AMOS 2022),这类数据可以直接将CT和MRI数据混合起来训练,即加入CT数据有100例,MRI数据有50例,数据集则有150例数据,输入为1xHxWxD。我们在AMOS 2022中验证了这种方式可以比单独用CT或MRI训练的效果都好。


03

请问如何评定伪标签的质量

在比赛中,只能使用算法自动评估伪标签的质量。这可以通过以下方式实现:首先是一致性检查,即不同模型对同一无标签数据的预测一致性;其次是置信度评估,即根据模型输出的置信度(如softmax概率)来判断伪标签的可信度。此外,伪标签训练的模型在独立测试集上的表现也是伪标签质量的一个重要指标。

04

请问滑窗推理的部分可以详细说一下吗?

我们利用了腹部器官在人体中位置的先验知识,将滑动窗优先沿着人体垂直轴正中心进行滑动,若滑动窗完成推理后检测到腹部器官,再对该滑动窗所在水平面周围进行推理,从而避免在大量背景区域浪费时间。

05

请问一下为什么自然图像里优化器用的大多是adam,但是nnUnet用的是SGD?

nnUNet 会非常考虑模型最后的精度和泛化性。根据之前的论文和我们自己的实验,Adam 会收敛的比较快,但是最终的精度和泛化性是不如 SGD 的。在医学图像分割中,精度比收敛速度更为重要。

06

请问如何搭建医学大模型?

我们都知道,现在已经不是拼模型结构的时代了,而是Data-driven的。因此现在技术不是太大的问题,最重要的是准备好数据。首先根据需求收集大量的数据,再根据你的任务需求参考通用图像或者NLP中的相关技术训练模型。

07

请问怎么获得这些比赛的报名信息呢?

(1)可以关注每年ISBI、MICCAI官网中的Challenge和Workshop,每年投稿结束之后各个Challenge就会陆续开始;

(2)关注Grand Challenge、Synapse、CodaLab、Kaggle、TianChi等平台,这些平台中有大量的比赛。

08

请问基于NNuNET是因为近年的新模型效果不够好吗 花里胡哨但是效果不行

根据我们大量的实验,模型结构并不是影响模型性能的关键,而数据本身、数据预处理、训练策略和推理策略等方面才是最重要的。

09

推理时候patch size如果和训练的patch size不同,是需要推理前把大patch重采样吗?

如果是采用基于卷积的U-Net,在推理时不需要进行任何操作。增大patch size仅仅影响推理速度。

10

目前挑战赛大部分还是全监督吧?以后的趋势会不会往半监督走?

根据近几年医学图像分割Challenge的规则的变化来看的话是的。前几年大多数比赛会明令禁止使用外部公开数据或预训练模型,而这两年大多数Challenge的规则都会明确指出非常欢迎大家使用外部公开数据或预训练模型(除了私有数据不行)。

11

从中间推理的目的是因为中间层器官的比重较大吗?

每个 xy 平面优先从中间推理,是因为如果腹部器官在图像中分布的解剖学先验知识,图像中间如果有腹部器官,周围不一定有,而如果中间没有腹部器官的话,旁边是一定没有的,是一个必要条件。因此利用这一点,我们在检测到中间没有腹部器官时,可以跳过周围的区域的推理,从而达到加速的目的。

12

在参加BraTS比赛时也用到了伪标训练吗

没有。

13

标注的这些人体组织差异大吗?比如说标注的肝脏,训练集里如果有100个人的数据,这些差异如果比较大的话训练结果怎么样?

训练集数据的差异性越大,如包含不同性别、年龄、健康状况(健康或有肿瘤)的病人,以及多种成像模态(如CT和MR,包括CT平扫和增强,MR的不同序列)和不同成像设备、厂家,模型的泛化能力通常会更强。这种多样性有助于模型更好地适应实际应用中的变化。我们之前有一个工作 A-Eval 可以参考一下。

14

能讲讲医学图像的feature fusion怎么做吗?

没有太Get到这个问题的点。我理解可能是使用多个模型训练之后如何对他们的结果进行融合,如果是这样的话,可以参考nnUNet,通常会对不同模型softmax之后的概率进行加权平均。

15

能麻烦问一下刚才您提到的牙齿相关的比赛是什么名字吗?

在比赛中,只能使用算法自动评估伪标签的质量。这可以通过以下方式实现:首先是一致性检查,即不同模型对同一无标签数据的预测一致性;其次是置信度评估,即根据模型输出的置信度(如softmax概率)来判断伪标签的可信度。此外,伪标签训练的模型在独立测试集上的表现也是伪标签质量的一个重要指标ToothFairy 2023,是今年的MICCAI Challenge,使用CBCT来分割下牙槽神经的比赛。

关注医工学人公众号,了解医工交叉领域更多科研动态

本篇文章来源于微信公众号: 医工学人

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注