一种帮助医生标注医学扫描图像的快速灵活的方法

星标“医工学人”，第一时间获取医工交叉领域新闻动态~

对于外行人来说，MRI 或 X 光片等医学图像看起来就像一堆模糊的黑白斑点。要分辨出一个结构（如肿瘤）的结束和另一个结构的开始可能很困难。经过训练，AI 系统可以理解生物结构的边界，从而可以分割（或勾画）医生和生物医学工作者想要监测的疾病和其他异常区域。人工智能助手可以替他们做这件事，而不必浪费宝贵的时间在许多图像上手动追踪解剖结构。

问题是什么？

研究人员和临床医生必须标记无数图像来训练他们的 AI 系统，然后它才能准确地分割。例如，你需要在无数次 MRI 扫描中注释大脑皮层，以训练监督模型来了解皮层形状在不同大脑中的变化。

为了避免这种繁琐的数据收集工作，麻省理工学院计算机科学与人工智能实验室 (CSAIL)、麻省总医院 (MGH) 和哈佛医学院的研究人员开发了交互式“ ScribblePrompt ”框架。这是一种灵活的工具，可以帮助快速分割任何医学图像，甚至是它以前从未见过的类型。

该团队没有让人类手动标记每张图片，而是模拟用户如何注释超过 50,000 次扫描，包括 MRI、超声波和照片，涉及眼睛、细胞、大脑、骨骼、皮肤等结构。为了标记所有这些扫描，该团队使用算法模拟人类如何在医学图像的不同区域上涂鸦和点击。除了常见的标记区域外，该团队还使用超像素算法（可找到具有相似值的图像部分）来识别医学研究人员可能感兴趣的新区域并训练 ScribblePrompt 对其进行分割。这些合成数据使 ScribblePrompt 能够处理来自用户的真实分割请求。“人工智能在分析图像和其他高维数据方面具有巨大潜力，可以帮助人类更高效地工作，”麻省理工学院博士生 Hallee Wong SM ’22 表示，他是一篇关于 ScribblePrompt 的新论文的主要作者，也是 CSAIL 的附属机构。“我们希望通过一个交互式系统来增强而不是取代医务工作者的努力。ScribblePrompt 是一个简单而高效的模型，可以帮助医生专注于分析中更有趣的部分。它比同类的交互式分割方法更快、更准确，与 Meta 的 Segment Anything Model (SAM) 框架相比，注释时间减少了 28%。”

ScribblePrompt 的界面很简单：用户可以在他们想要分割的粗略区域上涂鸦，或者点击它，然后该工具会根据要求突出显示整个结构或背景。例如，您可以点击视网膜（眼睛）扫描中的单个静脉。ScribblePrompt 还可以根据边界框标记结构。然后，该工具可以根据用户的反馈进行更正。如果您想在超声波中突出显示肾脏，您可以使用边界框，然后如果 ScribblePrompt 遗漏了任何边缘，则可以在结构的其他部分上涂鸦。如果您想编辑您的片段，您可以使用“负涂鸦”来排除某些区域。

这些自我纠正和交互功能使 ScribblePrompt 在用户研究中成为 MGH 神经影像研究人员的首选工具。与 SAM 基线相比，93.8% 的用户更喜欢 MIT 方法，因为它可以改善对涂鸦纠正的响应片段。至于基于点击的编辑，87.5% 的医学研究人员更喜欢 ScribblePrompt。ScribblePrompt 在65 个数据集的 54,000 幅图像上进行了模拟涂鸦和点击训练，这些图像包括眼部、胸部、脊柱、细胞、皮肤、腹部肌肉、颈部、大脑、骨骼、牙齿和病变的扫描。该模型熟悉 16 种类型的医学图像，包括显微镜、CT 扫描、X 光片、MRI、超声波和照片。“许多现有方法在用户在图像上涂鸦时反应不佳，因为很难在训练中模拟这种交互。对于 ScribblePrompt，我们能够使用合成分割任务强制我们的模型关注不同的输入，”Wong 说。“我们希望在大量不同的数据上训练一个本质上是基础的模型，以便它能够推广到新类型的图像和任务。”在收集了如此多的数据后，该团队在 12 个新数据集上评估了 ScribblePrompt。虽然它之前没有见过这些图像，但它的表现优于现有的四种方法，因为它分割效率更高，并且对用户想要突出显示的确切区域给出了更准确的预测。

“分割是最常见的生物医学图像分析任务，在常规临床实践和研究中都广泛使用 — — 这使得它变得非常多样化，并且是一个至关重要且影响深远的步骤，”资深作者 Adrian Dalca SM ’12、PhD ’16、CSAIL 研究科学家兼 MGH 和哈佛医学院助理教授说。“ScribblePrompt 经过精心设计，对临床医生和研究人员实用，因此可以大大加快这一步骤。”“在图像分析和机器学习中开发的大多数分割算法至少在一定程度上基于我们手动注释图像的能力，”哈佛医学院放射学教授兼 MGH 神经科学家 Bruce Fischl 说（他没有参与该论文）。“在医学成像中，问题变得更加严重，因为我们的‘图像’通常是 3D 体积，因为人类没有进化或现象学理由来具备注释 3D 图像的能力。ScribblePrompt 通过精确训练网络来训练人类在手动注释图像时通常会进行的交互类型，使手动注释能够更快、更准确地进行。其结果是直观的界面允许注释者自然地与图像数据交互，并且效率远高于以前。”Wong 和 Dalca 与另外两个 CSAIL 附属机构共同撰写了这篇论文：麻省理工学院电子工程与计算机科学系 Dugald C. Jackson 教授兼 CSAIL 首席研究员 John Guttag 和麻省理工学院博士生 Marianne Rakic SM ‘22。他们的工作得到了广达电脑公司、布罗德研究所 Eric and Wendy Schmidt 中心、纬创公司和美国国立卫生研究院国家生物医学成像和生物工程研究所的部分支持，并得到了麻省生命科学中心的硬件支持。

黄和她的同事们的工作成果将在 2024 年欧洲计算机视觉大会上展示，并在今年早些时候的计算机视觉和模式识别大会 DCAMI 研讨会上以口头报告的形式进行了展示。他们因 ScribblePrompt 的潜在临床影响而在研讨会上获得了 Bench-to-Bedside 论文奖。

▼扫码阅读英文原文