首个开源多模态医疗基础模型RadFM，支持2D/3D放射影像输入

研究背景

GPT4等一系列大型基础模型的迅猛发展突破了人工智能技术的边界，为众多垂直领域带来了新的发展机遇和挑战。在医学领域，构建强大而全面的基础模型，可以为临床医疗任务提供更为智能、高效的解决方案，为医护人员和患者创造更为优质的医疗体验，开启医学领域技术创新的新篇章。然而，当前医学领域的基础模型的构建往往面临着三个方面的挑战：

• 缺乏用于训练的多模态数据集：由于医学本身的特殊性，医疗任务通常需要处理多模态数据，包括文本信息（电子健康记录，医学报告），1D信号（心电图），2D影像（超声，X射线），3D影像（CT或MRI扫描），基因组学等。为了支持医学通用基础模型的训练，大规模多模态数据集的构建十分迫切。

• 缺乏通用的架构设计：在临床医疗诊断中，常常需要综合考虑多个检查结果来做出全面判断，然而，以往的医疗影像分析工作通常只专注于单一模态和单一任务，需要为每个任务设计不同的架构，难以适应临床综合诊断的需求。医学领域的基础模型需要一个通用的架构，能够有效融合不同模态的信息，从而应对广泛的临床任务。

• 缺乏有效的基准来评估模型：对模型的临床知识进行基准测试主要依赖于多种任务的数据集，而这些数据集的测试案例数量有限。目前医疗领域尚未建立一个大规模、复杂的基准，可以用于全面衡量医学基础模型在中医疗任务上的性能。

考虑到上述挑战，研究团队聚焦于构建放射学领域的医学通用基础模型。放射学领域的图像模态种类丰富，影像与报告配对数据也相对较多，且放射学在临床场景中的应用也十分广泛，例如疾病诊断、治疗规划和患者进展监测等等。具体来说，该论文做出了如下技术贡献：

• 数据上： 提供了全新的目前世界上最大规模的医疗多模态数据集MedMD&RadMD，是首个包含3D数据的大规模医疗多模态数据集，含15.5M 2D图像，和180k的3D医疗影像。

• 模型上： 开源了14B多模态基础模型RadFM 支持2D/3D、图像/文本混合输入。

• 测试上： 定义了医疗基础模型五大基本任务——模态识别、疾病诊断、医疗问答、报告生成、归因分析，并提供了一个全面的benchmark——RadBench。

临床价值

本文最后的基础模型RadFM具有巨大的临床应用意义：

• 支持三维数据：在实际临床环境中，CT 和 MRI 被广泛使用，大多数疾病的诊断在很大程度上依赖于它们。RadFM的模型设计能够处理真实的临床成像数据。

• 多图像输入：合诊断通常需要输入来自各种模态的多影像作为输入，有时甚至需要历史放射图像，因此，支持多图像输入RadFM能够很好的满足此类临床需求。

• 交错数据格式：在临床实践中，图像分析通常需要了解患者的病史或背景。交错数据格式允许用户自由输入额外的图像背景信息，确保模型能结合多源信息完成复杂的临床决策任务。

与现有的所有医学基础模型相比，RadFM是第一个同时满足上述三点要求的模型，对医疗基础模型投入实际临床应用具有巨大推动作用。

多模态数据 MedMD&RadMD

研究团队构建了一个当前最大规模的医疗多模态数据集MedMD，是目前首个包含3D数据的大规模医疗多模态数据集，包含15.5M 2D图像，和180k的3D医疗影像，也并附带文本描述，例如放射学报告、视觉语言指令或相对应的疾病诊断标签。MedMD涵盖了人体各种放射学模态和解剖区域，横跨17个医疗系统，如乳腺、心脏、中枢神经系统、胸部、胃肠道、妇科、血液、头颈部、肝胆、肌肉骨骼、产科、肿瘤、儿科、脊柱、创伤、泌尿和血管，包含超过5000种疾病，如图1、2、3所示。此外，研究团队还基于MedMD, 给出了一个放射学多模态数据集RadMD。

图2: MedMD各部分数据构成展示

图3: RadMD上模态、2D/3D、Anatomy分布展示

模型架构 RadFM

RadFM是一个多模态的放射学基础模型，能够将自然语言无缝地与2D或3D医学扫描相结合，并通过文本输出来解决广泛的医学任务。模型架构如图3所示，研究团队首先在MedMD数据集上对该模型进行了预训练，然后在一个经过筛选的数据集RadMD上进行视觉指令微调。RadMD包含3M对放射学相关的多模态数据，确保了针对特定领域的微调过程中数据集的高质量和可靠性。

图4: RadFM模型架构。RadFM首先在大规模的数据集MedMD上进行Pre-training然后在RadMD上进行领域适配。在模型架构上，RadFM首次支持了2D和3D自由混合，文本和图像自由混合的输入形式。

测试基准 RadBench

为了更好的评估放射学基础模型的性能，研究团队建立了一个全新的、综合性的评估基准，涵盖了五大临床放射任务——模态识别、疾病诊断、医疗问答、报告生成和诊断归因。并与最新的开源多模态模型进行了比较，例如Med-flamingo（斯坦福团队）和MedVInT（上海交大&上海人工智能实验室）。

模型结果

RadBench上自动评测与人工打分

研究团队优先考虑了自动的评测指标进行了大规模的比较，另外，考虑到生成任务自动指标不可靠的问题，进一步引入了人工打分。在人工打分上，研究团队还与OpenAI发布的GPT-4V（ision）进行了比较，平均分数超越GPT-4V，结果如图5、6所示。

图5： RadFM在多个任务上与现有多模态医疗模型的对比，右下为人工打分（5分制）比较

图6 RadFM与各大多模态基础模型的在五大任务上的对比

图7 人工打分系统样例展示

RadFM结果可视化

图9-10 展示了RadFM 在 Medical VQA 医疗视觉问答任务，放射报告生成任务以及推理诊断任务上的结果。从图中可以看出，该模型能够准确判断图像对应的解剖部位。然而，在具体的异常判断方面，仍然存在一些改进的空间。当模型能够提供正确的影像学特征的情况下，模型的诊断结果也会更加准确，证明了推理诊断的必要性。

图8: RadFM在Medical VQA 任务上的性能展示

图9：RadFM在报告生成上的性能展示

图10：RadFM在诊断归因上的性能展示

RadFM的迁移性

另外在各大公开的不同任务、不同模态（2D/3D）的benchmark上RadFM也展示了强大的可迁移性，在多个数据集上超越了现有的SOTA模型，结果如图11：

图11：RadFM在各大benchmark上与SOTA的对比

最后RadFM还涌现出了对于未见疾病的诊断能力，如图12所示：

图12：RadFM在PadChest上对于未见类直接诊断的结果，其他多模态基础模型都只能取得随机的预测结果（0.5 ACC）

局限性

当前医学基础模型的发展尽管取得了显著进展，却仍存在多方面的局限性，本文作者提出了如下几点方向：

1. 模型绝对性能。虽然RadFM大幅超越了旧有基础模型，但多模态基础模型在零样本情况下的文本生成质量仍未能满足临床医生的期望水平。

2. 3D数据缺乏。比较于2D数据易于收集，在真实临床中广泛使用的3D数据在目前医学数据库中仍旧只是少数。

3. 评测指标模糊。目前存在一个缺乏令人信服的医学文本质量比对评测指标的问题。传统的翻译指标在医疗场景下几乎失去了意义。例如，对于“病人有肺炎”和“病人无肺炎”两句话，在传统指标下可能获得极高的分数，但这种差异在医疗场景中是不可接受的。相反，“在肺部见肺炎影像特征”与“病人有肺炎”这两句信息几乎一致的话语，在现有指标下反而可能呈现较低的分数。因此，急需建立更符合医学实际需求的评测标准。