编辑 | X
基础模型有望为医学领域带来前所未有的进步。
在计算病理学 (CPath) 中，基础模型在提高诊断准确性、预后以及预测治疗反应方面发挥着关键作用。
近日，美国麻省总医院（Massachusetts General Hospital）、哈佛医学院等组成研究团队设计了迄今为止最大的两个 CPath 基础模型：UNI 和 CONCH。这些基础模型适用于 30 多种临床和诊断需求，包括疾病检测、疾病诊断、器官移植评估和罕见疾病分析。
新模型克服了当前模型的局限性，不仅在研究人员测试的临床任务中表现良好，而且在识别新的、罕见的和具有挑战性的疾病方面也显示出了前景。UNI 和 CONCH 的相关论文发表在《Nature Medicine》上。
UNI：理解病理学图像的基础模型
组织图像的定量评估对于计算病理学任务至关重要，需要从全玻片图像 (WSI) 中客观表征组织病理学实体。WSI 的高分辨率和形态特征的可变性给高性能应用的大规模数据标注带来了巨大挑战。
为了应对这一挑战，目前的研究已经提出了通过自然图像数据集的迁移学习，或对公开的组织病理学数据集的自监督学习来使用预训练的图像编码器，但尚未在不同的组织类型中大规模地广泛开发和评估。
为此，该研究团队推出一种通用的病理学自监督模型 UNI。UNI 是理解病理学图像的基础模型，从识别组织学感兴趣区域中的疾病到十亿像素全幻灯片成像。它使用包含超过 1 亿个组织斑块和超过 100,000 张 WSI 的数据库进行训练，在解剖病理学中具有通用的人工智能应用。
图示：UNI 概述。（来源：论文）
该模型在 34 个具有不同诊断难度的代表性 CPath 任务上进行了评估。除了超越以前最先进的模型之外，还展示了 CPath 中的新建模功能，例如与分辨率无关的组织分类，使用少量类别原型的幻灯片分类，以及在 OncoTree 分类系统中对多达 108 种癌症进行分类的疾病亚型概括。
UNI 在预训练数据和下游评估方面在 CPath 中大规模推进无监督表示学习，从而实现数据高效的人工智能模型，该模型可以泛化并转移到解剖病理学中广泛的诊断挑战性任务和临床工作流程。
相关研究以《Towards a general-purpose foundation model for computational pathology》为题，于 2024 年 3 月 19 日发布在《Nature Medicine》上。
开源地址：https://github.com/mahmoodlab/UNI
论文链接：https://www.nature.com/articles/s41591-024-02857-3
CONCH：计算病理学的视觉语言基础模型
数字病理学的广泛应用和深度学习技术的进步，已经为各类疾病和患者群体中的多种病理任务开发出强大模型提供了可能。
然而，由于医学领域标签稀缺，模型训练通常很困难，并且模型的使用受到训练的特定任务和疾病的限制。此外，大多数组织病理学模型仅利用图像数据，这与人类相互教导和推理组织病理学实体的方式形成鲜明对比。
基于此，该研究团队提出了一种视觉语言基础模型 CONCH，CONCH 经过超过 117 万个组织病理学图像-文本对的数据库的训练。
CONCH 在识别罕见疾病、肿瘤分割和理解十亿像素图像等任务方面表现出色。由于 CONCH 接受了文本训练，病理学家可以与模型交互以搜索感兴趣的形态。
图示：数据整理和 CONCH 模型示意图。（来源：论文）
CONCH 根据一套 14 个不同的基准进行评估，可以转移到涉及组织病理学图像、文本的广泛下游任务，在组织病理学图像分类、分割、字幕、文本到图像和图像到文本检索方面实现最先进的性能。
CONCH 代表了组织病理学并发视觉语言预训练系统的重大飞跃，有可能直接促进各种基于机器学习的工作流程，只需要很少或不需要进一步的监督微调。
相关研究以《A visual-language foundation model for computational pathology》为题，于 3 月 19 日发布在《Nature Medicine》上。
开源地址：https://github.com/mahmoodlab/CONCH
论文链接：https://www.nature.com/articles/s41591-024-02856-4
研究团队正在向其他学术团体公开该代码，以用于解决临床相关问题。
麻省总医院病理科计算病理学部的通讯作者 Faisal Mahmood 博士说，「基础模型代表了医学人工智能的新范式，这些模型是 AI 系统，可以适应许多下游、临床相关的任务。我们希望这些研究中提出的概念验证将为此类自监督模型在更大、更多样化的数据集上进行训练奠定基础。」
参考内容：https://medicalxpress.com/news/2024-03-ai-foundation-advance-pathology.html
相关文章
