针对超大规模病理图像分析！华中科技大学提出医学图像分割模型，提高干燥综合征诊断准确性

口干、眼干、皮肤干，每天伴有不明原因的肌肉酸痛和全身乏力，如果以上症状你「中招」了，除了考虑冬季天气干燥外，还应该警惕一种常见却总是被我们忽视的疾病——干燥综合征 (Sjögren’s Syndrome, SS)。

干燥综合征是以外分泌腺高度淋巴细胞浸润为特征的自身免疫性疾病，在我国约有 500 万人患上此病。病症初期，外分泌腺（唾液腺、泪腺等）被高度浸润的淋巴细胞破坏，导致其功能减退，患者常常会感到口干、眼干，还可能伴有双肩关节酸痛等症状。与此同时，该病还会累及其他重要器官，比如肺、肝、肾脏，甚至影响生育。

图源：SLE解忧杂货铺

尽早发现并诊断干燥综合征至关重要，其中，局灶性淋巴细胞性唾液腺炎 (FLS) 是干燥综合征诊断的重要标准之一。通过获取患者的小唾液腺病理切片，并对其进行显微镜检查，依据现有的诊断标准，如果在每 4 平方毫米的组织样本中发现了超过 50 个淋巴细胞聚集，则认定其为典型的病灶特征。

然而，一张完整的病理扫描图像可达 10 万*10 万像素，约有 10 亿个像素点，医生需要仔细检查整幅图像并判断淋巴细胞聚集灶的个数，这不仅耗时，还常常依赖于专业医生的经验和主观判断，增加了误诊或漏诊的风险。

研究成果以「M²CF-Net: A Multi-Resolution and Multi-Scale Cross Fusion Network for Segmenting Pathology Lesion of the Focal Lymphocytic Sialadenitis」为题，发表在 2023 IEEE International Conference on Medical Artificial Intelligence (MedAI) 上。

研究亮点：

* 解决了超大规模组织病理图像中难以识别微小淋巴细胞聚集灶的问题

* 融合多分辨率与多尺度，M²CF-Net 性能优于其他 3 种主流医学图像语义分割模型

* M²CF-Net 在处理边界模糊、目标较小、纹理复杂的图像方面表现出色，其分割的图像具有更复杂的形状，与人类标注的实况非常吻合

论文地址：
https://doi.ieeecomputersociety.org/10.1109/MedAI59581.2023.00063

开源项目「awesome-ai4s」汇集了百余篇 AI4S 论文解读，并提供海量数据集与工具：

https://github.com/hyperai/awesome-ai4s

数据集：来自同济医院临床数据

本研究选用来自同济医院的一组小唾液腺病理切片数据集，其中，小唾液腺是从患有原发性干燥综合征的病人身上切除的。
*小唾液腺分布在人体口腔和咽部黏膜下，作用是分泌唾液，维持口腔湿润、帮助消化、保护口腔组织免受感染等。

通过对小唾液腺病理切片进行染色，医生们可以用显微镜观察细胞的清晰结构。具体而言，研究人员对所有切片进行复查，确保其质量，并确认是否存在局灶性淋巴细胞性咽炎，病灶的特征是腺体周围每 4 平方毫米有超过 50 个淋巴细胞聚集。若患有病灶，则对其进行标注。

最后确定的数据集有 203 个样本，其中正样本 171 个（符合病灶特征），负样本 32 个（不符合病灶特征）。研究人员将这些样本按照一定比例分为训练集、验证集、测试集，分别用于模型的训练、调整和性能评估。在实际过程中，研究人员对数据进行预处理，既减少了计算量，又提高了模型的泛化能力。

设计超大规模图像处理流水线，优化模型训练第一步

该研究的目标是从分辨率为 100,000 *100,000 的小唾液腺组织切片图中，提取局灶性淋巴细胞性唾液腺炎 (FLS) 的病变区域。然而，将千兆像素的图像直接输入神经网络进行训练是不可能的，主要是因为这种图像过大，计算资源、训练时长、现有框架等不足以支撑。

因此，研究人员设计了一套针对超大规模病理图像处理的流水线。该流水线主要包括 3 个步骤：感兴趣区域 (Regions of Interest, ROI) 提取、染色标准化 (Stain Normalization)、图像分块 (WSl Patching)。如下图所示：

针对超大规模病理图像处理的流水线

第一部分，ROI 提取
为了提高病理图像中特定组织区域的识别准确性，研究人员最初使用了基于卷积神经网络 (CNN) 的分类器。然而，该分类器在处理气泡、碎裂组织和伪影等复杂特征时遇到了困难，导致其表现未达预期。为解决这一问题，研究团队采取了以下措施：

* 手动注释：对一部分样本进行了细致的注释，丰富数据集后重新训练分类模型。

* 数据增强：采用旋转、缩放和平移等技术提高训练数据的多样性，从而提升分类器的准确性。

第二部分，染色标准化
病理图像染色标准化的主要目的是确保不同来源的图像拥有一致的视觉色彩和对比度。具体而言，由于染色剂浓度、pH 值、温度和时间等因素的影响，实际染色过程中常出现染色不均匀或强度不一致的问题，导致相同类型的组织呈现出不同的视觉效果。这种差异会影响计算机视觉模型的准确性。

为解决此问题，研究人员采用了 Vahadane 算法。该算法通过调整源图像的染色特征，使其与目标图像相似，从而实现染色标准化的效果。具体来说，它计算源图像和目标图像之间的颜色矩阵变换，实现源图像的颜色变换。

第三部分，图像分块
为了应对经过 ROI 提取和染色标准化后图像尺寸仍过大，导致样本无法输入深度学习模型进行训练的问题。研究人员采用了基于 Patch 的训练方法，将图像切分为带有重叠区域的小块，这不仅提高了模型训练效率，还保留了原始信息。

为了分析较大导管附近细小淋巴细胞的详细特征，需要在较大视野范围上捕捉组织级别的特征。然而，为了保证分割结果的精确性，又需要在较小的视野范围上捕捉细胞级别的特征。如何权衡这两者之间的关系显得尤为重要。

为此，研究人员考虑了多分辨率下的图片分块方法，主要是将原始图像进行几次降采样，在这些降采样的图像上分别提取相同尺寸大小的图像块。这些从不同采样倍率图像上切分的 Patch 就有了不同大小的视野范围，既能捕捉到组织级别特征，又兼顾了细胞级别特征。

多分辨率与多尺度的融合模型，性能高效提升

研究人员选用的模型 M²CF-Net 包含多分支编码器 (Multi-branch Encoder) 和基于融合的级联解码器 (Fusion-based Cascaded Decoder)。编码器在不同尺度上对不同分辨率斑块的特征进行下采样，而解码器则使用级联融合块来融合多分支编码器生成的特征图。

M²CF-Net 网络架构

具体而言，为了同时获取组织级别和细胞级别的特征，研究人员设计了一个多分支网络，该网络是典型的 Encoder-Decoder 架构模型，能够接受不同分辨率的图像作为输入。其中，Encoder 包括 3 个输入分支，分别接受不同大小的分辨率图像，并在编码过程中，分别产生不同视野范围的特征图组合。而 Decoder 则能够将 Encoder 产生的特征图组合利用级联的 Fusion Block 融合起来，输出最终的预测图。

在这个过程中，研究人员也利用了空间注意力和通道注意力机制，来增强输入特征的表征能力。最后使用 BCEDice Loss 作为模型的损失函数，该损失函数权衡了二值交叉熵损失和 Dice 损失，可以有效指导模型的优化方向。

实验结论：M²CF-Net 性能优于其他 3 种主流医学图像语义分割模型

研究人员将其所提模型 (M²CF-Net 与其他 4 个流行的医学图像语义分割模型进行对比——UNet、MSNet、HookNet 和 TransUNet。结果发现，M²CF-Net 模型在利用多分辨率和多尺度特征方面更具优势。
* UNet：采用编码器-解码器结构，捕捉多尺度特征以进行精确分割 

* MSNet：引入多尺度减法网络，以加强特征提取并提高分割的准确性
* HookNet：加入 Hook 来捕捉和利用多分辨率特征，增强 U-Net 结构，有效处理医学图像中各种尺寸图像的分割 

* TransUNet：基于 Transformer，通过引入自注意力机制来提高分割精度

如下图所示，研究人员发现 M²CF-Net 的 Dice 为 69.40%，达到最高，而且其参数量只有性能第三的 TransUNet 的一半，比参数量少的 UNet 和 MSNet 的性能分别提高 38.9% 和 22.5%，能有效地捕捉和融合图像中不同尺度的特征。

不同模型的性能比较

具体而言，M²CF-Net 的参数数量 (Params) 比 TransUNet 和 HookNet 少，但多于 UNet 和 MSNet。这是因为 TransUNet 基于 Transformer 架构，与 CNN 相比拥有更多的参数，单分支解码器使 M²CF-Net 的参数数量少于 HookNet。然而，与单分支输入网络相比，M²CF-Net 中的多分支编码器结构导致了更高的参数数量。

此外，经过深入分析，研究发现 M²CF-Net 在处理边界模糊、目标较小、纹理复杂的图像方面表现出色。如下图所示，M²CF-Net 的分割结果具有更复杂的形状，这与人类标注的实况非常吻合。

级联融合块中特征图和空间注意力的可视化
GT 表示由医生手动标注的
SA (f2) 表示由特征图 f2 生成的空间注意力热图

计算机视觉技术革新医学图像分割

医学图像分析对于疾病诊断至关重要，通过计算机技术可以实现对医学图像的精确分割，有效识别病变区域、人体器官以及感染部位，从而提升诊断效率。近年来，得益于深度学习等先进技术的进步，医学图像分割技术正快速从依赖手动操作转向自动化处理，经过专门训练的 AI 系统现已成为了医疗专业人员不可或缺的辅助工具。

华中科技大学同济医学院附属同济医院风湿免疫科副主任凃巍教授，拥有超过 20 年的风湿免疫疾病诊疗经验，在干燥综合征方面具有丰富的诊断经验。在本文的研究中，凃巍教授深入解析了干燥综合征的病理学诊断流程，并指出了其中容易混淆的关键点，通过实际案例展示了不同情况下的诊断结果。掌握了干燥综合症的病理学诊断方法后，陆枫教授的团队提出了利用计算机视觉中的图像分割技术来应对诊断挑战。双方借助先进的 AI 技术，为干燥综合征的诊断开辟了新的路径。
凃巍教授个人主页：
https://www.tjh.com.cn/MedicalService/outpatient_doctor.html?codenum=101110

陆枫教授个人主页：
http://faculty.hust.edu.cn/lufeng2/zh_CN/index.htm

除了上述提到的科研人员，还有很多科学家致力于对医学图像与 AI 交叉领域的前沿研究。

例如，美国麻省理工学院计算机科学与人工智能实验室 (MIT CSAIL) 团队联合麻省总医院 (Massachusetts General Hospital) 和哈佛医学院 (Harvard Medical School) 的研究人员，提出了一种用于交互式生物医学图像分割的通用模型 ScribblePrompt。这种基于神经网络的分割工具，不仅支持注释人员使用涂鸦、点击和边界框等不同的注释方式来进行灵活的生物医学图像分割任务，对于未经训练的标签和图像类型同样表现出色。

相信随着更多先进技术被开发并应用于临床实践，肿瘤学、神经病学等多个医学分支都将受益，医学图像分析领域将迎来更加光明的发展前景。