小罗碎碎念

今天和大家分享一个数学天元基金项目——数学与医疗健康交叉重点专项，项目执行年限为2021.01～2022.12，直接费用为100万。

鼻咽癌在中国华南地区高发，严重威胁民众健康。基层医院诊断和分期准确性低，大型肿瘤中心个体化精准治疗不足，限制了患者生存率提升。项目旨在利用鼻咽癌临床、影像、病理多组学数据及人工智能方法，开发图像标准化和分割方法、辅助诊断模型、动态风险预测模型以及临床决策支持系统，以提高鼻咽癌患者整体生存率。

在医学图像标准化和分割方面，提出MetaCon模型和融合专家经验的MR影像诊断 - 分割方法，提升了图像标准化和肿瘤分割准确性；在辅助诊断研究中，建立深度学习结合弱监督学习的病理诊断方法和3D DenseNet模型，证实平扫MR影像可替代增强MR影像；在动态风险预测研究上，提出多种多模态、跨中心数据分析方法和模型，建立融合多因素的风险预测模型，预测准确率超80%。

此外，项目申请了发明专利和软件著作权，发表多篇高水平论文，培养了众多专业人才，相关成果已在部分医院推广应用。

知识星球

如需获取推文中提及的各种资料，欢迎加入我的知识星球！

一、项目摘要

鼻咽癌高发于中国华南地区，严重威胁我国人民生命健康。

基层医院诊断和分期准确性低，造成治疗方案选择不合理，鼻咽癌生存率仅60%；大型肿瘤中心鼻咽癌生存率达80%，但个体化精准治疗开展不充分制约了生存率的进一步提升。

针对不同诊疗提升需求，拟基于鼻咽癌临床/影像/病理多组学数据和人工智能理论与方法开展：

1. 针对多模态影像和数字病理图像，研发可靠、稳定的图像标准化方法和高鲁棒性、高准确率的病灶自动分割方法；
2. 建立计算机辅助鼻咽癌定性及分型诊断模型，将大型诊疗中心的经验传递给基层医院，指导开展相对精准的分层治疗；
3. 融合多时间点临床/影像/病理多组学数据建立鼻咽癌动态风险预测模型，实时动态地预测个体患者复发转移风险；
4. 基于决策规则和风险预测模型构建鼻咽癌单病种的临床决策支持系统，以指导个体化精准治疗。

预期研制鼻咽癌定性及分型诊断系统与个体化智能决策平台各1套并分别推广示范，以期提高鼻咽癌患者整体生存率。

二、面向病理组织切片图像的元对比学习模型

在病理图像分析领域，染色差异是一个棘手的问题。这种差异极大地降低了深度学习模型的泛化能力，导致传统深度网络难以取得令人满意的性能表现。此外，噪声标签的存在也给精准模型的学习带来了阻碍。

为有效解决上述问题，项目团队借鉴了元学习的思想，创新性地提出了一种基于元对比学习的模型——MetaCon，并精心设计了基于注意力机制的特征融合块。

在MetaCon模型的训练过程中，项目团队采用迭代的方式，对带有交叉熵损失和对比损失的深度网络进行训练。其目的在于学习一种与染色无关的病理诊断分类器，该分类器能够准确识别从病理图像中分割出来的瓦片。随后，利用注意力机制，对来自同一患者的瓦片特征进行混合处理，使模型能够自动聚焦于更为可靠的瓦片。最后，通过投票法将瓦片的预测结果进行集成，从而在患者个体水平上实现精准预测。其网络架构如图1所示。

这张图片展示了元对比学习模型MetaCon的架构，分为(a)和(b)两个部分。

(a)部分

展示了Meta - train和Meta - test两个阶段：

• Meta - train阶段：
  • 训练集的图像数据（图中紫色组织图像）首先进入特征提取器$F_{\theta }$进行特征提取。
  • 提取后的特征被送入分类器$C_{\alpha }$，分类器输出阴性和阳性标签的分数$s_{f,0}$和$s_{f,1}$，并通过二元交叉熵损失$L_{BCE}$进行优化。
• Meta - test阶段：
  • 同样先由特征提取器$F_{\theta }$提取特征，然后特征被送入投影算子$P_{\beta }$，得到特征表示。
  • 这些特征表示通过对比损失$L_{Con}$进行优化，目的是学习与患者无关的、可区分类别的特征以及自适应分类器。
• 图中左上角用不同颜色和形状的点表示患者和类别，训练集中的图像块用不同颜色和形状的点标记，以说明数据的来源和类别归属。

(b)部分

展示了注意力融合模块的结构：

• 输入图像数据经特征提取器$F_{\theta }$提取特征后，分别输入到分类器$C_{\alpha }$和投影算子$P_{\beta }$。
• 来自$C_{\alpha }$的输出和$P_{\beta }$的输出经过一个注意力融合操作（图中用相加和激活函数ReLU表示）。
• 融合后的结果再输入到分类器$C_{\alpha }$，通过二元交叉熵损失$L_{BCE}$进行优化，最终通过多数投票（Majority Voting）得出分类结果。
• 图中还标注了微调流（Fine - tuning Flow）、测试流（Test Flow）、线性组合（Linear Combination）和核积（Kernel product）等操作的符号，以表示数据在模型中的流动和处理方式。

整体来看，这张图详细描述了MetaCon模型在训练和测试阶段的架构以及注意力融合模块的具体结构和数据处理流程。

三、融合专家经验的MR影像自动分割神经网络模型

随着深度学习算法的发展，近年来人工智能模型在基于MRI的鼻咽癌肿瘤分割中表现出优良的性能，但其黑匣子特性使得模型难以利用专家经验进一步提升分割准确性。

为解决这一问题，项目团队提出了一种可解释的由诊断到分割的深度学习框架，其决策过程类似临床专家的手工勾画过程，具有强大的模型可解释性。

在诊断任务中

项目团队用高斯混合分布刻画临床专家关于鼻咽癌好发部位的专家先验知识，并通过最优传输理论将其融入到深度学习模型中，实现神经网络能同时输出图像级别的癌变切片预测及像素级别的癌变区域检测；

此外，项目团队还设计了一种自适应的池化技术来捕获局部区域的判别信息（图2）。

在分割任务中

• 通过迁移学习思想将诊断网络的判别信息迁移到分割网络中；
• 并提出了一个跨级别的特征融合模块，使新模型以逐步精细化的方式进行语义解码，输出从粗略到精细的多尺度分割结果（图3）。

这张图片展示了融合专家经验的鼻咽癌MR影像自动分割神经网络模型，整体分为编码器（Encoder）和解码器（Decoder）两部分，中间通过跨层特征融合（Cross - level feature fusion）相连。

编码器部分

输入的鼻咽癌MR影像（左侧图像）依次经过多个卷积层（C）和残差块（R）进行特征提取，特征图依次表示为$F_0$、$F_1$等，直到$F_K$。其中，$F_1$的初始化来自诊断任务。

解码器部分

从编码器输出的特征图$F_K$开始，经过跨层特征融合模块，与上采样（Up - sampling，标记为U）后的特征进行融合，逐步恢复图像分辨率，输出分割结果$P_K$、$P_{K-1}$等，直到$P_0$。每个阶段的分割结果都通过分割损失函数$L_{seg}$进行优化。

跨层特征融合模块

以$k$层为例，将编码器输出的特征图$F_k$和上一层解码器输出的上采样特征$U_{k+1}$进行融合。先对$F_k$进行卷积操作得到$O_k$，同时对$U_{k+1}$进行卷积操作得到$C_k$，两者进行逐元素相乘（Element - wise prod.）得到$O_k^{\prime }$，再与$U_{k+1}$相加，经过上采样和Sigmoid函数（Sigmoid function）处理，得到当前层的分割结果$P_k$和传递到下一层的特征$U_k$。

其他标注

• Segmenting the tumor in a multi - scale manner：表示以多尺度方式分割肿瘤。
• Focusing on poorly - segmented region：意味着模型关注分割较差的区域。
• 图中还对卷积（C）、残差块（R）、上采样（U）、逐元素相乘/相加（Element - wise prod./sum）、数据流（Data flow）、仅在训练时所需的数据流（Data flow (required only during training)）和Sigmoid函数（Sigmoid function）等操作进行了符号标注，用以说明数据在模型中的流动和处理方式。

结束语

本期推文的内容就到这里啦，如果需要获取医学AI领域的最新发展动态，请关注小罗的推送！如需进一步深入研究，获取相关资料，欢迎加入我的知识星球！