本文聚焦局部进展期直肠癌（LARC）患者放疗诱发急性血液学毒性（HT）预测。HT会中断后续治疗并影响临床结局，但其风险因素尚不清楚；既往研究常从骨髓剂量、CT影像、人口学或血液指标单一角度分析，且多为小样本或单中心，结论不一致。

作者认为，HT并非由单一因素决定，而可能是放疗剂量、解剖影像、基线血液状态和人口学信息共同作用的结果。因此，论文提出基于Transformer的多模态融合模型，并引入MedSAM提取CT解剖表征，以验证各模态及不同ROI对HT预测的独立与联合贡献。

另外我整理了医学多模态AI科研资料包：7篇顶会论文+可运行代码+写作模板，感兴趣的dd，希望能帮到你！

原文 姿 料，这里！

二、核心方法

• 整体思路：在放疗前整合CT、剂量图、基线血液指标和人口学信息，通过Transformer自注意力学习跨模态关系，预测HT发生风险。

• 数据与标签：

  • 发现队列：北京肿瘤医院464例；

  • 外部验证：吉林大学第一医院56例、内蒙古医科大学附属肿瘤医院79例；

  • HT定义为急性血液学毒性等级≥II。

• 主要流程：

  • CT经MedSAM视觉Transformer提取特征；

  • 剂量图经三层CNN提取空间剂量分布；

  • ROI包括PTV、膀胱（UB）、股骨头（FH）、骨髓（BM）；

  • 血液指标包括WBC、Neut、PLT、Hb；

  • 年龄、性别经线性层嵌入。

• 关键融合表达：论文描述的核心操作可概括为：

其中，用于强调特定解剖区域，用于学习不同切片和不同模态之间的相关性。

• 训练策略：

  • 使用AdamW优化器；

  • Focal Loss缓解类别不平衡：

• 参数：，，训练15个epoch。

三、实验验证与效果

• 主实验结果：

  • 单模态中，基线血液指标表现最好，内部测试AUC为0.734；

  • 人口学、CT、剂量图单独预测能力较弱；

  • 全模态融合模型效果最佳：

    • 内部测试AUC：0.828；

    • 外部JD队列AUC：0.757；

    • 外部NM队列AUC：0.756。

• ROI分析：

  • PTV是整体最敏感ROI；

  • BM、UB、FH也有一定贡献，但单一区域无法完全解释HT；

  • 说明HT更可能由多区域、多模态因素共同影响。

• 消融实验：

  • CT中MedSAM优于普通CNN、ResNet18和C3D；

  • 去除ROI mask会降低性能；

  • 用均值池化替代多头自注意力后性能下降，说明模态间关系建模重要。

• 论文贡献：

  • 构建了多中心LARC放疗HT预测队列；

  • 系统比较单模态、ROI和多模态贡献；

  • 提出具有一定泛化性和可解释性的HT预测框架。

四、小编总结

这篇论文的核心价值在于：它没有只依赖某一个“看起来合理”的风险因素，而是把放疗前能获得的CT、剂量、血液和人口学信息放到同一框架下比较和融合。结果显示，基线血液指标最关键，但影像和剂量信息仍能提供补充价值。最终的Transformer多模态模型在两个外部中心仍保持较好表现，提示其有潜力用于放疗前筛查HT高风险患者，并辅助个体化治疗计划优化。