本文为 RT-DETR 改进系列纯净发布稿，写法采用模块化技术博文形式：先讲痛点，再讲结构，再给配置、训练方式、实验表格和注意事项。全文仅保留技术正文，便于直接发布。

摘要

本文围绕 RT-DETR-l 基线 展开。该版本属于 基线配置 方向，目标是在 RT-DETR 端到端检测框架中完成可复现、可对照、可训练的结构设计。相比只给模型文件，本文更关注为什么这样改、改在什么位置、如何训练、如何做消融，以及实验时应该重点观察哪些指标。

一、为什么要做这个改进

所有结构改进都必须先有稳定基线。本文选择 rtdetr-l.yaml 作为 RT-DETR 系列的统一对照组，用来固定训练入口、三尺度特征、AIFI 编码器和 RTDETRDecoder 解码头。后续 2D、4D、GhostConv、FDConv、BiFPN 等改进，都可以在这一基线之上做单变量对照。

对于目标检测任务来说，结构改进不能只看单次训练的 mAP，还要看参数量、计算量、显存占用、FPS、收敛速度以及小目标表现。尤其是 RT-DETR 这类端到端检测器，解码器输入特征的质量会直接影响最终预测框和类别分数。

二、核心思想

该配置保留 HGStem、HGBlock、DWConv、AIFI、RepC3 与 RTDETRDecoder 组成的 RT-DETR-l 标准检测链路。主干负责提取 P3、P4、P5 多尺度特征，AIFI 负责高层语义增强，FPN/PAN 路径负责跨尺度融合，最终由 RTDETRDecoder 完成端到端目标解码。

可以把这篇文章的核心理解为一句话：基线先行，改进有据。

对比维度	关注内容	实验观察点
精度	mAP50、mAP50-95、召回率	是否稳定高于基线
速度	FPS、单张推理耗时	是否适合实时检测
复杂度	Params、GFLOPs、显存	是否增加部署压力
稳定性	多次训练波动	是否容易复现

三、网络结构变化

本文不是新增模块，而是明确后续所有改进的共同底座。重点观察 AIFI 层、三尺度融合层以及 RTDETRDecoder 输入索引是否稳定。

输入图像
  |
Backbone 提取 P3/P4/P5 多尺度特征
  |
Hybrid Encoder / Neck 特征融合
  |
RT-DETR-l 基线
  |
RTDETRDecoder 端到端解码
  |
输出预测框、类别和置信度

关键位置如下：

层号	位置	模块/结构	说明
3	backbone	-	# This variant ports the corresponding YOLO26 improvement into the RT-DETR neck/backbone while preserving RTDETRDecoder.
30	head/neck	AIFI	- [-1, 1, AIFI, [1024, 8]]
52	head/neck	RTDETRDecoder	- [[21, 24, 27], 1, RTDETRDecoder, [nc]] # Detect(P3, P4, P5)

四、YAML 配置片段

本文对应配置文件：ultralytics/cfg/models/rt-detr/rtdetr-l.yaml。

001: 
002: # Ultralytics RT-DETR-l hybrid object detection model with P3/8 - P5/32 outputs
003: # This variant ports the corresponding YOLO26 improvement into the RT-DETR neck/backbone while preserving RTDETRDecoder.
004: 
005: # Parameters
...
028: head:
029:   - [-1, 1, Conv, [256, 1, 1, None, 1, 1, False]] # 10 input_proj.2
030:   - [-1, 1, AIFI, [1024, 8]]
031:   - [-1, 1, Conv, [256, 1, 1]] # 12, Y5, lateral_convs.0
032: 
...
050:   - [-1, 3, RepC3, [256]] # F5 (27), pan_blocks.1
051: 
052:   - [[21, 24, 27], 1, RTDETRDecoder, [nc]] # Detect(P3, P4, P5)

与基线配置的差异摘录如下：

# 与基线配置一致，作为后续所有改进的对照组。

五、训练方式

Python 训练入口如下：

from ultralytics import RTDETR

model = RTDETR("ultralytics/cfg/models/rt-detr/rtdetr-l.yaml")

results = model.train(
    data="coco128.yaml",
    epochs=1000,
    imgsz=640,
    optimizer="MuSGD",
)

命令行训练方式如下：

yolo detect train model=ultralytics/cfg/models/rt-detr/rtdetr-l.yaml data=coco128.yaml epochs=1000 imgsz=640 optimizer=MuSGD

如果训练自己的数据集，只需要把 data=coco128.yaml 改成自己的数据集配置文件即可。

六、实验记录模板

模型	配置文件	Params	GFLOPs	mAP50	mAP50-95	FPS	备注
RT-DETR-l	rtdetr-l.yaml	待测	待测	待测	待测	待测	基线
RT-DETR + RT-DETR-l 基线	rtdetr-l.yaml	待测	待测	待测	待测	待测	本文改进

建议再补充一张小目标统计表：

模型	AP-small	AP-medium	AP-large	Recall	误检变化
基线	待测	待测	待测	待测	待分析
改进	待测	待测	待测	待测	待分析

七、消融实验建议

编号	实验设置	目的
A0	原始 rtdetr-l.yaml	建立统一对照
A1	rtdetr-l.yaml	验证单模块收益
A2	相同配置增加训练轮次	判断是否只是收敛速度变化
A3	更换输入尺寸	观察小目标和速度变化
A4	导出部署模型	检查推理端真实速度

八、注意事项

1. 不建议一次叠加多个模块，否则无法判断收益来自哪里。
2. 训练前先确认模型能正常构建和前向传播。
3. 实验记录必须固定数据集划分、输入尺寸、训练轮次和增强策略。
4. 如果出现通道不匹配，优先检查 YAML 中 RTDETRDecoder 的输入层索引。
5. 如果 FPS 没有提升，需要进一步检查导出格式、推理后端和 batch 设置。

九、总结

RT-DETR-l 基线 是 RT-DETR 改进系列中的第 1 篇。本文围绕 基线配置 展开，重点不是堆砌模块名称，而是把改进动机、结构位置、训练入口和消融方式讲清楚。后续只要保持同一套实验条件，就可以把该版本与更多模块进行公平对照。

关键词

RT-DETR,目标检测,计算机视觉,深度学习