图解 DynamicHead 原理：从 FPN 多尺度特征到注意力增强检测头的完整数据流

图解 DynamicHead 原理：从 FPN 多尺度特征到注意力增强检测头的完整数据流

【免费下载链接】DynamicHead项目地址: https://gitcode.com/gh_mirrors/dy/DynamicHead

DynamicHead 是 CVPR 2021 提出的一种目标检测头统一框架，它通过三种注意力机制（尺度感知、空间感知、任务感知）大幅提升检测头表示能力，却几乎不增加计算开销。本文以 DynamicHead 官方实现为基础，用图解方式带你走完从FPN 多尺度特征输入到注意力增强检测头输出的完整数据流，零基础也能看懂。

DynamicHead 是什么？为什么检测头需要"注意力"？

传统的目标检测器（如 Faster R-CNN、RetinaNet、ATSS）通常把检测任务拆成两个独立的子任务：分类（判断框里是什么物体）和回归（预测框的位置和大小）。它们的检测头往往是几层普通卷积堆叠而成，结构固定、缺乏灵活性。

而 DynamicHead 的核心思想是：检测头不应该"一成不变"，而应该根据输入特征动态调整。它把三种互补的注意力机制连贯地组合在一起：

• 尺度感知：不同物体大小不同，需要融合多个特征层的信息（scale-aware）
• 空间感知：不同空间位置的重要性不同（spatial-aware）
• 任务感知：分类和回归任务对特征的需求不同（task-aware）

关键模块在 dyhead.py 中实现，核心类为DyHead和DyConv。

第一步：FPN 多尺度特征是如何进入 DyHead 的？

在进入检测头之前，输入图像先经过主干网络和 FPN 生成多尺度特征金字塔。以 dyhead_r50_atss_fpn_1x.yaml 为例：

• 主干网络：ResNet-50，输出 res3、res4、res5 三个阶段的特征
• FPN 进一步生成 P3~P7 五个层级的特征，分别对应 stride 8/16/32/64/128
• 每一层特征图的长宽逐层减半，通道数统一为 256

这些特征被组织成一个字典（{level_name: feature_map}）传入DyHead。在DyHead.forward中，先是x = self.backbone(x)得到 FPN 特征，再送入由 6 个DyConv堆叠而成的dyhead_tower：

输入图片 │ ▼ ResNet-50 主干网络 ──► res3 / res4 / res5 │ ▼ FPN 特征金字塔 ──► P3 P4 P5 P6 P7（多尺度特征） │ ▼ DyHead 塔（6 × DyConv 堆叠） │ ▼ 分类分支 + 回归分支

第二步：DyConv——DynamicHead 的最小核心单元

DyConv是 DynamicHead 的"心脏"，每个DyConv内部做了三件事。这一节我们逐层拆解它的数据流，参考 dyhead.py 中的DyConv.forward。

1. 可变形卷积：让卷积核"学会移动"

普通卷积的采样点是固定的 3×3 网格；而可变形卷积（Deformable Conv）让每个采样点额外学习一个偏移量 offset和一个调制权重 mask，从而让感受野自适应物体的形状。

在代码中，偏移量由self.offset卷积生成，输出 27 个通道（18 个通道的偏移 + 9 个通道的 mask），实现见 deform.py 中的ModulatedDeformConv。

2. 跨层级特征融合：尺度感知注意力的雏形

对于第level层的特征，DyConv 会同时处理三个来源：

然后对这三个候选特征分别计算全局平均池化 + 1×1 卷积得到注意力分数，经过 h-sigmoid 归一化后加权融合，实现尺度感知——网络学会"在哪个尺度上看更清楚"。

当前层特征 ──┐ 上一层特征 ──┼─► 可变形卷积 ──► 注意力加权融合 ──► DYReLU ──► 输出 下一层特征 ──┘

3. DYReLU：动态激活函数实现任务感知

最后一个关键组件是DYReLU（Dynamic ReLU），实现于 dyrelu.py。普通 ReLU 对所有输入通道一视同仁，而 DYReLU 会根据输入特征动态生成激活函数的斜率a和截距b：

out = max(x * a1 + b1, x * a2 + b2)

也就是说，不同通道、不同输入，激活函数本身都在变化。这一机制让检测头能自适应地区分分类任务和回归任务的不同需求，这就是论文中所说的"任务感知"。

第三步：6 层 DyConv 堆叠成 DyHead 塔

DyHead通过配置NUM_CONVS（默认 6）控制塔的深度，通道数CHANNELS默认为 256，配置项定义在 config.py。每一层 DyConv 的输出都作为下一层的输入，逐层细化特征，最终输出仍保持 FPN 的多尺度结构（P3~P7），因此可以无缝接入各种检测器：

• RetinaNet：直接在特征上做 anchor-based 分类和回归，COCO mAP 39.9
• Faster R-CNN：作为 RPN 和 R-CNN 的共享检测头，COCO mAP 40.3
• ATSS：自适应训练样本选择 + DyHead，COCO mAP 42.4（最优配置）

第四步：更强主干 + 多尺度训练，效果还能再涨

DyHead 的另一个亮点是即插即用。把 ResNet-50 换成 Swin-Tiny 主干（见 swint.py 和 dyhead_swint_atss_fpn_2x_ms.yaml），配合多尺度训练，COCO mAP 直接飙到49.8。

官方 Model Zoo 的完整对比：

总结：一张图看懂 DynamicHead 完整数据流

输入图像 ▼ 主干网络（ResNet / Swin-T）── 提取基础特征 ▼ FPN 特征金字塔（P3~P7 多尺度特征）── 不同 stride 的特征层 ▼ DyHead 塔 ── 6 × DyConv 逐层堆叠 │ ├─ 可变形卷积（offset + mask）── 自适应形状 │ ├─ 跨层注意力加权 ── 尺度感知 │ └─ DYReLU 动态激活 ── 任务感知 ▼ 分类分支 / 回归分支 ── 输出最终检测结果

简单来说，DynamicHead 用注意力机制统一了目标检测头：用可变形卷积适配目标形状，用跨层加权融合多尺度信息，用动态激活函数区分任务差异。它不需要增加网络深度和宽度，就能让检测精度普遍提升 2~4 个点，是"花小钱办大事"的经典设计。

如果你想亲手跑通，官方训练命令非常简单：

python train_net.py --config configs/dyhead_r50_atss_fpn_1x.yaml --num-gpus 8

克隆仓库地址为 https://gitcode.com/gh_mirrors/dy/DynamicHead ，配合 Detectron2 即可开始你的 DynamicHead 实验之旅。

【免费下载链接】DynamicHead项目地址: https://gitcode.com/gh_mirrors/dy/DynamicHead