用 Transformer 实现端到端目标检测

原始标题： End-to-End Object Detection with Transformers
作者： Nicolas Carion、Francisco Massa、Gabriel Synnaeve、Nicolas Usunier、Alexander Kirillov、Sergey Zagoruyko
来源： arXiv:2005.12872（v3，2020-05-28）
阅读范围： 论文正文与附录；以下数字均来自论文报告的 COCO 2017 实验。

核心结论

三点记住 DETR

1. 它改写了问题。 DETR 不再先造大量候选框、再去重，而是把检测当成“直接预测一个无序集合”：每个输出要么是一组类别与边界框，要么是“无目标”。
2. 它用两部分把这件事做成。 Transformer 让各个预测共享全图信息；训练时的一对一二分匹配，让一个真实目标只监督一个预测，从源头压低重复框。
3. 它证明了方向可行，但代价真实存在。 在 COCO 上，基础 DETR 的 AP 为 42.0，与作者强化后的 Faster R-CNN-FPN 的 42.0 持平；它的大目标 AP 更高（61.1 对 53.4），小目标 AP 却更低（20.5 对 26.6），而且主对比模型训练了 500 个 epoch。论文，第 2、9 页，表 1

一句话说，这篇论文真正重要的不是“把 Transformer 塞进检测器”，而是把目标检测从一串手工拼接的局部决策，重新组织成一个可以端到端学习的集合预测问题。

问题

传统检测为何绕远路

目标检测要回答的是：图里有哪些物体，它们各在哪里。论文指出，当时主流方法通常不直接回答这个问题，而是先围绕 proposal、anchor 或网格中心产生大量候选，再通过手工分配规则训练，最后用非极大值抑制（NMS）删掉重叠的重复框。最终表现会受到候选设计、真值分配规则和后处理的显著影响。论文，第 1、4 页

难点不是输出框，而是避免重复

一个集合没有天然顺序：交换两个预测的位置，答案仍应相同。与此同时，模型若对同一只狗输出五个近似框，也不能算五次正确。直接集合预测因此要同时解决两个问题：损失函数不能依赖输出顺序，并且每个真实目标必须获得唯一预测。早期方法往往依赖自回归模型或仍需 NMS；DETR 的目标是让模型一次并行给出结果，且不靠检测专用后处理。论文，第 2–4 页

方法

从图像到固定数量的预测槽

DETR 先用普通 CNN 把图像压成低分辨率特征图，再展平成序列并加入位置编码。Transformer 编码器让每个位置汇总全图信息；解码器接收固定数量、彼此不同且可学习的“目标查询”（object queries），并行产生同样数量的输出。每个输出经共享前馈网络变成类别和归一化边界框；没有匹配到物体的槽位学习输出“无目标”。论文实验中使用 N=100 个预测槽，明显多于一张图通常包含的物体数。论文，第 5–7、23 页

一对一匹配怎样消除重复监督

训练时，模型先计算每个预测与每个真实目标之间的匹配成本，成本同时考虑类别概率和边界框相似度；随后用匈牙利算法找到总成本最低的一对一分配。匹配完成后，再对配对结果计算分类损失与框损失。框损失结合 L1 与广义 IoU（GIoU），以缓解相同绝对误差对大小物体影响尺度不同的问题。论文，第 5–6 页，式 1–2

为什么 Transformer 适合这个任务

这里的注意力不只是“看得更远”。编码器让图像各位置交换全局信息，解码器的自注意力又让预测槽彼此协调；二分匹配则给出“谁负责哪个目标”的唯一训练信号。三者合在一起，模型才可能并行输出一个去重集合。消融实验也提示这些部件并非装饰：移除 Transformer 内部 FFN 后，参数从 41.3M 降到 28.7M，但 AP 下降 2.3；移除空间位置编码则会出现不同程度的 AP 损失。论文，第 7、11–12 页

证据与局限

最有分量的结果

作者在 COCO 2017 验证集上与经过加强的 Faster R-CNN 比较。使用 ResNet-50 时，DETR 与 Faster R-CNN-FPN+ 都达到 42.0 AP；DETR 的参数量为 41M、速度 28 FPS，对方为 42M、26 FPS。差异集中在物体尺度：DETR 的 APL 61.1，比 53.4 高 7.7；但 APS 20.5，比 26.6 低 6.1。换成 ResNet-101 与 DC5 高分辨率特征后，最佳 DETR 变体达到 44.9 AP，但速度降至 10 FPS。论文，第 9 页，表 1

论文还展示了扩展性：在预训练 DETR 上增加 mask head，可统一处理全景分割；作者报告 COCO test 上达到 46 PQ。不过，这属于附加任务的可扩展性证据，不等于检测主结果在所有数据集或部署环境中都成立。论文，第 14–17 页

不能从论文推出什么

作者明确承认三个挑战：训练时间长、优化困难、小目标表现较弱。基础模型在 16 张 V100 上训练 300 个 epoch 约需 3 天；用于主要对比的长日程是 500 个 epoch，并带来额外 1.5 AP。实验主要围绕 COCO 展开，因此它没有证明 DETR 在不同领域数据、低算力训练、移动端延迟或极密集小目标场景中同样占优。论文关于“全局注意力可能解释大目标优势”的说法也是作者的合理假设，不是已被单独验证的因果结论。论文，第 2、9、17 页

实际意义

对研究与工程的启发

从工程视角看，DETR 的价值是减少检测专用组件：不再需要 anchor 生成、启发式真值分配和 NMS，核心可以由常规 CNN、Transformer 与前馈网络搭建。论文称其 PyTorch 推理代码可少于 50 行，但这只是核心推理逻辑的简洁度，不等于完整训练、数据处理和生产部署都同样简单。论文，第 2、6 页

从产品视角看，可以把它理解为一种更统一的系统边界：模型直接交付最终对象集合，而不是把关键行为分散在模型与后处理规则之间。这是基于论文机制的解释，不是作者对维护成本或商业收益做过的实验验证。若场景以大目标、全局关系或多任务扩展为主，它值得优先验证；若核心是小目标、有限训练预算或极端低延迟，则论文数据提示需要更谨慎的原型测试。

术语与核验清单

• 直接集合预测： 输出被视为无序集合，交换输出槽位不应改变答案。
• 目标查询： 一组可学习的输入嵌入；它们不是预先绑定类别或固定空间锚点，而是在训练中形成不同预测职责。论文，第 7、14 页
• 匈牙利匹配： 在训练中寻找预测与真值之间的最低成本一对一分配；它不是推理后的去重步骤。
• AP / APS / APM / APL： COCO 的平均精度，以及按小、中、大物体拆分后的指标。跨表比较前应确认骨干网络、训练增强和训练日程一致。
• 复现时先核验： N=100 个查询、500-epoch 主训练日程、“无目标”类别权重、L1+GIoU 框损失、输入分辨率与 DC5 设置；这些都会影响与表 1 的可比性。论文，第 9、23–24 页