你只看一次统一、实时的目标检测

原论文标题： You Only Look Once: Unified, Real-Time Object Detection
作者： Joseph Redmon、Santosh Divvala、Ross Girshick、Ali Farhadi
版本： arXiv:1506.02640v5，2016-05-09
主来源： arXiv 摘要页 · 论文 PDF

核心结论

三句话记住 YOLO

1. 一次计算完成检测。 YOLO 把目标检测直接写成“从整张图像到边界框与类别概率”的回归问题，用一个网络联合训练、一次前向计算给出结果。[来源：摘要；第 1 页，图 1]
2. 速度来自统一，而不是跳过检测。 原版 YOLO 在论文所用 Titan X GPU、无批处理条件下达到 45 FPS；Fast YOLO 达到 155 FPS。[来源：第 1 页；第 6 页，表 1]
3. 代价主要是框得不够准。 YOLO 比 Fast R-CNN 更少把背景误认成物体，却有更多定位错误；密集小物体尤其困难。[来源：第 2、4、6 页]

一句话说，这篇论文把原本由候选区域、分类器、框修正等环节串成的流水线，压缩成一个可以端到端优化的整体。它证明了“实时”与“有用的检测精度”可以同时成立，但没有证明一次预测在所有尺度和场景下都更准。

问题

旧流程为什么慢

论文面对的核心问题是：当目标检测依赖滑动窗口或候选区域时，同一张图会被反复裁切、分类和修正，多个模块还要分别调试。论文以 R-CNN 系列为例描述了候选框生成、卷积特征、SVM 打分、边界框回归和非极大值抑制等阶段；其中候选区域本身就可能花约 2 秒。[来源：第 1、5–6 页]

检测不只是“这是什么”

图像分类只回答主要内容是什么，目标检测还要同时回答“有几个、分别是什么、各自在哪里”。因此输出既要包含类别，也要包含边界框位置与可信度。YOLO 的关键选择，是让网络看完整图像并一次性联合回答这些问题，而不是把许多局部分类结果再拼起来。[来源：第 1–2 页]

方法

网格分工：由中心点决定负责人

YOLO 把输入图像划为 $S\times S$ 网格。一个物体的中心落在哪个网格，该网格就负责检测它。每格预测 $B$ 个候选框及其置信度，并预测 $C$ 个条件类别概率；置信度把“是否有物体”和“框与真实框的重合程度”合在一起。VOC 实验使用 $S=7$、$B=2$、$C=20$，因此输出是 $7\times7\times30$ 张量。[来源：第 2 页，公式 1、图 2]

一个网络怎样直接给出结果

原版网络含 24 个卷积层和 2 个全连接层：前部从整图提取特征，后部直接预测类别概率和框坐标；Fast YOLO 将卷积层减为 9 层以换取更高速度。推理时，VOC 设置下网络给出 98 个候选框，再做阈值筛选；非极大值抑制用于清理重复框，并带来约 2–3 个 mAP 点的提升。[来源：第 2–4 页，图 3]

训练时如何平衡不同错误

论文采用平方和损失，但明确承认它与最大化平均精度并不完全一致。为避免大量无物体网格压过有效梯度，作者将坐标损失权重设为 $\lambda_{coord}=5$，无物体置信度损失权重设为 $\lambda_{noobj}=0.5$；宽高预测使用平方根，以减轻大框与小框误差尺度不合理的问题。每个真实物体只分配给当前与其 IoU 最高的候选框预测器。[来源：第 3–4 页，公式 3]

证据与局限

速度与精度的主要结果

在 PASCAL VOC 2007 的论文对比中，Fast YOLO 为 155 FPS / 52.7 mAP，YOLO 为 45 FPS / 63.4 mAP；Fast R-CNN 为 0.5 FPS / 70.0 mAP。这些数字说明 YOLO 找到了鲜明的速度—精度位置，但比较受论文当时的硬件、实现和训练数据设置约束，不能直接当作今天设备上的延迟承诺。[来源：第 6 页，表 1]

错误画像与适用边界

VOC 2007 误差分析显示，YOLO 顶部检测中的定位错误占 19.0%、背景错误占 4.75%；Fast R-CNN 分别为 8.6% 和 13.6%。这支持一个更细的结论：YOLO 更会利用整图上下文避免“把背景看成物体”，但框的位置更容易偏。[来源：第 6 页，图 4]

论文明确列出三类边界：每格只预测两个框且只有一组类别概率，限制了密集相邻物体；多次下采样使定位特征较粗；训练分布外的新比例或新构型也难以泛化。VOC 2012 上 YOLO 只有 57.9 mAP，低于当时最佳系统，瓶、羊、电视/显示器等类别落后相近对手 8–10 个点。[来源：第 4、7 页，表 3]

论文还在艺术作品中的人物检测上报告了较好的跨域表现：Picasso 数据集上 YOLO 为 53.3 AP，R-CNN 为 10.4 AP；People-Art 上为 45 AP 对 26 AP。这是“某些跨域条件下更稳”的证据，不等于对任意新领域都可靠。[来源：第 7–8 页，图 5]

实际意义

什么时候这个思路最值钱

对需要连续反馈的摄像头、机器人或辅助视觉系统，论文最重要的产品启示是：把检测作为一个联合优化的问题，可以显著减少系统拼装和推理开销。这里的价值不只是一张图片跑得快，而是端到端延迟足够低，能进入实时交互回路。[解释，依据第 1、8 页]

落地前要问的四个问题

• 目标是否常常很小、成群或彼此靠得很近？若是，原版 YOLO 的网格约束可能成为硬伤。
• 指标更怕漏检、背景误报，还是框偏一点？论文显示不同模型的错误结构并不相同。
• 延迟数字是否在你的分辨率、硬件、批量和后处理设置上复测过？论文的 FPS 不能跨环境照搬。
• 新场景与训练图像差多远？艺术数据结果值得关注，但不能替代目标领域验证。

研究附录：术语、来源与待验证点

IoU（交并比） 衡量预测框与真实框重叠程度；mAP（平均精度均值） 汇总多个类别的检测精度；NMS（非极大值抑制） 删除指向同一物体的重复框。本文页码按 PDF 页面顺序计数，论文印刷页码比 PDF 页码少 1。

证据优先级以论文 PDF为主，arXiv 记录用于核对题名、作者与版本。本文没有把后来版本的 YOLO 改进回填到 2016 年论文结论中。

仍值得复核的问题包括：在现代硬件与统一推理框架下，速度排序是否仍成立；在更密集、更小目标的数据集上，网格责任机制损失多少召回；艺术作品上的优势究竟来自整图上下文、训练差异，还是候选区域方法的域偏移。原论文给出线索，但没有分别隔离这些因素。