零样本文本到图像生成

官方源标题： Zero-Shot Text-to-Image Generation
作者： Aditya Ramesh、Mikhail Pavlov、Gabriel Goh、Scott Gray、Chelsea Voss、Alec Radford、Mark Chen、Ilya Sutskever
版本： arXiv:2102.12092v2，2021-02-26｜摘要页｜论文 PDF

核心结论

三句话记住这篇论文

1. 先把图像变成“词”。 论文用离散变分自编码器（dVAE）把一张 256×256 的 RGB 图像压成 32×32 个离散图像 token，让 Transformer 不必逐像素建模。论文第 2 页，方法概览
2. 再把文字和图像当成同一种序列。 最多 256 个文本 token 与 1024 个图像 token 被接成一条序列，由 120 亿参数的自回归 Transformer 逐个预测。论文第 2、4 页
3. 规模带来了强泛化，但并不免费。 模型用 2.5 亿互联网图文对训练；在 MS-COCO 上零样本表现强，却依赖从 512 个候选中重排，在专业鸟类数据集 CUB 上还明显落后。论文第 4、6–7 页

一句话说，这篇论文把文本生成图像改写成了类似语言模型的任务：给定文字开头，继续写出一串图像 token。 它证明了“大数据 + 大模型 + 简单统一目标”可以在不针对目标数据集训练的情况下，与专用模型竞争；但论文没有证明这种路线在所有领域都更好，也没有消除数据、算力和候选筛选成本。

问题

旧路线为什么难扩展

此前的文本生成图像系统常在固定小数据集上加入专门架构、辅助损失、注意力机制，甚至分割掩码或部件标签。它们能改善特定基准，却把进步绑在任务定制上；生成结果仍常见物体变形、位置不合逻辑、前景与背景融合生硬等问题。论文第 1 页

论文追问的是：限制因素会不会主要是数据规模和模型规模，而不是缺少更复杂的专用技巧？为检验这一点，作者没有在 MS-COCO 的训练标签上微调模型，而是直接用互联网图文对训练，再做零样本评估。这里的“零样本”指没有使用目标基准的训练文本标签来适配模型，不是“训练时完全没见过相关视觉概念”。

为什么不能直接把像素喂给 Transformer

直接把高分辨率像素排成长序列，会占用巨大内存；似然训练还容易把容量花在相邻像素纹理上，而不是物体轮廓和空间结构。作者因此先压缩图像：256×256×3 的像素表示变为 32×32 的离散网格，每格从 8192 个码本项中取一个值，使 Transformer 的上下文长度减少 192 倍。论文第 2 页

图 1｜原创教学图。压缩让模型把更多容量用于可识别的大结构；代价是高频细节会丢失。图中是概念示意，不是实验数据图。依据：论文第 2、7 页。

方法

第一阶段：学习视觉词表

dVAE 的编码器把每张图像映射为 32×32=1024 个离散 token，码本大小为 8192；解码器再尝试从这些 token 重建图像。作者采用 Gumbel-Softmax 松弛来训练离散表示，并指出压缩后的重建通常保留主要特征，但文字、细线和纹理可能丢失或扭曲。论文第 1–3 页，图 1

第二阶段：统一预测文字与图像

文本先以 BPE 编码，最多 256 个 token、词表大小 16,384；随后与 1024 个图像 token 拼接。一个 64 层、120 亿参数的稀疏解码器式 Transformer 对这条联合序列做自回归建模，每个图像 token 都能关注全部文本 token。论文第 4 页，§2.2

图 2｜原创教学图。训练时先学会把图像压成离散 token，再学习文字与图像 token 的联合分布；生成时从文本开始，逐个补出图像 token，最后解码成图。依据：论文第 2–4 页。

生成阶段：先多画，再筛选

模型并非只生成一张图。论文通常为同一文本采样 512 个候选，再用一个预训练的对比式文本—图像模型打分重排；论文的主要定性与定量结果默认采用这一设置。作者发现，候选数增加到 32 前，FID 和 IS 持续明显改善，之后收益递减。论文第 6–7 页，图 6、图 9(c)

图 3｜原创教学图。重排把一次生成变成“先搜索许多候选，再挑最匹配者”；它提高最终样本质量，也把额外计算带进推理流程。依据：论文第 6–7 页。

证据与局限

最强证据：MS-COCO 零样本人评

在 MS-COCO 文本上与 DF-GAN 做五选一人评时，该模型的图像被选为更真实 的比例是 90.0%，被选为更符合文本 的比例是 93.3%。它的 FID 与当时最佳专用方法相差不到 2 分，而且没有使用 MS-COCO 的训练文本标签。论文第 7 页，图 7、图 9(a)

不能略过的四个限制

• 数据并非完全隔离。 训练集含 YFCC100M 的过滤子集，约覆盖 MS-COCO 验证图像的 21%，但没有对应标题；作者移除重叠图像后未观察到显著变化。CUB 的图像重叠率约 12%，移除后结论同样未明显改变。这降低了“图像泄漏解释全部结果”的可能性，但人工阈值去重不能证明不存在其他语义或近重复重叠。论文第 4、7–8 页，§3.2
• 专业领域表现弱。 CUB 上近 40 分的 FID 差距，是论文自己给出的最明显反例；作者只把微调列为未来方向，并未在本文验证。论文第 7 页
• 压缩会吃掉细节。 dVAE 有利于建模全局结构，却难以生成高频纹理、清晰小字和细线。模糊半径为 1 时，本方法的 FID 反而领先约 6 分，也从侧面说明指标会受到这种频率偏差影响。论文第 7 页
• 能力并不稳定。 论文展示了概念组合、文字渲染和简单图像转换，但明确称可靠性有限；例如“穿圣诞毛衣的刺猬遛狗”有时会让两只动物都穿毛衣，或把狗画成另一只小刺猬。论文第 8 页，§3.3

另外，训练本身需要 1024 张 16GB NVIDIA V100 GPU、总计 430,000 次更新。这是证明可扩展性的工程成果，也是复现门槛。论文第 14 页，附录 B.2

实际意义

对产品与研究的启发

这篇论文最值得带走的不是某个具体分数，而是一种设计取向：先把不同模态变成离散序列，再让一个足够大的通用模型学习它们的联合分布。这是基于论文结果的解释，不是作者已验证的普遍定律。 对产品团队而言，它意味着自然语言可以成为统一控制界面，同一模型也可能出现未单独训练的组合与转换能力；但体验质量会受候选采样数量、重排器、数据覆盖和生成延迟共同影响。

使用前应该追问什么

1. 若只允许生成 1 个或少量候选，而不是 512 个，质量下降多少？
2. 在医疗、工业、地域文化等窄领域，不微调时是否重现 CUB 式退化？
3. 训练数据的授权、偏差和人物隐私如何审计？本文没有提供足以回答这些部署问题的分析。
4. 人评是否覆盖长文本、计数、空间关系、小字和罕见概念，而不只覆盖常见 MS-COCO 描述？
5. 端到端成本应按“生成全部候选 + 重排”计算，还是只报告单次前向推理？

研究附录：术语、来源与复核清单

关键术语

• 零样本（zero-shot）： 不用目标评测集的训练标签适配模型，直接在该任务上评估；不等于训练数据与目标概念毫无关系。
• 自回归（autoregressive）： 每一步根据先前 token 预测下一个 token。
• dVAE： 把连续图像压成离散码，再从离散码重建图像的变分自编码器。
• FID / IS： 比较生成图像分布与真实图像分布、或衡量可辨识性与多样性的自动指标；它们不能代替人评，也会受预处理影响。
• 对比模型重排： 用另一个图文匹配模型给候选打分，再保留与提示更匹配的结果。

证据账本

• 问题与主张：摘要、§1，论文第 1–2 页
• dVAE 与联合 token 流：§2、§2.1、§2.2，论文第 2–4 页
• 数据规模与重叠来源：§2.3、§3.2，论文第 4、8 页
• 候选重排：§2.6、图 6，论文第 6–7 页
• 人评、FID、CUB 反例：§3.1、图 7、图 9，论文第 7–8 页
• 组合能力及失败例：§3.3，论文第 8 页
• 训练硬件与步数：附录 B.2，论文第 14 页

仍不确定的事项

• 论文未给出完整训练数据清单，因此无法从本文独立审计版权、人口统计偏差或隐私风险。
• 主结果混合了生成器与外部重排器的贡献；图 9(c) 展示候选数影响，但没有覆盖所有人评设置下的单样本差距。
• 论文以 2021 年的基线为参照，结论应理解为当时的研究证据，而不是对后来系统的横向排名。