用 CLIP 潜变量分层生成文字条件图像

官方标题：Hierarchical Text-Conditional Image Generation with CLIP Latents
作者：Aditya Ramesh、Prafulla Dhariwal、Alex Nichol、Casey Chu、Mark Chen
发表时间：2022 年 4 月 · arXiv:2204.06125

核心结论

它先决定“画什么”，再决定“怎么画”

这篇论文提出 unCLIP，也就是后来用于 DALL·E 2 的生成框架。它把文字生成图片拆成两步：先根据文字预测一个 CLIP 图像表示，定下主体、风格和构图等整体语义；再让扩散解码器把这个表示还原成具体像素。换句话说，它不是一路从文字直接去噪到图片，而是先选一个“可能的画面意思”，再补细节。（来源：摘要、§1、§2）

记住三点：

1. 中间多了一次明确的语义选择。 先验模型把文字映射成可能的 CLIP 图像表示。
2. 多样性主要在画细节之前产生。 不同图像表示可以对应不同构图、视角和风格。
3. 语义压缩既是优势也是瓶颈。 它保留整体意思，却可能丢失颜色归属、准确拼写和复杂小细节。（来源：§5.2–§5.3、§7）

问题

直接扩散生成容易在“更像”与“更多样”之间二选一

扩散模型通常会用引导来提高图像真实感和文字匹配度，但引导越强，样本越容易收敛到相似的构图、颜色和视角。论文想解决的核心矛盾是：能不能提高画面质量，又不把同一句提示词的多种合理解释压成一种？（来源：§1、§5.3）

CLIP 提供了一张共享的“意思地图”

CLIP 已经学会把文字和图片放进同一个表示空间；语义相近的文字与图片会落得更近。论文利用这张地图，把“理解提示词”和“渲染像素”拆开：先决定目标图像在语义空间里的位置，再把该位置解码成图片。CLIP 在训练先验与解码器时保持冻结，因此这不是重新训练 CLIP，而是学习如何生成并反演它的图像表示。（来源：§1、图 2、§2）

方法

训练时，先固定 CLIP，再分别学两个方向

训练数据是图片与说明文字的配对。文字和图片先经过冻结的 CLIP 编码器，得到文字表示和图像表示。先验模型学习“文字 → 图像表示”；扩散解码器学习“图像表示 → 图片”。两者串起来后，才成为完整的文字生成图片系统。（来源：§2、图 2）

先验模型给一句话挑出一种可能画面

作者比较了自回归先验和扩散先验。自回归版本先把 1,024 维 CLIP 图像表示用 PCA 压到 319 个主成分，再逐项预测；这保留了几乎全部信息，平均重建均方误差低于 1%。扩散先验则直接对连续图像表示去噪。实验中，扩散先验在相近模型规模下训练计算量更低，样本质量也更好。（来源：§2.2、§5.1）

解码器把语义补成像素，再逐级放大

解码器接收 CLIP 图像表示，也可同时接收文字，然后从噪声中逐步生成基础图像；两个扩散上采样器继续提高分辨率。训练时，作者有意随机丢弃部分条件，以便推理时使用无分类器引导。关键分工是：先验负责画面的高层选择，解码器负责把已选语义画得更清楚。（来源：§2.1）

证据与局限

最强结果是多样性，不是全面击败 GLIDE

在人类两两比较中，使用扩散先验的 unCLIP 对 GLIDE 的胜率为：真实感 48.9% ± 3.1%、文字匹配 45.3% ± 3.0%、多样性 70.5% ± 2.8%。也就是说，GLIDE 在真实感和文字匹配上仍略占优势，但 unCLIP 的多样性明显更强。比较使用 1,000 条 MS-COCO 验证集说明文字；表中区间为 95% 置信区间。（来源：§5.2、表 1）

在 MS-COCO 零样本评测中，扩散先验版本的 FID 为 10.39，低于论文报告的 GLIDE 12.24；过滤后的对应数字为 10.87 与 12.89。FID 越低通常越好，但它不能替代人工判断，也不能单独说明文字绑定是否正确。（来源：§5.4、表 2）

中间表示还带来变体、插值和文字引导编辑

同一个 CLIP 图像表示可以被随机解码成多个版本。它们保留主体和风格，却改变朝向、形状或局部纹理等非关键细节。两张图的表示还能做球面插值；文字表示之差也能作为方向，推动原图朝新描述变化。这些是论文展示的能力，不等于每次编辑都能精确控制。（来源：§3.1–§3.3）

语义压缩会漏掉需要精确对应的细节

论文明确展示了三类失败：模型可能把两个物体的颜色弄反；生成招牌文字时难以保持正确拼写；复杂场景里的小物体容易缺少细节。作者推测，前两类问题与 CLIP 表示没有明确保存属性归属和拼写有关；复杂细节不足则可能来自较低基础分辨率后再上采样。提高基础分辨率或许能缓解第三类问题，但会增加训练和推理计算量。（来源：§7、图 14–17）

此外，论文没有给出训练数据规模、完整成本或系统性偏差评估，因此不能仅凭这些实验判断部署成本与公平性。作者也提醒，更逼真的生成能力会提高欺骗性与有害内容风险，具体风险取决于训练数据、访问人群和防护措施。（来源：§7）

实际意义

适合先探索方向，再挑一张继续精修

从产品角度看，这套结构特别适合“一句话，多给我几种不同想法”的工作流。先验模型先展开不同构图和风格，解码器再把每个方向画清楚。这个判断是对论文机制和多样性实验的应用解读，不是作者直接验证过的产品结论。（依据：§5.2–§5.3）

不要把提示词当成严格的版式指令

如果任务要求“左边红色方块、右边蓝色方块”、准确招牌文字或密集场景中的精细关系，单靠提示词并不稳。更可靠的流程应加入候选筛选、局部编辑或人工检查；涉及真实人物、新闻素材和公开传播时，还要配合来源标记与安全审核。这些是根据 §7 风险与失败模式给出的实践建议。

研究附录：读原文时值得继续追问

• 多样性优势有多少来自 CLIP 中间表示，又有多少来自不同的采样与引导设置？论文做了多组引导比较，但架构与采样仍共同影响结果。（来源：§5.2–§5.3）
• 属性绑定失败究竟发生在先验还是解码器？图 15 的真实图像重建也会错配，说明至少一部分瓶颈在 CLIP 表示与解码阶段。（来源：§7）
• 自动美学评测使用 CLIP 线性探针，并以 512 条自动生成提示词测试；它衡量的是代理分数，不是普遍审美。（来源：§5.5、附录 A）
• 论文公开的是研究系统 unCLIP；图 1 另有生产版本样例，两者不应被当作完全相同的实验对象。（来源：图 1、§1）