潜在拡散モデルによる高解像度画像生成

原題: High-Resolution Image Synthesis with Latent Diffusion Models
著者: Robin Rombach, Andreas Blattmann, Dominik Lorenz, Patrick Esser, Björn Ommer
発表: CVPR 2022 / arXiv:2112.10752（v2, 2022-04-13）

要点

まず覚えたい3点

1. 画像そのものではなく、画像を小さく表した潜在表現でノイズ除去を学ぶ。 これが Latent Diffusion Model（LDM）の中心です。
2. 圧縮は強ければよいわけではない。 画素をほぼ残すと計算が重く、潰しすぎると細部を戻せません。論文では空間方向を 4〜8 倍縮める領域が、品質と効率のよい折衷でした。
3. テキストやレイアウトを同じ生成器へ渡せる。 クロス注意を使い、テキスト生成、超解像、インペインティングなどを共通の枠組みで扱います。

一言でいうと

この論文は、拡散モデルが担当していた「見えにくい細部の圧縮」と「画像内容の生成」を分業し、前者を事前学習済みオートエンコーダーへ任せることで、生成品質を大きく落とさず計算対象を小さくした研究です。著者の主張は、単なる高速化ではなく、細部を残せる程度の穏やかな圧縮 と拡散モデルの生成力 を組み合わせた点にあります（論文 Sec. 1, pp. 1–2）。

問題

なぜ画素空間は重いのか

通常の拡散モデルは、ノイズだらけの画像から少しずつノイズを取り除きます。高解像度になるほど画素数が増え、その大きな配列に対してニューラルネットを何度も実行する必要があります。論文が比較対象として挙げる強力な画素ベースモデルでは、学習に 150〜1000 V100 GPU日、単一 A100 で 5万枚を作るのに約 5日、生成時には 25〜1000ステップ が必要でした。これらは先行研究 [15] の条件を引用した問題設定であり、すべての拡散モデルに共通する固定値ではありません（論文 Sec. 1, pp. 1–2）。

見えにくい細部にも計算を使う

デジタル画像には、人がほとんど気づかない高周波の細部も大量に入っています。学習目標でその重要度を下げても、画素空間で動く限り、ネットワークと勾配計算は全画素を通ります。著者はここに余分な計算があると見て、「知覚的には同等だが、もっと小さい空間」を先に作る方針を採りました（論文 Fig. 2 / Sec. 3, pp. 2–3）。

方法

2段階に分ける

まずオートエンコーダーを学習し、画像 x をエンコーダー E で2次元の潜在表現 z = E(x) に圧縮します。次に U-Net 型の拡散モデルをその潜在表現上で学習し、ノイズから z を復元します。生成後はデコーダー D を一度通して画像へ戻します。オートエンコーダーは再利用できるため、生成タスクごとに高価な画素空間の拡散学習をやり直す必要を減らせます（論文 Sec. 3.1–3.2, pp. 3–4）。

条件入力をクロス注意で差し込む

テキストなどの条件 y は専用エンコーダーでトークン表現にし、U-Net の中間特徴へクロス注意で渡します。これにより、条件は画像へ直接変換されるのではなく、各ノイズ除去ステップが「何を作るか」を参照する手がかりになります。論文ではテキストのほか、クラス、セマンティックマップ、レイアウトなどを扱いました（論文 Sec. 3.3, pp. 4–5）。

圧縮率には適域がある

空間方向の縮小率を f とすると、幅と高さはそれぞれ 1/f になります。小さすぎる f は計算削減が弱く、大きすぎる f は情報を失います。同じ A100、同じステップ数、同じパラメータ数で f = 1, 2, 4, 8, 16, 32 を比べた実験では、著者は LDM-4 と LDM-8 を特によく振る舞う領域とまとめています。LDM-32 は圧縮が強すぎ、品質が早く頭打ちになりました（論文 Sec. 4.1 / Figs. 5–6, pp. 5–6）。

証拠と限界

強い証拠は同条件の比較

最も因果が読みやすいのは、同じ計算予算で縮小率だけを変えた比較です。ImageNet の実験では、画素空間に相当する LDM-1 と弱い圧縮の LDM-2 は学習が遅く、強すぎる LDM-32 は品質が制限され、LDM-4〜16 が効率と忠実度の折衷になりました（Sec. 4.1）。

インペインティングの同規模比較でも、LDM-1 に対して LDM-4 は、256×256 の学習スループットが 0.11 → 0.32〜0.35 samples/s、256×256 の生成が 0.26 → 0.97〜0.99 samples/s。1 epoch は 20.66時間 → 6.66〜7.66時間 でした。著者の集約では少なくとも 2.7倍の高速化 です（論文 Table 6, p. 8）。

タスク別の結果は分けて読む

これらは「一つの尺度ですべてに勝った」という結果ではありません。たとえば超解像では LDM が FID で優れる一方、SR3 は IS と細構造の一貫性で優れ、単純な回帰モデルは PSNR と SSIM が高いもののぼけやすい、と著者自身が整理しています（論文 Sec. 4.4, pp. 7–8）。

何がまだ確定していないか

• 潜在表現が捨てた細部は、後段の拡散モデルでは取り戻せません。圧縮率の最適値はデータの複雑さに依存します。
• 反復的な生成は残るため、潜在空間に移しても推論が一回で終わるわけではありません。
• 主要比較は特定の GPU、データセット、解像度、サンプラー、ステップ数に依存します。実運用の速度や費用は同じとは限りません。
• 論文は品質・効率を示しますが、学習データの偏り、著作権、悪用、人物表現の公平性、安全な公開方法を実証的には解決していません。
• 256×256 で学習したモデルを 512×1024 などへ畳み込み的に適用できる例は示されますが、あらゆる構図・解像度で一貫する保証ではありません。大型インペインティングモデルでは 256 と 512 の品質差が生じ、512 で追加微調整しています（論文 Sec. 4.3.2–4.5, pp. 7–8）。

実務的な意味

製品設計への示唆

ここからは論文結果にもとづく解釈 です。画像生成サービスを作る側にとって、LDM は「生成器を大きくする」以外の拡張軸を示しました。再利用可能な圧縮器、潜在空間の生成器、条件エンコーダーを分ければ、同じ基盤をテキスト生成、修復、超解像などへ展開しやすくなります。一方で、圧縮器が品質上限を決めるため、顔、文字、小物、医療画像のように細部が重要な用途では、速度だけで f を決めるべきではありません。

導入前に確認すること

1. 自分のデータで、圧縮前後の細部は許容範囲か。
2. 同じ品質目標・同じ生成枚数で、画素ベースとの実測コスト差はどれくらいか。
3. FID だけでなく、人手評価、テキスト条件への適合、局所破綻、安全性を測っているか。
4. 学習解像度を超えたとき、構図や繰り返し模様が崩れないか。
5. 圧縮器や条件エンコーダーを替えたとき、全タスクを再評価できるか。

出典の見取り図

正式タイトルと書誌情報は arXiv の一次ページで確認できます。方法の中心は論文 Sec. 3、圧縮率の比較は Sec. 4.1、テキスト生成は Table 2、超解像は Sec. 4.4 と Table 4、インペインティングは Sec. 4.5 と Tables 5–7です。本文中の「解釈」と明記した箇所は著者の直接主張ではなく、これらの結果から導いた実務上の読みです。