拡散モデルと画像生成

拡散モデルは、データへ段階的にノイズを加える過程を用意し、その逆向きに画像を生成する方法を学びます。画像を丸ごと記憶して呼び出すだけの仕組みでも、単にぼやけた写真を鮮明にするだけの仕組みでもありません。学習する過程と、生成するときの計算を分けて理解します。

ノイズを足す過程を作る

学習では、元画像をx₀、時刻tのノイズ付き画像をxₜとして、異なる強さのノイズを加えます。代表的な設定では、元画像の成分を徐々に弱め、標準正規分布から取ったノイズεの成分を強めます。どのノイズを加えたかは学習側が知っているため、そのノイズを予測する課題を作れます。同じ画像でも時刻やノイズを変えれば違う訓練例になります。ノイズ付加の手順そのものと、そこから戻す予測器の重みを学習することを区別します。

εを予測する代表的な学習では、既知のノイズと予測したノイズの二乗誤差を小さくします。ノイズの大きさが異なる段階を学ぶため、時刻tもモデルへの条件となります。予測器は、全ての段階で同じ強さの修正をするわけではありません。

生成時はノイズから段階的に進む

生成では、通常はランダムなノイズから始め、学習済みモデルの予測を使って状態を少しずつ更新します。学習用の一枚の写真へ厳密に逆戻りする処理ではなく、学習した分布に沿う画像を作る過程です。予測対象はノイズ、元データ、速度に相当する量など、設計によって異なります。サンプラーは予測結果から次の状態へ進む計算規則で、モデルそのものとは別です。異なるサンプラーの更新式を、対応を確かめずに交換できるとは限りません。

文章を条件として与える

文章条件付きのモデルでは、テキストエンコーダーが入力文を数値列へ変換し、生成側がその情報を参照します。例えば「海辺の灯台」という条件は、ノイズを更新する際にどの特徴を重視するかに関わります。交差注意を使う構成では、画像側の特徴と文章側の特徴を対応付けます。エンコーダーの出力次元や学習された表現が合う必要があるため、好きな文章モデルを接続するだけで同じように動くわけではありません。生成側と組になる部品を確認します。

潜在空間で計算を減らす

潜在拡散では、画像をエンコーダーで小さな表現へ圧縮し、その空間でノイズの除去を学びます。生成した潜在表現はデコーダーで画像へ戻します。これにより、高解像度の画素すべてを各段階で扱う負担を減らせますが、圧縮で失われる細部もあり得ます。画像の圧縮・復元器、ノイズを予測するネットワーク、文章のエンコーダーは役割が異なります。条件を追加するアダプターや追加学習用の重みも、土台モデルとの互換性を確認する必要があります。

設定と品質を切り分ける

シードは乱数の出発点を指定するもので、同じ設定を比較する手掛かりになります。ただし実装や計算精度が変われば、同じシードでも一致しないことがあります。生成段数を増やす、文章条件を強める、といった操作も品質を無制限に改善するわけではありません。線や色が不自然になる場合もあるため、構図、文字の正確さ、対象の数、局所の破綻を別々に確認します。説明図や統計図では、見た目が自然でも数や配置が正しいとは限らず、正確さを別途検証します。

関連項目