【解説】衣装差分・ポーズ差分画像生成方法
Added 2023-09-01 12:57:40 +0000 UTC※本記事での画像生成AIは、Stable Diffusion 1.5系列です。
# 1.はじめに
この記事では、txt2imgの生成画像をもとに差分画像（着衣/脱衣やポージングなど）をimg2imgで生成することを目的としています。
なお、ControlNet登場以前から使っていた方法なので、ControlNetは使いません。
差分画像の生成は、text2video（プロンプトから動画への生成）での始点・終点の画像を作りたいニーズから、今後も注目されるものと考えています。
ただ、基本的な方法は、次の記事で既に書き記しています。
こちらを読んでいただければ、大体事足ります。
そのため、この記事では補足的な内容を書いていきます。
# 2.前提条件
# 3.生成例
※プロンプト自体は新規性がないため、省略します。
気になる方は、以前の記事を読んでください。
# 4.解説
元画像に色を塗ってぼかすことで、img2imgにおいてその箇所に集中して直してくれるイメージがあります。
実際、上の差分画像はそのようにして再生成していますが、ターゲット箇所以外はあまり変わっていないです。
これは、現在の画像生成AIが、ノイズ除去（ノイズをかけた画像から元画像を推測する）を原理とするものだからと説明できます。
ターゲット箇所の色塗りやぼかしによって、その箇所にノイズが残るため、集中して"ノイズ除去"されているのだと考えられます。
# 5.おわりに
比較的簡単なテクニックで、以前から紹介記事を公開しているのですが、何となくpixivでは知られていない印象を受けています。
そのため、この記事を書かせていただきました。
（おわり）
