手修正の最適解は？破綻を直す7つの方法「＋１」

こんばんは、スタジオ真榊です。今夜はAIイラストの鬼門の一つである「破綻した手の修正」に関する大型記事です。image2imageやNegativeEmbeddings、Controlnet、LoRA、LamaCleanerなど、これまで考案されてきたさまざまな修正方法を網羅的に紹介しつつ、「①修正力の強さ」「②手軽さ」「③侵襲性（手以外への影響）」に分けて実力を検証。2023年6月現在での最適解は何かを探ってみました。

AIイラストにおける手修正の歴史

私がAIイラストに触り始めたのは2022年10月。当初はNovelAIのプロンプト研究やイラスト生成に始まり、23年1月にStableDiffusionによるローカル生成に移行、以来Controlnetなど次々に登場する技術の検証に夢中で取り組んできました。

この間実にさまざまな革新と発明が繰り返されてきましたが、いまだに手の崩壊の抜本的解決には至っていません。それほど、見る角度や握り方によって形状が複雑に変化する人間の手はAIによる表現が難しく、高精細なイラストが作れるようになるほどにAIユーザーの悩みの種となってきました。

もちろんこの間、崩壊した手をきれいに修正するべく、AIを使ったさまざまな方法が編み出されてきました。黎明期における最も単純な対策法は、おおまかに肌色で手の形を描いて、その部分だけi2iしてみる方法。次に、ローカル生成ではTextual Invarsionという追加学習方法を使って破綻を防ぐ「NegativeEmbeddings」を使う方法が流行しました。その後、Controlnetの登場によって線画レベルで手を修正したり、Openposeやdepth（深度情報）を利用して手の形を固定させる試みが勃興。最近はLamaCleanerやジェネレーティブ塗りつぶしといった技術が使われるようになり、余計な指をサッと消したり、手全体をいちから描き直してもらったりすることが簡単にできるようになりました。

次の項からは、現在ローカル生成で一般的に行われているこれらの方法について、メリット・デメリットを詳しく見ていきます。

①NegativeEmbeddings

②Depth map library

③Lineartで線画修正

④Openpose Editor

⑤「EnvyBetterHands」LoCON

⑥LoRAで手修正

⑦消しゴムマジック

①NegativeEmbeddings

修正力：★☆☆（そこそこ）

手軽さ：★★★（めっちゃかんたん）

侵襲性：★☆☆（手以外もかなり変わる）

さまざまな修正方法の中で、最も手軽かつポピュラーなのが「NegativeEmbeddings」。手足や指が崩壊していたり、低劣な品質の画像といった「悪い例」ばかりを学習させたものをネガティブプロンプトに「埋め込み（embedding）」することで、逆にイラストを高品質化させようという取り組みです。

一つ一つのファイルがごく軽く、導入も呼び出し方も非常に簡単（※embeddingsフォルダに埋め込み用のファイルを放り込み、ネガティブプロンプトに拡張子を除いたファイル名を書き込むだけ）とあって、すぐに普及。「Easynegative」や「bad-artist」「bad_prompt（特にver.2）」といったファイルが人気を集め、広く使われてきました。「ネガティブプロンプトにはデフォルトでこのへんを放り込んでました」というユーザーも多かったと思います。

ただ、「Easynegative」や「bad_prompt ver.2」などはイラスト全体の高品質化を促すものだけに、破綻していない部分の絵柄にも大きく影響します。そのため、本来の絵柄と離れた、マスターピース顔ならぬ「Easynegative顔」になってしまうことに留意が必要。そこで、特殊なプロンプト記法でSTEPに掛かる効果を制御することも流行しました。例えば、[(Easynegative:1.0)::0.5]とすると、前半のステップだけにEasynegativeを掛けることができます。

その後、全体の品質向上だけでなく、手の修正に特化したファイルも作られるようになりました。よく知られているのは、例えば次のようなものです。

・badhandv4

・bad-hands-5

・negative_hand

それぞれ修正力や侵襲性（手以外の部分がどれくらい変化するか）に違いがありますが、どんな手の形のイラストにどんな強さで適用するかによって結果がまちまちで、「これをこの強さで入れておけば手がキレイになる」と言い切るのはなかなか難しいです。体感的には修正力が強いと侵襲性も強くなる傾向にあるようです。

②Depth map library

修正力：★★☆（うまくいくとしっかり直る）

手軽さ：★★☆（ただし設定は難しい）

侵襲性：★☆☆（手以外もかなり変わる）

その後、Controlnetの登場によって、手修正の歴史も大きく転換点を迎えました。これまでは「低品質なものを覚えさせて高品質にする」か「image2imageの仕組みで何とかする」しか選択肢がなかったところに、深度情報や線画を使って「このへんにこんな感じでこういう絵を描いて」と具体的な指示ができるようになったわけです。

特に、3月に紹介したこちらの拡張機能「Depth map library」は画期的な試みでした。

【ゲームエンド!?】controlnet拡張で手の描写を支配しよう！

こんばんは、スタジオ真榊です。なぜか本日突如として7年間続いたシャドウバンが解けまして、ツイッター上でたくさん通知が来て楽しい一日を過ごせました笑　18禁アカウントなのにいいんですかねイーロンさん… さて、本日は非常にエキサイティングなControlnetの拡張機能が登場しましたので、さっそく実験をしてみました...

多数の手の形をしたdepthマップをWebUI上で拡縮・回転・反転させて、手の形をAIに印象づけられるというユニークな拡張機能。当時の空気感も含め、詳しい使い方は当時の記事をご覧いただければと思います。

【ポイント】

・Controlnetのプリプロセッサ「Lineart_realistic」「LineartAnime」「Depth_zoe」「Depth_midas」などで読み込む（モデルはそれぞれ対応したlineartかdepth）

・Depth系の場合、Controlnet画面上にある「Guidance Start（Start control step）」の値を「0」ではなく「0.1~0.2」程度にしないと、手しかない不自然な絵が生成されてしまうので注意。

設定にややコツがいることと、あらかじめ登録してある手の形しか使用できないという弱点はありますが、自分で新たにポーズ画像を追加することもできますし、ウェブ上で公開されているものを一気に大量導入することも可能。始めて使ったときの感動は大きく、いまでも使っている人は多いのではないでしょうか。

「NegativeEmbedding」による手修正が「お祈り・お守り」系の修正方法なら、こちらは明確な修正像がある人向けの修正方法と言えます。うまく調整すれば、このように遠近感を誇張した「漫画パース」にすることもできます。

Civitaiでは、Libraryで使える900ものdepthマップが配布されていますので、ありがたく使わせてもらっています。

ダウンロード後に解凍して 「extensions\sd-webui- Depth-lib\maps」フォルダに放り込むだけです。フォルダ配置後にUIを再読み込みすると、このようにHandsとShapes以外のメニューが増えます。

それぞれのフォルダに「パー」「グー」「チョキ」などの手の形だけでなく、スマホを持ったり、両手でハートを作ったりと、さまざまなマップが入っているので、大変便利です。

③Lineartで線画修正

修正力：★★☆（失敗もあるが、意図した通りに直せる）

手軽さ：★☆☆（手描きで線画を直すのは面倒）

侵襲性：★★★（ほとんど変わらない）

Controlnetの線抽出モデル「Canny」や「Softedge」の登場により、AIイラストにも線画ブームが訪れました。ある画像Aから線画（主線）を抽出し、同じ線を引き継いだ画像Bをプロンプトも参照しながら描いてもらうことが可能になったのです。線画LoRAとの併用やcontrolnet1.1から合流した「Lineart」により、ほぼ線画レベルで余計な部分を消したり、破綻を修正したりすることができるようになりました。

例えば、こちらのイラストの崩壊した手を修正するとしましょう。

まずはプリプロセッサ「LineartAnime」に掛けて黒背景の線画を呼び出します。これをCLIPSTUDIOなどの画像編集ソフトで読み込み、手の部分をおおまかに塗りつぶすか、白い線で手の形をしっかり書いてしまいます（▼）

あとはこれをControlnet画面の左側に読み込ませて、下記のような設定に。ついでにもう一つControlnet画面を開いて、修正前の画像をReferenceOnlyで読み込んでおきます。

あとは、Seed値などを最初にこの画像を作ったときと全く同じ設定で生成すれば･･･

このように修正することができました。「人力マージ」（二枚を重ねて余計な部分をスプレータイプの消しゴムで消してなじませること）すれば、なお侵襲性はなくなります。絵心のある人、手描きするのが面倒と感じない人にとってはかなり手っ取り早い方法ですね。

ただ、線画レベルでは上手に直せていても、それをAI側がきちんと解釈してくれるかは別の話。さっきの設定で同時４枚生成すると…

このように成功率はさほど高いわけではなく、うまくいった１枚も袖の長さが変わってしまっているのがわかります。修正前の１枚とうまくいった修正後の１枚をレイヤーで重ねて、よいところを取捨選択して取り入れる作業が必要になってしまうわけですね。

ここでカンのいい人は「あれ、いまControlnetを使うならもっといい方法があるんじゃ…？」と気づいたと思いますが、とりあえず話を先に進めます。

④Openpose Editor

修正力：★★☆（なかなかヒット率が高い）

手軽さ：★☆☆（簡単な形ならともかく、複雑な手の形の修正は難しい）

侵襲性：-（他のCNとの組み合わせによって変わる）

ポーズ差分の記事でも紹介した「Openpose Editor」を使って、ボーン操作で手の形を指示することもできるようになりました。インストール方法や細かい使い方はこちらの記事参照。

最新のControlnetで差分イラストを作ろう！（ポーズ差分編）

こんばんは、スタジオ真榊です。前回の「表情・服装編」に続き、Controlnetで作れる現状で一番簡単な差分の作り方について検証したいと思います。今回は「ポーズ差分編」です！ このように、ポーズを一部だけ改変したり… キャラデザインや背景を維持したまま、Openposeで全身異なるポーズに変更したりする方法について検...

Openposeでボーン情報を抽出した後、「Edit」ボタンを押すとこの画面に。画面左側にある「左手を追加」で、このように左手のボーンが表示されます。

このボーンを使って生成したのがこちらの画像。

左下は骨折してしまっていますが、なかなか打率は高いようですね。キャンバス上でかなり大きな範囲に手が描かれているためこのようにうまくいっていますが、もっと小さい被写体の場合はここまで打率よく直せないかもしれません。

また、このように「パー」を作るだけなら簡単なのですが、ボーン操作で思ったような形に指を動かすのは非常に難しく、また完全にそれが再現されるわけではないところに留意が必要です。Depth map libraryではもともと登録されていたマップ（手の形）しか再現できないのに比べ、こちらは任意に調整できるのが強みなのですが、面倒さで言えば線画での修正とどっこいどっこいです。

・使いたいDepthMapがある→Depth Map Library

・輪郭は固定せず、手やポーズをやんわり指示したい→Openpose Editor

・輪郭をしっかり固定して、手だけを任意に修正したい→Lineart

…というふうに使い分けるのが良いように思えます。

⑤手修正LoCON「EnvyBetterHands」

修正力：★★☆（偶然性に左右されるが、かなり直る）

手軽さ：★★★（適用するだけなのでかんたん）

侵襲性：★★☆（手以外はそれほど変わらない）

手の修正においてはNegativeEmbeddingが長く支持されてきたわけですが、その後LoRAやLycorisといった別の追加学習方法でも、手の修正に特化したものが登場してきました。

こちらはLoRAではなく、LyCORISの一種「LoCon」。LoRA以降もより高効率・高機能を求めて「LoCon」や「LoHA」といったさまざまな追加学習のアルゴリズムがリリースされていますが、それらはまとめて「LyCORIS」と呼ばれています。

できることはLoRAと似ていますが、LyCORISはこちらの拡張機能を事前にインストールしないと使うことができない点に注意が必要。また、インストールが終了したら、「UIの再起動（Restart）」ではなく、いったんコマンドプロンプト画面を終了して再起動させることを忘れないようにしましょう。

無事インストールできたら、あとは「table-diffusion-webui\models\LyCORIS」フォルダにLyCORISモデルを放り込んで、LoRAと同様に花札のマークから呼び出すだけです（トリガーワード不要）。公式によると、プロンプトにnice hands, perfect handを、ネガティブに(extra fingers, deformed hands, polydactyl:1.5)を加えると最良の結果が得られたとのこと。

こちらはさきほどのチャイナ服ミナさんのイラストにそのプロンプトを加えて生成したものです（Lineartと併用で、手の周辺だけ線画を塗りつぶして生成しました）。

けっこういい感じに見えますが、残念ながらこれはチェリーピックしたもの。各種Negative Embeddingsよりもやや良い結果が出るように感じていますが、打率はやはり20~30%くらいかな、と思います。

⑥LoRAで手修正

・ハイポリLoRA

修正力：★☆☆（あんまり実感できない）

手軽さ：★★★（適用するだけなのでかんたん）

侵襲性：☆☆☆（全体的・圧倒的に変わる）

こちらは手修正モデルではなく、ハイポリ3D モデル画像を学習した LoRA。かなりフォトリアル調に寄るかわりに、手の造作がアニメ調イラストよりもかなり正確になる効果があるようです。絵柄を大きく変化させたくない場合は、ネガティブプロンプトに「3d, realistic」タグを入れると変化をある程度防ぐことができます。花札ボタンから呼び出せば、先ほどの手修正LoConと同様、トリガーワード不要で適用可能です。

普通にweight1.0で生成するとこんな感じ。ネガティブに「3d, realistic」を入れてあります。

顔は…まあコメントしないことにして、手を見てみますと、工夫したらうまくいく感じもなきにしもあらず…？

ただ、ここから人力マージやi2iする面倒臭さを考えると、ちょっと採用できないですね。

・K-HandMix

こちらは純粋に手のクローズアップ画像だけでトレーニングされているLoRA。トリガーワードは「hand101」。0.6 以上のウェイトで使用することで機能するとのことです。キャンバス上に手だけを描くことに特化したものですが、インペイントなどと併用することでうまく使える可能性があり、今後研究したいと思っています。

⑦消しゴムマジック

修正力：★★☆（直せるものと直せないものあり）

手軽さ：★★☆（SDwebUI外でやるので少し面倒）

侵襲性：★★★（上手にやれば侵襲性なし）

ここからはもう最近のできごとですので、細かく紹介しなくても理解されていると思います。LamaCleanerでは小さな破綻をリズミカルに修正していくことが可能になり、adobeジェネレーティブ塗りつぶしではより広い範囲を「消しゴムマジック」することも可能になりました。このあたりはどちらも最近記事にしているので、そちらをお読み頂くのがよいかと思います。

手の修正については、完全にぐちゃぐちゃになってしまったものは容易に直せませんが、LamaCleanerで余計な６本目の指を消すくらいなら簡単にできますし、ジェネレーティブ塗りつぶしでは実写の手のようになってしまうものの、手全体を塗りつぶして生成を繰り返すとそれなりに整った手を出してもらえることがあります。（タッチがあまりに異なるので、i2iなどで馴染ませる必要があります）

これはLamaCleanerで６本目の指を直した例。余計な指を塗りつぶせば…

数秒でぱっとこの通り。かんたん！

さて、ここまで①～⑦と、現在よく知られている手の修正についてまとめてきました。さきほど「カンのいい人は…」と書きましたが、意図的に省いていたものが一つあります。そう、このところスタジオ真榊でずっと研究しているControlnet機能「InpaintOnly」です。

初登場時に書いたこの記事で、「実験3：InpaintOnlyで手の修正はできる？」という項目がありました。

Controlnetでジェネレーティブ塗りつぶし？「InpaintOnly」の真価

こんばんは、スタジオ真榊です。このところ「ジェネレーティブ塗りつぶし」関連の記事が続いていますが、今回はControlnetに実装された新プリプロセッサ「InpaintOnly」で、疑似的にジェネレーティブ塗りつぶしができるのか？という検証記事です。 そもそもInpaintOnlyはこれまでのControlnet「Inpaint」と何が変わった...

このときは「InpaintOnlyとBadhand_v4、手修正LoConなどを組み合わせたが、さほどうまくいかなかったよ」というような内容でしたが、その後InpaintOnlyとほかのCNを組み合わせた差分作りに習熟してきたので、改めてベスト設定を考えてみます。

最近差分記事を読んで頂けた方にはいまさらかもしれませんが、InpaintOnlyは元画像のマスクした部分だけを変化させ、かつマスク外と矛盾しないよう馴染ませられる力を持っています。つまり、ここまで語ってきた「侵襲性」の問題を一発解決できる可能性があるわけです。これまでの７つの方法と組み合わせて、どんなことができるか実験しました。

実験１：「InpaintOnly＋手修正LoCon」

これは誰でも思いつきますね、手修正LoConが画面全体に影響することをInpaintOnlyで防ぐ方法です。これはControlnetを一つしか使わないので、非常に簡単な方法になります。

こちらのイラストを直すとしましょう。左手が指六本、右手親指がおかしくなっていますね。

まずはInpaintOnlyを開き、このように手の部分を大きめに塗りつぶします。

最初の実験では、LoConの部分掛けだけできれいになるのか確かめたいので、修正対策はこれ一つだけで生成してみます。

その他の設定はこんな感じ。InpaintOnlyを使ったことによって、マスク部分に関連するものだけをプロンプト指示すればよいですね。手修正LoConをweight1で掛け、「perfect hand」などを入れました。

結果はこちら。

指の長さなどバランスはそれぞれ違いますが、ほぼ手間が掛かっていない割にはなかなかの結果です。指６本現象は依然起きていますが、消しゴムマジックでどうとでもなる感じですね。

さらに実験を続けましょう。これに何を足せば、より思った通りの形にできるでしょうか。

実験２：「InpaintOnly＋手修正LoCon＋negative embeddings」

そのまんまですね。さきほどの設定に加え、(badhandv4:1.5)をネガティブに足して生成したのがこちら。

うーん、意外にもクオリティが落ちたような。ピースになっていなかったり、だまし絵みたいになっていたり…。

BadhandV4が強すぎたのかと思い、強さを1.0に戻しつつ、easynegativeやbadprompt ver.2を加えたのがこちら。

badhandv4,easynegative

badhandv4,bad_prompt_version2

頑張ってはくれている感じはしますが、AIおまかせのフリーハンド（まさに）で完璧に直してもらうのはやや厳しいようです。別の路線を探ってみましょう。

実験３：「InpaintOnly＋Depth Map Library＋手修正LoCon」

さきほどのケースにDepth Map Libraryを加えたケースです。このように、大量のマップの中からピースサインを探し、ちょうどいい位置に置きましょう。

InpaintOnlyとは別の画面で、Lineart realisticで読み込ませます。「Softedge」や「depth」「LineartAnime」を使う方法も考えられるのですが。今回はこちらを選びました。depthの場合はStarting control stepを0.2前後にする必要があるのですが、lineartは０から掛けても崩壊しないこと、またInpaintOnlyと相性がよいと感じていること、手の外側の輪郭だけでなく、指一本ずつの輪郭がシャープに抽出されることーなどが理由です。

結果がこちら。

右上はしっかり意図した通りの出来になっていますね。ただ、ここまで手を掛けた割には打率がほどほどなのが気になります。seed値によって大きく出来が上下してしまうのはいただけないので、「Control weight：1.2」にしてさらにしっかり輪郭を強調してみますが…

思ったようには改善しません。そこで、輪郭系ダブル掛けを試してみます。

実験４：「InpaintOnly＋Depth Map Library（lineart+depth）＋手修正LoCon」

ややこしいですが、さきほどのLineartの設定に「depth zoe」を加えただけです。Lineartをcontrol weight1.2で強めるのではなく、Lineartとdepth zoeをダブル掛けすることで輪郭を強めてみようという実験ですね。

①InpaintOnly：手周辺を塗りつぶす

②Lineart realistic：輪郭抽出

③Depth zoe：深度情報抽出

という３本立てのControlnet画面になります。depth zoeの設定画面はこんな感じ。stepは0.24あたりから掛けてみます。

結果はこちら。

つ、強い！強さは感じる…けど、いろいろ問題が生じてしまってますね。手の外側の輪郭を見ると、かなりマップ通りに解釈されていることがわかります。しかし、袖の崩壊や手袋が現れる問題が看過できないレベル。そのわりに手は完璧というほどでもないのも気になります。

実験５：「InpaintOnly＋Depth Map Library（lineart✕２）＋手修正LoCon」

これはLineartAnimeとLineart realisticをダブル掛けしてみようという試み。結論からいうとなかなかうまくいったのですが…

やはり袖口が問題になってしまいました。あとから修正することを考えても、やはり袖が矛盾するのは加筆が面倒なので避けたいですね。

他にもいろいろと試してみましたが、ここまでで最もラクで自然な仕上がりになったのは実験３の「InpaintOnly＋Depth Map Library＋手修正LoCon」という結論でした。使用するControlnetは２つだけ、プロンプトもシンプルで、４毎同時生成すれば一つは使えそうなものが出てきます（下図）。あとはLamaCleanerなどで不自然なところを直せば、基本的には実用レベルではないかなと思っています。

実験６：スマホを持たせてみよう

せっかくDepth Map Libraryを使うのが有望と分かったので、別のポーズも使ってみます。左手にスマホを持たせ、右手を１本指にできるか試してみましょう。さきほど紹介した追加マップにこのようなものがありますので、それぞれ適用します。

できたマップはこんな感じ。これをControlnet画面で読み込ませます。

Lineart画面はこうなります。１つめのControlnetは変わらず「InpaintOnly」ですね。

プロンプトはこんな感じ。「holding smartphone」などを加えておきます。

慣れてしまうと簡単ですね。こちらが生成結果です。

小さな破綻は見受けられますが、おおむね意図した通りになりました！袖口の処理も良い感じで、ほぼ成功と言っていいんじゃないでしょうか。

せっかくなので最後まで完成させたのがこちら。

LamaCleanerで余計な装飾や破綻を取り、主に指周りの破綻は手描きでも修正。色変化が抑えられる「Tile colorfix」を使ってアップスケールしたのち、夜の暗さ＋月光＋スマホ反射光のエフェクト（合成モードをオーバーレイや発光加算にしてスプレーし、透明度や色調補正で適当に調整するだけです）を掛けています。

右腕の刺繍部分はなにか活かしたかったので、ちょっとドラゴンボールやAKIRAオマージュで「榊」の一文字を入れてみました。

構図や被写体の描写も大事なのですが、AIイラストはとにかく「伝わる意図」が大事だと最近思っているので、できるだけ偶然の産物に見えるもの（AI文字、謎の置物、よく考えるとなくてもよい装飾etc）を補助して、大げさに「人為」を盛ってあげるようにしています。

終わりに

午前4時半を迎えてしまったので、今日の検証はここまで。さきほど紹介した手だけLoRA「KHandMix」をInpaintOnlyと併用すると、もしかしたら手だけを高精細に描けるかも…？と思っていますが、おそらく写真のみでトレーニングしているモデルのようなので、うまくいかないかもしれません。

今回紹介した個人的「最適解」は手修正LoConに頼ったものですので、これからより高機能な後発追加学習モデルがリリースされていくと、さらに手の悩みは解決してゆくのではないかと思っています。さらに、手を修正するときに学習モデル（Checkpoint）自体を変えてしまう方法も有望なはず。「このモデル、手だけが苦手なんだよな…」というときは、手の描写の得意なモデルで手だけを描いてもらえばよいですものね。

そんなわけで、今回も大変長い「手修正の最適解は？破綻を直す7つの方法＋１」に最後までお付き合いくださり、ありがとうございました。また近いうちにお会いしましょう！