エッチでフラットなモデルを作りたい #2
Added 2023-07-14 07:02:42 +0000 UTCR18系イラストに強くて二次元系のモデルが欲しいという前回の記事の続きです。
前回の内容をまとめると
・既存の２次元モデルは学習イラストの多様さから様々な絵柄が生成される
・特にハードR18系では特定の絵柄に引っ張られて、汚くなる（注意：主観）
←特定の絵柄を集中的に学習させれば、改善される？
（実際に実写モデルを混ぜたAOMというモデルでは絵柄のブレが緩和されている）
・でも２次元モデルに実写モデルを混ぜるとリアルになる
という内容でした。
一応完成したフラットモデル
前回の最後にさらっと書きましたが、二次元モデルに実写モデルを混ぜた際に生じるリアル感をスライダーLoRAで打ち消せば良いという考えのもと、あるのモデルを作成しました。ここ数週間にpixivで投稿した作品に使われた絵柄です。
こんな感じです。けっこうフラットですね
分かりづらいかもしれないので比較です。上画像が元画像（LoRA適用前）下画像が適用後です。
足が増えているのはご愛嬌です。
全体的に線が細くなり、塗りが変化していることは分かると思います。
問題点
このモデルは個人的には好きですが、出てきたイラストに何か違和感を感じるのです。無理やりLoRAで画風を変化させているので、どうしてもそうなるのだと思います。例えば髪のハイライトが無くなったりや全体的に淡い印象になっていることなどです。
あと周りの反応が良くないです。これはpixivのいいねやブクマ率など数字としても現れていますね。（実験的な試みもしているのでイラストが全ての原因とは言い切れないですが）
まあ、なんか違うなと感じたわけです。
心機一転モデル探し
リアルよりのモデルをフラットにする方針は悪くない考えでしたが、理想なモデルにはなりませんでした。そこでまず健全な絵でも良いので理想な絵柄を出せるモデルを作ることにしました。
色々検討した結果、そのためのベースモデルとしてcuteyukimixを採用しました。このモデルを選んだ理由は
・絵柄がかなり安定していること
・手指の精度が非常に高いこと（＝モデルの完成度が非常に高い）
特に後者が主な理由です。体感5割の確率でちゃんとした手が出てくる印象です。novel AI時代だと5%程度,AOMで3割くらいだったのでずば抜けて安定しているモデルですね。ちなみにこんな絵柄です。
何も指定しない限りデフォでロ/リになるのはあれですが、絵柄自体は自分が求める絵柄に非常に近いですね。
さて、このモデルをどのように改造するかが大切ですが、手足の精度を残しつつ
・透明感（cuteyukimixは影や光、塗りなど重厚感があるので）
・顔 (cuteyukiの標準ロ/リ顔は好みではないので)
を改善させることにしました。
顔はどうとでもなると信じて、透明感のあるモデルを探すことになりました。頑張って探した結果（以外に無かった…）AC-H_3というモデルを発見しました。
こんなモデルです。
この２つのモデルを単純に層別マージして完成です。真ん中が今回の作成したモデルです。左右のイラストの中間のようなイラストになっています。
理想な絵柄の完成
上で作ったモデルにスライダーLoRAで微調整したのが以下のモデルです。
最終的にはこんな感じになりました。顔や透明感も良い感じ！
ここまではすっごく順調でした…。
#3 地獄のnsfw化編へ
