スタジオ真榊

キャラ再現LoRAを実践的に使おう！番外編のおまけ付き

Added 2023-04-18 11:00:00 +0000 UTC

「AIイラスト術天下一武道会」エントリー作品

寄稿者：Lu:Na:Clockさん

最近キャラ再現のLoRAが公式で配布される機会が増えてきましたが、

細かい使い方を解説している方が少ないと思いました。

恐らく今後さらに、公式でLoRAが配布される事が増えるはずなので、

今のうちに扱いに慣れておきましょうという意図で

実践的な使い方をまとめてみました！

（スタジオ真榊さんにもキャラ再現の記事があるので、こちらもどうぞ）

LoRAでキャラ再現！15分でできる追加学習入門

今回使用するLoRAはVHigh!の「真夜ヰなち」モデルを使用します。

理由は公式からの配布ということで解説に使用しやすいのと、

キャラデザインが複雑な方が差が分かりやすいからです。

導入方法

実践方法を中心にやるので導入方法は簡単に解説します。

BOOTHの該当URL（https://vhigh.booth.pm/items/4622045）から

zipファイルをダウンロードします。

中身の「mayoi_nachi_v1.0.safetensors」をmodels\Loraに移動させます。

あわせてBOOTHのサンプル画像を「mayoi_nachi_v1.0.png」として保存して、

上記フォルダに移動させておくとサムネイル表示が出来て便利です。

導入が出来ていれば、生成ボタンの下の花札ボタンを押すと

このように表示されると思います。

後はサムネイルをクリックすればプロンプトの最後に

と記入されるので、これで導入と使用準備は完了です。

（LoRAの「:1」の部分は、(girl:1)のように通常のプロンプトの強度と同様です）

基礎的な使い方

プロンプトに（LoRAファイル毎に名称は異なる）が

含まれていたら生成ボタンを押すだけです。

今回は以下プロンプトで生成しました。

masterpiece, best quality, ultra-detailed, best shadow, starry sky, cowboy shot, a girl,

このような感じで生成されると思います。

LoRAとa girlくらいしかキャラ再現の要素がないですが、

LoRAの強度が1だとキャラ特徴が綺麗に出るはずです。

しかしstarry sky（夜空）の要素はあまり出てきていません。

LoRAは生成イラストを強制する力が強いため、そのままでは

キャラ以外の絵柄・背景・構図などを変えることが難しいのです。

しかし、そこは上手く調整する手段があります。

強度を変更して背景の描きこみを増やす

LoRAが生成イラストを強制する力が強い部分をどうにかすれば良いので、

その強度を弱めてあげると表現の幅が広がります。

プロンプトはそのままで、以下のように強度を1から0.8に変えてみました。

すると強度が1の時より背景がちょっと描かれるようになりました。

代わりに持っているぬいぐるみがなくなってしまいました。

LoRAの強度を下げるとこのようにキャラの再現性が弱くなる面があります。

さらに背景の描きこみを増やすため、LoRAの強度を0.3にしてみます。

・・・確かに背景の描きこみは増えましたが、キャラの再現性は

さらに低くなってしまいました。

とはいえ、今までのプロンプトではキャラの特徴を指定していなかったので

ちゃんと指定してあげれば描きこみを増やしつつ、

キャラの再現率を上げられるはずです。

応用的な使い方

キャラの全ての特徴を盛り込むのは難しい部分があるので、

今回は以下を目標としてプロンプトを調整してみます。

・ワインレッドのツインテール

・ワインレッドの眼

・白い眼帯

・髪の結び目の白黒リボン

・ゴスロリ風のフリルがあるドレス

また、背景の描きこみとキャラ再現のバランスを考えると

LoRAの強度は0.3～0.8の間くらいのバランスが良さそうと感じたので、

以下プロンプトに落ち着きました。

masterpiece, best quality, ultra-detailed, best shadow, starry sky, cowboy shot, a girl, (white eyepatch:1.2), light red hair, twintails, gothic lolita frilled dress, red eyes,

どうでしょうか？眼帯が怪しかったりするなどブレる部分はありますが、

0.5の方が背景の描きこみとキャラ再現のバランスが良く見えるかと思います。

絵柄の調整

LoRAの絵柄と異なるものを生成しようとしても

なかなか上手くいかなかったという方もいると思います。

ということでちびキャラとまではいかないものの、chibiの絵柄を

含んだものを試してみます。まずは0.8と1でテスト

プロンプトは以下

masterpiece, best quality, ultra-detailed, best shadow, starry sky, cowboy shot, (a chibi girl:1.2), (medical eyepatch:1.2), light red hair, twintails, gothic lolita frilled dress, red eyes,

1と0.8ではそこまで違いもなく背景描きこみも微妙なので、

0.3と0.5で試してみます。

好みはありそうですがキャラ再現とのバランスから考えても0.5が良さそうですね。

後は諸々調整してhires.fixで仕上げます。

順に0.5と0.3でやってみましたがいい感じになりました。

番外編（LoRA Block Weight）

LoRAを使ってるうちにどうしても塗りや画風を大幅に変えたくなる

気持ちが出てくるかもしれませんが、強度を下げるだけでは

上手く調整出来ない場合があります。

その時は「LoRA Block Weight」でLoRAのOUTやINの層を調整出来ます。

つまり、LoRAの塗りや適応範囲をある程度コントロール出来るということです。

導入法

該当のGithub（https://github.com/hako-mikan/sd-webui-lora-block-weight）から

Code→Download ZIPからzipファイルをダウンロードし、解凍します。

（Git Cloneでも良いという人はそちらの方法でも問題ありません）

解凍するとsd-webui-lora-block-weight-mainフォルダ→scriptsフォルダ→lora_block_weight.pyとあるので、「lora_block_weight.py」を

stable-diffusion-webui\scriptsに入れます（Extentionフォルダではないので注意）

WebUI起動したままの人はWebUI本体を再起動してください。

これで導入は完了です。

使い方

導入出来ていればシード値の下部辺りに「LoRA Block Weight」が表示されます。

LoRAのキャラの特徴は維持しつつ塗りや構図を弱めて、LoRAの

強度を0.5にした上で、ちゃんとしたちびキャラ化もしてみたかったので、

chibiを1.5にしてを入れました。

masterpiece, best quality, ultra-detailed, best shadow, (starry sky:1.2), cowboy shot, (a chibi girl:1.5), (white medical eyepatch:1.2), stripe hair bow, light red hair, twintails, gothic lolita frilled dress, red eyes, :3,

LoRAの後ろに入れたOUTDですが数字で言うと

1,0,0,0,0,0,0,0,1,1,1,1,0,0,0,0,0

となります。

・・・これだけだと意味が分からないですが、BASEとOUTの

03-06層をONにして他の層をオフにしています。

（詳しい層の配置は下記URLに記載されています）