SDXL用LoRA学習が理解る！【AnimagineXL3.1編】
Added 2024-07-31 06:26:11 +0000 UTC【注】この記事は過去記事のアーカイブです。特に理由がなければ、現在の
Comments
数値的な話をすれば、Avr_lossの減りを監視することで学習がどのように進んでいるか想像することはできます。データセットの内容や枚数で大きく変わるので一概に言いにくいのですが、数十枚のキャラLoRAなら、avr_lossが0.007あたりから始まって、徐々に0.005あたりまで順調に減らせれば良い感じに学習できているなと判断します。0.01あたりをふらふらしたり、頑張って減らしても0.07くらいが限界なようなら、データセットに多様性がありすぎて、学習が煩雑すぎると感じます。 AIに宿題を出して教育するイメージですね。画風LoRAになるとまた感覚が違いますし、使用するオプティマイザやベースモデルでも全く雰囲気が変わるので、本当に体感でしか話せないのですが…
AIイラストが理解る！【スタジオ真榊】
2025-01-09 02:54:21 +0000 UTC追加学習のコツは要するにバランスなので、めちゃくちゃ詳しく細部を覚えさせようとするとデータセットへのバイアスが強まって「このキャラは背景が白くなるキャラ」「常にこの角度で描かれるキャラ」などと余計なことまで覚えたりするので、データセットの内容にバリエーションを持たせたり、ベースモデルや目的に応じて学習率やdim/alphaを調整したりする必要があるわけです。なので、一概に「キャラ学習ならこの設定でやればOK」ということにならないのが難しいところなんですね。
AIイラストが理解る！【スタジオ真榊】
2025-01-05 12:46:20 +0000 UTCなるほど、特段何か数値上で判断しているわけではないのですね。 自分のローカル環境内でしか使用する予定はないのですが、 「[繰り返し数]_トリガーネーム」の繰り返し数だったり、画像枚数を増やしても全くになかったり 学習率を変更しても大して変わりがなかったりで じゃあ学習させる際のプロンプトが足りていないのかと思っていたりしていました。 また、こちらや他の記事でも見かけた背景画像を抜くをやった際 再現性が上がると生成時に背景抜いた状態も覚えてしまってダメだなぁと感じていたのがあります。 なので、ちょっと疲れてダレてきちゃっていてLoRA学習も嫌になってきていたりしてました。 まあ、瞬くちょっと触らず遠のいて忘れたころにまた再開してみようかと。
Ark_Energy
2025-01-05 12:32:47 +0000 UTCLoRA学習をしているユーザーは何をもって「再現できた」と言えるのか？というお問い合わせかなと拝察しました。sd1.5はもう触らなくなってかなり経つので、記憶でお話しするよりないのですが、当時はそのモデルごとの画風が強烈に聞いていたので、キャラクターないし人物を覚えさせても「そのモデルが描いたそのキャラ」にしかならなかったと思います。最近のsdxlモデルはモデルごとの画風がそこまではっきりとはなく、プロンプトでどんな描き手でもなれる特性が強まってきているので、再現性は遥かに高くなっていると思います。 とはいえ、いわゆる「公式の絵柄」になりすぎると権利侵害感のある見た目になってしまいますし、ファンアートの文脈を出しにくいので、おのおの自分らしい好みの画風を探究しているのが現状でもあります。まとめると、ユーザーは「自分の画風でそのキャラの特徴を細部まで間違えずに再現できた」場合に、そのLoRAは成功と判断していることになります。公式に寄せたい場合は公式絵ばかりで学習すればそのようになりますが、色んな意味で取り扱い注意のLoRAになるわけですね。
AIイラストが理解る！【スタジオ真榊】
2025-01-04 16:35:20 +0000 UTCはじめましてこんにちわ。 グーグルやとしあきwikiからこちらのFANBOXにたどり着きました。 SDXL版LoRA学習記事も拝見させていただき、基本SD 1.5でも同様なのかなと思っているのですが、 キャラクター（ないし実在の人）のLoRA学習を行う際その再現性はどのように判定されているのでしょう？ 学習時に表示されるaverageではないと他サイトの記事でも見たのですが、 LoRAを作成されてる方々は、何をもって判定されているのかなと思いまして。 当方3060 Ti 8GBのグラボを使用しある程度LoRAも作れる状態にはもっていっているのですが、 画像の枚数を増やしても、繰り返し回数を増やしても「出したい人に似ている誰かさん」にしかならず…。
Ark_Energy
2025-01-04 12:34:37 +0000 UTCいえいえ、こちらこそPythonどころかコマンドプロンプト自体ほとんど触ったことのなかった私でもLoRA作成まで進めることができたのは賢木さんの丁寧な記事のおかげです…！本当にありがとうございました！！
naruko
2024-12-09 11:21:14 +0000 UTCPythonのインデントでエラーが起きていたんですね。私の認識が甘くご迷惑をお掛けしました。同じようなトラブルを招かないように、該当箇所に注意書きを加えておきました。ご報告ありがとうございます！
AIイラストが理解る！【スタジオ真榊】
2024-12-09 01:28:12 +0000 UTCすみません、解決しました！ プログラミングかじってた家の人に見てもらったところ、コピペした4行の文字列に一部先頭の空白が足りないとのことで、スペースを入れたら無事Taggerタブが復活してタグ付け・LoRA制作までできました…！！ 恐らく、コピーした際にちゃんと空白まで選択できていなかったのだと思います。 念願の自キャラLoRAができました〜！ありがとうございます！ 次はillustrious系のモデルで試してみようと思います！
naruko
2024-12-08 21:43:20 +0000 UTCタブごと消えてしまうというのは不思議ですね。 A1111でやっても同じ現象が起きたということは、おそらくテキスト編集（4行書き加えて上書き）で何かしら失敗しているのだろうと思います。記事に追記してある「WD EVA02-Large Tagger v3」のほうを試しても同じ現象が起きますか？ extensionsフォルダ内の「stable-diffusion-webui-wd14-tagger」フォルダをいったん削除して、もう一度拡張機能のインストールからやり直してみるとどうでしょうか。 WD EVA02-Large Tagger v3やwd-swinv2-tagger-v3は高機能なタガーですが、無理に追加しなくてもデフォルトで入っているタガーを使えばLoRA自体は作れますので、いったんタガーのアプデを諦めてLoRA学習にトライしてみるのもよいかもしれません。
AIイラストが理解る！【スタジオ真榊】
2024-12-08 14:27:06 +0000 UTCお世話になっております。いつも賢木イオさんの記事を読みながら画像生成をしております。 自キャラのLoRAを作りたくて、色々試しています。 紹介されている手順通りに進めましたが、『一括タギングできるTaggerを導入しよう』のところで止まってしまいました。 Taggar自体は導入できていたのですが、「wd-swinv2-tagger-v3」の導入（メモ帳で編集しました）をしてWebUIを再起動したら、Tagger（タグ付け）のタブ自体が消えて無くなってしまいました…。 PCの再起動など、思いつく対処はすべてやったのですがどうしてもTaggerタブが出てきません。 最初Forgeでやっていたのですが、対応していないのかと思いA1111版をインストールして同じように導入したのですが同じところで躓いてしまいます。 何か解決策はご存じでしょうか？ 他のサイトでdataset-tag-editorなどを使ったLoRA制作も試していたのですが、毎回このタグ付けのところで先に進めなくなってしまいます…（泣） お忙しいところ恐縮ですが、何かご助言いただけますと幸いです。
naruko
2024-12-07 23:52:29 +0000 UTC作成したLoRaをテストした時に「破損している」事に気がつかず、後に「ワイルドカードやダイナミックプロンプト」を使用したときにエラーメッセージに気がついたものの、対処を誤って余計な事をしたというお話です。prodigy がダメという話ではありません。forgeも別にアップしたら動かない訳ではありません。誤解を与えたようで申し訳ない。
z-kumagon
2024-08-08 12:55:47 +0000 UTCSD1.5のときはそうだった記憶がありますが、SDXLキャラLoRAの場合は全部透過背景で追加学習しても、背景への影響は軽微でした。white backgroundやsimplebackgroundのタグ付けがしっかりしていれば大丈夫だと思います。むしろ背景が入っていると背景コミでキャラ概念を覚えてしまうので、私はないほうが良いと思います。
AIイラストが理解る！【スタジオ真榊】
2024-08-06 01:40:14 +0000 UTCいつもありがとうございます。 全部白背景だと、背景がうまくいかなった場合もあるのですが、その画風の背景は少しは入れたほうがいいんですかね?
TS
2024-08-05 22:12:42 +0000 UTCご指摘ありがとうございます！仰る通りで、正しくは「維持した場合（除去しなかった場合)」、着替えさせやすくなる、でした。該当部分を修正して改訂しました。
AIイラストが理解る！【スタジオ真榊】
2024-08-04 13:40:56 +0000 UTC何時もありがとうございます。 細かい設定も出していただき、本当に助かっています。 あと、今更ですが、pony系の特集もお願いします。 ps.1 私の環境（12GBの4070）だと、バッチサイズ２よりも１の方がトータルの所用時間が短く済みました。 ps.2 少し前に、sdwebui-foge上で、prodigy を使用して作成したLoRAを使用した際に、ワイルドカードやダイナミックプロンプトが使用出来なくなるトラブルに悩まされました。 従来通り、Adafactorを使用して作成したLoRaだと問題は出て無かったのですが、原因がわからずfogeがらみのトラブルかと（またまた余計な事をして）（fogeは下手にアップデートすると自爆します）復旧作業で大騒動してしまいました。
z-kumagon
2024-08-01 04:42:48 +0000 UTCLoRAは使っているものの、パラメータなどは分からないままだったので、LoRAの設定や仕組みの勉強になりました。 生成されたLoRAは最終的に出来たものを使うだけだったのですが、過学習されている場合があるので、000008と比較した方が良いと言った話は、仕組みの説明と合わせて聞いて、そうすることの必要性が理解できました。 ところで、本文中に「逆に、服装や髪型のタグを除去した場合、髪色や服装をプロンプトによって操作しやすいLoRAになります」との一文があるのですが、その前の節でタグを除去することの説明をしているので、「除去しなかった場合」の誤植だと思うのですが、いかがでしょうか。
wwwm
2024-07-31 10:57:18 +0000 UTC
