海賊ラビィ

【再考察】複数キャラLoRA適用画像生成

Added 2024-06-01 00:44:41 +0000 UTC

1.はじめに

この記事では、複数のキャラLoRAモデルを適用する画像生成で、より効率的な方法を試していきます。

■前回記事

新・AI男の娘イラスト生成術入門【4.上級編】（版権キャラLoRA複数使用）

1.概要中級編の続きの記事です。この記事では、「版権キャラが複数登場する画像を生成する」ための私なりの方法を解説していきます。 2.前提条件以降の作業は、次のモデルと拡張機能を使用します。【StableDiffusionモデル】・SweetLuna/Aurora 【LoRA他】・Astolfo (Fate Series) [by AkioAI] ・Bridget [by Hy...

前回記事では、個々のキャラクター画像を生成した後に手動でコラージュして構図を作り、そのコラ画像に拡張機能「Regional Prompter」で領域別プロンプト適用をしていきました。

今回は、「各キャラ→構図」ではなく、逆に「構図→各キャラ」の手順で生成していきます。

これにより、より効率的に複数キャラが登場する画像を生成できると考えています。

2.前提条件

■AutismMix SDXL - AutismMix_confetti [by Autismix_anon]

https://civitai.com/models/288584?modelVersionId=324524

■Pony XL - Oyama Mahiro 緒山まひろ - onii-chan wa oshimai! [by Ibukimakisiko]

https://civitai.com/models/386780/pony-xl-oyama-mahiro-onii-chan-wa-oshimai

■Pony XL - Hozuki Momiji 穂月もみじ - onii-chan wa oshimai! - v1.0 [by Ibukimakisiko]

https://civitai.com/models/400227/pony-xl-hozuki-momiji-onii-chan-wa-oshimai

■Pony XL - Oka Asahi 桜花あさひ - onii-chan wa oshimai! - v1.0 [by Ibukimakisiko]

https://civitai.com/models/405511/pony-xl-oka-asahi-onii-chan-wa-oshimai?modelVersionId=452108

■Pony XL - Murosaki Miyo 室崎みよ - onii-chan wa oshimai! - v1.0 [by Ibukimakisiko]

https://civitai.com/models/395698/pony-xl-murosaki-miyo-onii-chan-wa-oshimai?modelVersionId=441316

■AUTOMATIC1111/stable-diffusion-webui

https://github.com/AUTOMATIC1111/stable-diffusion-webui

■hako-mikan/sd-webui-regional-prompter

https://github.com/hako-mikan/sd-webui-regional-prompter/blob/main/README.JP.md

3.生成例

```

score_9, score_8_up, score_7_up, source_anime,

3girls, triplets, full body, child, looking at another, simple background

BREAK

asahi-suspenders,

oka asah,green eyes,brown hair,two side up,school uniform,white shirt,red neck ribbon,suspenders,long skirt,loafers,

bent over,

smile,

BREAK

momiji-suspenders,

hozuki momiji,red eyes,short hair,multicolored hair,short ponytail, suspenders skirt,white shirt,long sleeves,neck ribbon,black long skirt,

pushing,

jealous

BREAK

mahiro-suspenders,oyama mahiro,brown eyes,long hair,ahoge,suspenders skirt,white shirt,long sleeves,neck ribbon,long skirt,

pinching sleeves,

embarrassed,

hug from behind

BREAK

miyo-suspenders,

murosaki miyo,brown eyes,red hair,low twintails,suspenders skirt,white shirt,long sleeves,neck ribbon,black long skirt,

jumping,

heart

Negative prompt: score_6_up, score_5_up, score_4_up, score_3_up, score_2_up, score_1_up, text, watermark, low-quality, signature, moiré pattern, downsampling, aliasing, distorted, blurry, glossy, blur, jpeg artifacts, compression artifacts, poorly drawn, low-resolution, bad, distortion, twisted, excessive, exaggerated pose, exaggerated limbs, grainy, symmetrical, duplicate, error, pattern, beginner, pixelated, hyper, glitch, overexposed, high-contrast, bad-contrast, mosaic censorship

```

4.解説

以降の手順で生成していきました。

①構図決め：特定のキャラLoRAモデルのみを指定して、同一キャラでの複数人画像を生成します。

　←ポーズはあえて抽象的な指定にすることでランダム性を高めて、好みの構図をガチャします。また、同一キャラにするために「triplets」（三つ子）をプロンプトで指定しています。

```

score_9, score_8_up, score_7_up, source_anime,

4girls, triplets, full body,

love triangle, hug from behind, jumping,

momiji-suspenders,

hozuki momiji,red eyes,short hair,multicolored hair,short ponytail, suspenders skirt,white shirt,long sleeves,neck ribbon,black long skirt,

child,

jealous,

simple background

```

②各キャラへの色乗せ：別のキャラLoRAモデルを適用する前準備として、各キャラに各LoRAモデルを適用した時のイメージに近くなるような色を手動で乗せていきます。

　←色はエアブラシやぼかしを使用して乗せています。これにより、色だけではなく、ノイズが乗った状態も再現しようとしています。（この画像レベルの雑さで構いません）

③img2img：②の画像をimg2imgします。その際、Regional Prompterのインペイントによる領域指定（Generation Mode：Latent）で各キャラごとにプロンプトを適用します。また、生成サイズを拡大（例：1536x1536）することで、細部描写もされるようにします。

　←マスクの範囲はキャラ同士の境界を除いて、全身を一回り大きめに囲みます。これは、マスクの範囲をギリギリにすると、img2img後で不自然に描写が途切れていることがあるためです。

```

score_9, score_8_up, score_7_up, source_anime,

4girls, triplets, full body, child, looking at another, simple background

BREAK

asahi-suspenders,

oka asah,green eyes,brown hair,two side up,school uniform,white shirt,red neck ribbon,suspenders,long skirt,loafers,

bent over,

smile,

BREAK

momiji-suspenders,

hozuki momiji,red eyes,short hair,multicolored hair,short ponytail, suspenders skirt,white shirt,long sleeves,neck ribbon,black long skirt,

pushing,

jealous

BREAK

mahiro-suspenders,oyama mahiro,brown eyes,long hair,ahoge,suspenders skirt,white shirt,long sleeves,neck ribbon,long skirt,

pinching sleeves,

embarrassed,

hug from behind

BREAK

miyo-suspenders,

murosaki miyo,brown eyes,red hair,low twintails,suspenders skirt,white shirt,long sleeves,neck ribbon,black long skirt,

jumping,

heart

RP Mask submode: Mask, RP Prompt submode: Prompt, RP Calc Mode: Latent, RP Ratios: "1,1", RP Base Ratios: 0.4, RP Use Base: True, RP Use Common: False, RP Use Ncommon: False

```