この記事では、WAN2.1のアニメ寄り画風での動作確認をしています。
確認ケースとしては次のものです。
①T2V(Text-To-Video)
……プロンプトからの動画生成
②I2V(Image-To-Video)
……元画像(+プロンプト)からの動画生成
③I2V - LoRAモデル適用あり
……元画像(+プロンプト)からの動画生成。その際に、LoRAモデルを適用する。
なお、WAN2.1でのデフォルト(LoRA抜き)の動作確認を含む為に、全年齢対象 (rating_safe) となっています。
WAN2.1のデフォルトでは、T2Vを何度か試してみた所、全年齢対象の動画のみが生成されるように学習されているようです。
例えば、バニーボーイ (male playboy bunny)やレオタード (leotard) などの性的 (nsfw) な男の娘 (femboy) 関連ワードは効かないようでした。
その為、今回の記事では百合をテーマにします。
(全年齢対象分野での私のマイブームが百合やTSFなので、それも理由の一つです)
【動画生成用モデル】
■Wan-Video/Wan2.1: Wan: Open and Advanced Large-Scale Video Generative Models
https://github.com/Wan-Video/Wan2.1
【動画生成用LoRAモデル】
■Aesthetic Quality Modifiers - Masterpiece - v2.0-alpha [WAN 14b] | Wan Video LoRA | Civitai
https://civitai.com/models/929497/aesthetic-quality-modifiers-masterpiece?modelVersionId=1498121
トリガーワード:masterpiece, very aesthetic
■Live Wallpaper Style - Wan I2V 14B 720P | Wan Video LoRA | Civitai
https://civitai.com/models/1264662?modelVersionId=1516994
トリガーワード:l1v3w4llp4p3r
【素材画像生成用モデル】
■Pony Diffusion V6 XL - V6 (start with this one) [by PurpleSmartAI]
https://civitai.com/models/257749/pony-diffusion-v6-xl
【素材画像生成用LoRAモデル】
■Not Artists Styles for Pony Diffusion V6 XL - Concept Art [by obuyb404]
https://civitai.com/models/264290?modelVersionId=329446
■Not Artists Styles for Pony Diffusion V6 XL - Digital Art [by obuyb404]
https://civitai.com/models/264290?modelVersionId=341131
■Not Artists Styles for Pony Diffusion V6 XL - Smooth [by obuyb404]
https://civitai.com/models/264290?modelVersionId=297988
①T2V(Text-To-Video)
```
From a side angle, a lesbian couple with an age difference and height difference embrace and kiss.
The girl on the left is a cute high school girl, with straight black hair and brown eyes, wearing a white serafuku and red sailor line ribbon.
The mature woman on the right is a sexy female teacher, with blond ponytail hair and blue eyes, wearing a suit and black tie.
The setting is a classroom.
High quality anime. kawaii.
```
○和訳
横からのアングルで、年の差、身長差のあるレズビアンカップルが抱き合ってキスをしている。
左の女の子は黒髪ストレートに茶色の瞳、白いセーラー服に赤いセーラーラインのリボンをつけたキュートな女子高生。
右の熟女は、金髪のポニーテールに青い瞳、スーツに黒いネクタイのセクシーな女教師。
舞台は教室。
高品質アニメ。カワイイ。
②I2V(Image-To-Video)
0410_082258_Interpolate4_00001
※プロンプトは①と同じ。
③I2V - LoRAモデル適用あり
0406_231219_Interpolate4_00001
※プロンプトは①に加えて、各LoRAモデルのトリガーワードを含める。
①T2V(Text-To-Video)
WAN2.1デフォルトにおいては、リアリスティックな動画の方が安定しますが、アニメ寄りも出せないわけではないようです。
プロンプト内で次のスタイルを指定しています。
```
High quality anime
←高画質アニメ。(Animationと異なりAnimeはジャパニメーションのような意味合いがある)
```
また、アングルも指定できるようです。
```
From a side angle,
←横からのアングルで
```
加えて、対比構造のプロンプトでのキャラ属性固定ができるようです。
```
age difference
←年齢差
height difference
←身長差
girl on the left
←左にいる女の子
mature woman on the right
←右にいる熟女
with {身体的特徴1} and {身体的特徴2}
←{身体的特徴1}と{身体的特徴2}がある。
wearing {衣服1} and {衣服2}
←{衣服1}と{衣服2}を着けている。
```
追加で、舞台も指定できるようです。
```
The setting is a {舞台}.
←舞台は{舞台}となる。
```
②I2V(Image-To-Video)
前回記事で紹介させて頂いて通り、元画像は意図する動作の直前画像を用意すると成功率が高い印象です。
また、人物にフォーカスする場合はワイドショットを避けて、その人物にフォーカスすると、安定感が増す傾向も感じます。
ただ、直前画像でなくてもそれっぽい動きはしてくれることが多いようです。
直前画像を用意する為には、次のタグが利用できます。
```
imminent {動作}
←差し迫った{動作}。例:imminent kiss
```
I2Vで問題なのは、モーションの破綻や動画の明滅で、アニメ系の場合は動きが大きいと起こりやすいようです。
加えて、背景に一般的でない描写(例:黒板の文字もどき)がある場合、その描写は一般化されやすいようです。(例:黒板の文字もどきが消える)
③I2V - LoRAモデル適用あり
「①でのプロンプト作り」及び「②での元画像生成」、それに加えて、次の種類のLoRAモデルを適用することで、安定的な生成が可能になったように思われます。
アニメ系をサポートするLoRAモデルを適用した上で、モーションを緩やかにするLoRAモデルも適用します。
・アニメ系品質向上用のLoRAモデル(例:Aesthetic Quality Modifiers - Masterpiece - v2.0-alpha [WAN 14b]、標準的なWeight{例:1.0程度})
・スローモーション用のLoRAモデル(例:Live Wallpaper Style - Wan I2V 14B 720P、弱めのWeight{例:0.6程度})
日進月歩な生成AIですが、それらを上手く使うにはある程度一貫したコツがあるように思います。
それは次のものです。
①生成AIの仕組みをおおまかにでも理解していること。
例えば、画像生成AIの場合なら、ノイズがかかった画像からそのノイズがかかる前の画像を、プロンプトをヒントに推測する仕組みです。
仕組みを理解することで、色ラフを描いて生成する等の応用が効くようになります。
②自分が意図するものを言語化できること。
生成AIへの一般的な入力はプロンプトであり、そのプロンプトに自分の意図を埋め込む必要があります。
例えば、上記の動画生成AIなら、"高品質アニメ"を意図しているので「High quality anime」をプロンプトに含めています。
これにより、意図するものを生成してもらいやすくなります。
③新モデル・サービスの情報収集やその使い方を学び続けること。
新しい生成AIやその周辺ツール・サービスが、次々と登場する現状です。その為、情報収集を行い、それらの使い方を学び続けるのが望ましいです。
例えば、上記の動画生成用LoRAモデルは情報収集の中で見つけ、モデル公開ページの説明や他の方の生成例を見た上で採用しています。
これにより、より意図する成果に近づいていると思います。
とは言え、楽しむことが何よりも重要ですので、上の意見はあくまでも参考程度のものです。
あなたの創作活動をお待ちしております。
0410_083923_Interpolate4_00001
動画生成AIにおける新しいトレンドが訪れたようです。
■lllyasviel/FramePack: Lets make video diffusion practical!
https://github.com/lllyasviel/FramePack
上記ツールでの生成例は次のものです。
(おわり)