スタジオ真榊

NovelAI V4「Curated Preview」リリース！マルチキャラプロンプトの実践応用

Added 2024-12-21 10:13:11 +0000 UTC

こんにちは、スタジオ真榊です。本日、NovelAI Diffusion V4の先行公開版である「Curated Preview」がリリースされました。正式公開版の「full」は年明けになるようですが、目玉機能である「マルチキャラクタープロンプト」などを試すことができたので、レビュー記事をお届けします。

【更新：2025/03/02】その後「NovelAI Diffusion V4 full」が公開されましたので、特にcuratedバージョンについて調べる理由がなければこちらからお読み頂くことをオススメします。

「NovelAI Diffusion V4」最速レビュー　新機能の性能チェックと活用方法

Curated Previewとは？

(frame embed)

NovelAI V4は、これまでのようなStable Diffusionベースのファインチューニングモデルではなく、完全に一から学習を行ったNovelAI初のオリジナルモデルとのこと。「複数キャラクターを含む画像の生成を完全にサポートし、英語の自然言語の理解が向上し、イメージした通りのシーンへの英語テキストの描画能力も改善されるなど、多くの新機能が加わった」としており、先行公開版の「Curated Preview」でもその一端を味わうことができます。

(frame embed)

少し触ってみた感触ですが、公式が「知識は限定的」と説明しているとおり、Curated Preview版ではまだ背景などを細かく描くことができず、white backgroundになりがちなようです。outdoor / indoorなどと入れると多少は描くことができますが、ここはfull版を楽しみに待ちたいところですね。NSFW生成の実装もまだで、全年齢向けのイラストしか出すことができません。

ちなみに、V3で人気だったサンプラー「SMEA」と「SMEA Dyn」は近々使えるようになるとのこと。V4生成画像のインペイントはできますが、内部的にはV4によるものではなく、V3で行われるようです。

画風のコントロールは？

画風のコントロール（タッチの一貫性保持）は相変わらず難易度が高く、ブレが大きいです。このように、単にミナちゃんの容姿やアクションだけを指定して生成しても、全員違う女の子に見える画像が生成されます。（自動クォリティタグがONの状態）

V3と同様、クォリティタグはこのトグルをオンにすると自動で作用します。ネガティブプロンプトも「強い」「軽い」「指定なし」の３点が選べます。V3にあった「人間に重点を置く」は現時点ではオミットされている模様。

有名イラストレーターの画風タグをいくつか試したところ、再現性は非常に高く、画風の一貫性は容易に保つことができました。が、非常に危うい感じの見た目になるため、SNSなどでそのまま公開はできないでしょう。このあたり、パーソナライズ機能を模索しているNiji journeyとはやはり違う路線を行くサービスであることが感じられます。

こちらはこれまで通り「ai-generated」タグを使ったもの（AI生成画像に共通する画風が再現されるタグ）。V3ではSD1.5風の顔立ちに統一されましたが、V4ではこのような感じになりました。一貫性が出るとまでは言えませんが、多少揺れ幅は小さくなるようですので、個人狙い撃ちのタグで画風統一するよりも心理的に安全かなと思います。

＜クォリティタグの種類＞

クォリティや画風に関わるタグについては、これまで通り以下のもので学習されています。

クオリティタグ：best quality, amazing quality, great quality, normal quality, bad quality, worst quality

美的タグ：very aesthetic, aesthetic, displeasing, very displeasing

年代タグ：「year 2024」などと指定。年代に多く見られた絵柄に近い画風にできる

下図の４枚生成は、次のようなPP・NPで生成した例です。揺れ幅は依然ありますが、ここに画材やタッチ関連のタグを加えていくことでオリジナルな画風統一を図っていく感じかなと思います。

PP：ai-generated,year 2024,best quality, amazing quality, great quality,

NP：normal quality, bad quality, worst quality

目玉は「マルチキャラクタープロンプト」

さて、V4の最大の目玉は、キャラクターの描き分けがかなり高性能にできる「マルチキャラクタープロンプト」の搭載です。例えばこのように、「びっくりして振り返っている」をミナちゃんにだけ適用し、立ち位置も常に左側にすることが可能です。

これは、ローカル生成でも「Latent Couple」「ForgeCouple」といった拡張機能で実現されていたキャンバス上のプロンプト分割を、スマートなwebUIで実現したもののように見えます。

大量のキャラを同時再現！「作品LoRA」と「ForgeCouple」

マルチキャラクタープロンプトの使い方は非常に簡単。シーンの概要を説明する「ベースプロンプト」と、複数キャラそれぞれの容姿や仕草、カメラワークなどを説明する「キャラクタープロンプト」を別々に記述するだけです。キャラクターAの特徴がキャラクターBに波及してしまう（目の色、表情など）のを簡単に抑制することができ、新時代の到来を感じます。

さて、スタジオ真榊にはミナちゃんと綾香さんという二人のオリジナルキャラクターがいるわけですが（いるんです）、この２人の描き分けを試してみたいと思います。

＜ベースプロンプト＞

さて、まずはシーンの概要をベースプロンプトとして打ち込みます。二人の容姿や表情、仕草といったものはここには書かず、キャンバス内には何人いて、どんな位置関係やカメラワークかを記述します。ここでは「二人の女性キャラが並んで立っていて、身長差があり、目を合わせている」という構成にしました。

＜キャラクタープロンプト＞

プロンプト欄のすぐ下にある「＋キャラクターを追加」ボタンを押すたびに、このような入力欄が追加されます。プロンプトだけでなく、ネガティブプロンプト（除外したい要素）も個々に入れられるのがすごいですね。（3人以上に増やしていくとどうしても情報の混線は起きますが、NPを使うことでかなり抑制できました）

2人のプロンプトは以下のように入力しました。

1人目

girl, adjusting eyewear, embarrassed,sidelocks,red-framed eyewear,semi-rimless eyewear,blue eyes,white pupils,school uniform,serafuku,hair between eyes,navy_sailor_collar,ponytail,short sleeves,shiny skin,black hair,white bow,red neckerchief, navy pleated skirt,pantyhose, looking at another

2人目

girl,wife, tall female,curvy,blue eyes,hand in own hair,large breasts,shiny black hair,straight medium hair,one ear,hair_behind_ear,shiny skin,blunt bangs, detailed grey sweater,zettairyouiki,black thighhighs,black skirt,40 years old,white background,sleeves past wrists, smile, looking at another

ミナちゃんは眼鏡を恥ずかしそうにいじっていて、オトナな綾香さんが髪をかきあげてそれを面白そうに眺めている、というイメージです。公式の入力例を見ていると、ここでは「1girl」ではなく単に「girl」とするのが良いようです。1girlと入れてもgirlに自動修正されました。特に指定しない限り、一人目の欄が向かって左側、二人目の欄が向かって右側に適用されます。

こちらが生成結果。

非常に安定していることがよくわかります。情報の混線（綾香さんにセーラー服要素がにじんでしまうなど）も起きていませんね。

少しプロンプトを複雑なものに変更してみます。「back-to-back」で座っており、カメラワークは「from above」、ミナちゃんは目をそらしている（looking away）、綾香さんはそれをみつめている（looking back,looking at another）、とします。

こちらが生成結果。

やや難しい条件になったためか、少し情報の混線が見られました。綾香さんの胸にリボンが出たり、髪の毛の長さを間違えたりしています。右側にのみミスが生じているのは興味深いですね。おそらく先に処理されたミナちゃんのプロンプトの方が正確性が高いということではないかと想像します。

＜除外したい要素（NP）のキャラ別適用＞

そこで、NPを使ってみます。long hairとwhite ribbonを、このように「キャラクター2」の除外したい要素に入れました。

すると、このような生成結果となりました。綾香さんの髪型が戻り、白いリボンが波及することもなくなっています。

位置調整カスタム

キャラクターごとの位置は基本的に先に書いたほうが左側（もしくは上側）に描かれますが、キャラクタープロンプト欄にある「AIにお任せ」というトグルをオフにすると、各キャラクターの位置をこのようにカスタム指定することができます。

上の位置設定で生成するとこのような形になります。（この例ではキャラクター１を綾香さんにしています）

コマは各１コマしか選択できません。完全にこの位置に小さく描画されるわけではなく、上の生成画像から分かるように、各々の位置関係がおおむね参照されるだけのようです。また、キャラクター１は左に、２は右に描写されるルールは依然適用されていますので、「▲▽」ボタンを使って左に描きたいキャラをキャラクター１としないと、左右が逆転する点に留意しておきましょう。

例えば、上の位置関係でキャラクター１をミナちゃんにすると、このような混線が起きてしまいます。

アクションタグ（ターゲット機能）

「誰が誰に」その行動を取っているのかを具体的に指示する新機能が「アクションタグ」です。「source#」「target#」「mutual#」の三つの接頭辞をつけると、その行動の主体と対象を指定できます。「source#」が行動の主体、「target#」がその受け手、「mutual#」が相互に行っていることを示しています。

例えば、ミナちゃんのタグに「target#hug」、綾香さんのタグに「source#hug」と記入すると、抱きしめるのが綾香さん側になります。

「mutual#hug」を両方に入れると、お互いに抱き合う形になります。

公式も認めているように、確実な効果が得られるわけではありませんが、比較的打率が良くなるのは確かなようです。短時間試しただけですが、このように、2人×2人のペアになってしまう現象も散見されました。眼鏡の混線も発生していますので、このあたりはプロンプトの工夫が必要なようです。

自然言語指示

基本はdanbooruタグで指示するのが良いようですが、「これとこれがこう並んでいて…」という位置関係をdanbooruタグだけで指示するのは難しいものがあります。v4では、danbooruタグと自然言語を混在していても指示ができるようになっています。

公式のプロンプト例を基に、「オブジェクトが 3 つあります。1つは赤い立方体。青い立方体が赤い立方体の上に配置されています。1つの緑の球体が赤い立方体の左側、すぐ隣にあります。少女は赤い立方体の右側に立っています」という難しい指示をミナちゃんで試してみましょう。プロンプトは以下の通り。

メインプロンプト：1girl, sundress, looking at viewer, full body. There are three objects. A single red cube. A single blue cube is placed on top of the red cube. A single green sphere lies to the left of the red cube, just next to it. The girl is standing to the right, next to the red cube. Digital illustration. Highly finished. Still life. Character Study.

キャラクタープロンプト：girl, adjusting eyewear, sidelocks,red-framed eyewear,semi-rimless eyewear,blue eyes,white pupils,school uniform,serafuku,hair between eyes,navy_sailor_collar,ponytail,short sleeves,shiny skin,black hair,white bow,red neckerchief, navy pleated skirt,pantyhose, {{{looking to the side,looking away}}}target#hug,

こちらが生成結果。お見事ですね。

普段の生成への応用

さて、複数キャラの構図構築がここまで自由になったのはまずもって素晴らしいことですが、2人の画風は普段のものと大幅に異なっています。一貫性を持たせるために、NovelAIの構図力の恩恵を得つつ、ローカル環境でこの画風を再現してみましょう。

まずはローカル生成で使えるプロンプトに作り直す必要があります。3つに分割されているタグをいちいち手打ちで統一するのは面倒なので、タガーを使ってV4画像から抽出してしまいます。

その結果、このような統一したプロンプトが得られました。

PP:multiple girls, 2girls, skirt, thighhighs, grey sweater, blue eyes, sweater, black hair, school uniform, serafuku, pantyhose, red-framed eyewear, neckerchief, blush, breasts, red neckerchief, ponytail, black skirt, sailor collar, large breasts, glasses, siblings, smile, sisters, closed mouth, sitting, blunt bangs, ribbed sweater, long sleeves, collarbone, short hair, short sleeves, blue skirt, semi-rimless eyewear, shirt, pleated skirt, blue sailor collar, white shirt, miniskirt, black thighhighs, long hair, zettai ryouiki, bright pupils, hair bow, black sailor collar, adjusting eyewear, looking at viewer, embarrassed, under-rim eyewear, bow, medium hair, white bow, hair between eyes, white pupils, masterpiece, best quality, newest, absurdres, highres, safe,white pupils,general,

looking at viewerが誤検出されていたので、これは削除しておきましょう。

ちなみに、このプロンプトでそのまま生成すると、もちろんこのように混線してしまいますね。

そこで、さきほど得られたこちらの画像をControlnetで読み込みます。カラーリングには引っ張られてほしくないので、プリプロセッサ「lineart realistic」で線画化し、それをanytest v3に掛けました。

※汎用Controlnet「Anytest」シリーズについてはこちらの記事で解説していますので、使い方などはこちらをご参照ください。

SDXL用Controlnetが理解る！おすすめモデル＆活用例を徹底解説

text2imageでは二人別々の方を向いている視線コントロールが難しいため、元画像をControlnetと二重で参照できるimg2imgを使います。このように、キャンバス全体のプロンプトを入力し、img2img元の画像にマルチキャラクタープロンプトで生成した先ほどのv4画像を入れました。

生成設定はごく普通。ノイズ除去強度を高めると自分画風に寄りますが、その分元画像から離れるため、視線や表情の混線の恐れが高まります。そこで、0.75に指定しました。（サイズは短辺1024サイズにしておかないと崩壊してしまうので注意）

こちらがポン出し4枚生成の結果です。NovelAIv4でコントロールした構図や表情、視線を受け取りつつ、画風だけを普段使いのものに変更することができました。

短辺1024サイズでimg2imgしているので、指などの細部は低劣ですが、これを新たなimg2imgもとにしてアップスケールしたり、加筆したりすればよいかなと思います。

終わりに

リリース当日レビューということで、極めて簡単な紹介となりましたが、やはりすごいスペックのモデルであることは重々伝わってきました。V3がデビューしたときも、インペイント能力の高さなどにとても驚きましたが、full版では一体どのようなことが可能になるのか、今からわくわくしています。

特に、最後の例で試したように、これまでの技術との掛け合わせで表現の幅が非常に広がることが期待されます。NoobAIの漫画生成能力の高さもそうですが、NAIv4でもそうした自然言語指示によるコミック生成ができるのであれば、いよいよ１ページまるごと、コマごとの画像指定ができてしまうかもしれません。先行公開版ではまだ使えませんでしたが、NSFW用途についても特に期待が大きいところですね。

年明け公開のfullを楽しみに待ちつつ、先行公開版を使ってどんなことができるのか、いろいろと試してみようと思います。

それでは、今日はこのへんで。スタジオ真榊でした。