スタジオ真榊

【第2回】一貫性を保った「AI背景」を作ろう！　LLM/Anytest/NAIv4/Noobaiインペイント/動画生成

Added 2025-04-18 02:50:20 +0000 UTC

こんばんは、スタジオ真榊です。今回は、Controlnetやインペイント、動画生成、画像編集ソフトなどを併用したイラスト背景づくりについての特集です。2月にこちらの記事で、動画生成AIを使った「一貫性を保った別角度」の作り方を検証しましたが、今回はその続編。より実践的に、現環境で使えるさまざまな技術を組み合わせて、意図のある背景を作る具体的ワークフローについてまとめました。

【第1回】一貫性を保った「AI背景」を作ろう！　写真から変換、画角変化も

こんにちは、スタジオ真榊です。今回は漫画制作において非常に重要な「一貫性のある背景」を作るテクニックの特集記事です。いわゆる「AI漫画」を制作する方だけでなく、自らの手で漫画を制作しているクリエイターの方にも活用できるよう、一貫性のある漫画背景を簡単に作る方法について、さまざまな検証を行いました。...

これは先日Xに投稿した二次創作ですが、このような「対」になったイラストを作るときに、カードフレームや文言のデザインをLLMと検討し、窓や月/太陽の位置、キャラクターの大きさなどを意図通りにしたり、細部をきれいに一貫性を持ってつくったりするやり方をまとめています。

(frame embed)

例えば、いったん生成したたたき台のイラスト（左）から、人物を消して背景のみの画像（右）を作り、

そこに任意のキャラクターを呼び出したり、時刻を夕方や夜に変更したりする方法について紹介していきます。

LLMによるデザイン補助や画像生成を始め、汎用CN「Anytest」やNovelAIv4、NoobAI inpaint、動画生成AIなど、2025年春の環境におけるAI画像編集テクニックを幅広に紹介し、思った通りの絵作りをするための実践的な内容にできればと思います。【約1万2800字】

１．LLMに相談する

冒頭で紹介した二次創作イラストは、私が好きなアニメシリーズの登場キャラクターたちをモチーフにしたタロットカードを作ってみたい！と思いついたのが始まりでした。LLM（例によってChatGPT4o）と相談して22枚のタロットとその暗示について教えてもらい、登場キャラクターの性格や役柄を踏まえて、22枚に当てはめていきました。この特集では、まずこのようにLLMに着想を相談することでイメージを具体化し、ドラフト（たたき台）を作っていくやり方から紹介していきます。

いろいろ相談しているうちに、各イラストに共通したカードフレームをつけて、ちゃんとしたタロットのデザインをしてみたくなったので、デザインをChatGPT4oに相談してみました。下図のようにざっくばらんに問い掛けるといろいろと提案してくれるので、自由にやりとりして、ドラフトを作ってもらいます。

LLMは何を見せてもべた褒めしてくれるので気分がよろしいですね！4oくんはおすすめ素材の検索キーワードやフォントまで教えてくれました。

そのワードでGoogle検索してみると、このようなフレームがずらずらと出てきます。これらを参照しながら、色や縁取りデザインのイメージを固めて、4oに伝えます。（そのまま参照させるとそっくりなものが出てきて著作権侵害になる恐れがあるので、あくまでイメージに留めて言葉で説明した方が安心と思います）

とりあえず黒字に金のふちどりで作ってみてと頼んだら、いきなりイメージに近いものが出てきました。何も指示していないのに、2枚で共通させた窓枠のデザインを活かしたカードフレームを提案してくれるとはうれしいですね。ただ、2枚のイラストを渡していたので、ニコイチのデザインになってしまいました。

ニコイチではなく1枚1イラストにしてねと強調して、あとは「黒字に金は採用。ふちにこういうモチーフを入れて」とか「もっとイラストを大きく掲載できるようにフチを細くして」などとわがままを言っていきます。4oは文句も言わずに付き合ってくれますが、あまり生成しすぎると、プランによっては画像生成の制限に達してしまうことがありますのでご注意下さい。

出てきた画像を確認してみます。拡大してみても、結構いい感じの箔押し感が出ていていいですね。これを第一案にすることにしました。

ただ、デザインがまだ完璧にイメージ通りではなかったので、もっと大量のドラフト（たたき台）を作りたいところ。ChatGPTの画像生成機能はとても高性能ですが、1枚ずつしか生成できないのが弱点です。

・LLM▶SD▶NAI

そこでＳＤを起動。普段使いのローカルモデルを使い、さきほどのドラフト画像をノイズ除去強度強めでimage2imageします。ノイズ除去強度を0.6以上にすると、ChatGPTが作ってくれたデザインからずらすことができ、印象は同じでデザインの違うものがたくさんでてきます。大量生産してデザインを模索したいときは、やはりローカル生成が強いですね。

次のようなプロンプトで生成すると、こんな感じ（画面右側）でさまざまな案が生成できます。

PP：tarot, no humans, roman numeral, moon, gold text,english text, black background, star (sky), monochrome, simple background, star (symbol)

ちなみに、こうしたプロンプトを自分で考える必要は全くなく、タガーに掛ければ自動検出してくれます（やり方はこちらの記事のタガー関連の章を参照のこと）。

あとはプロンプトを調整しながら、好みに近いものが出てくるまでガチャってもいいですし、部分部分で気に入ったところをクリスタで合成したり、NovelAIv4インペイントを使って整えたりしてもOKです。下の例だと「moon」の印象が強すぎてちょっと邪魔なので、途中で消して、さらにブラッシュアップしていきました。

このように、「LLMでドラフト作り▶ローカルimage2imageで大量案出し▶NovelAIインペイントで細部調整」という各自の強みを活かした手順を踏むことで、イメージをどんどん具体化できるわけです。

最終的にはこちらのふちを採用しました。これは完全に画像生成だけで作ったわけではなく、不要な部分を黒で塗りつぶしたり、四方にある星は加筆できれいに直してコピペしたり、フレームが左右対称になるように真ん中で反転させたり、文字部分をテキスト入力したり、上にテクスチャやグラデーションを重ねたりして、違和感のないよう仕上げています。

ポイントは、全体を拡大してよく見て、AIならではの「溶け」がないかをまず精査し、デザインが共通するべきところはちゃんと同じになっているかを確かめます。上の例なら、四隅の星のデザインが共通していないとおかしいですし、文字のカラーが縁取りと沿っていないと浮いてしまいます。

細部の精度を上げるにはHiresを掛けるのがおすすめですが、一貫性を保つ作業は、慣れている方なら自分で加筆修正したほうがスムーズかなと思います。特にこうした左右対称のデザインの場合、中央の線で反転させるだけで左右の一貫性を保てるから楽ですね。

２．「対」になるイラストづくり

さて、今回のイラストでは2枚のモチーフを「昼と夜」「カメラ目線と背けた顔」「拒絶と受容の態度」「色温度の温冷」などで対比させつつ、背景の窓やシチュエーション、人物やモチーフの配置をそろえることで、対のカードに見えるように仕上げました。

(frame embed)

これは、先に「MOON」のイラストを作ったあとに「SUNのほうも背景を同じ窓枠にしたら対にできて美しくなりそうだな」とたまたま思いついて、Controlnet「AnytestV3」で再現したものです。今度は、このように一貫性のある背景を出すためのさまざまなテクニックを順番にまとめていきます。

３．部分トレス法

さきほどの2枚のイラストは、背景の窓の大きさや形、キャラクターの立ち位置が揃っています。これを実現するのに最も簡単なのは、クリスタで一枚目のイラストを読み込み、新規レイヤ―で窓の縁取りをペンでトレスする方法です。線画部分を守ってプロンプト通りのイラストを仕上げてくれるCN「Anytest」シリーズに、人間が取捨選択してトレスした線で「窓枠がどの位置にあるか」だけを簡単にお知らせするわけです。

文字で説明するとわかりにくいので、さっそく実践していきましょう。（※まだAnytestを使ったことがない方は、こちらの記事をご参照ください）

SDXL用Controlnetが理解る！おすすめモデル＆活用例を徹底解説

【2024.10.06更新】スケッチ読み取りCN「XDoG-sketch」を追加しました。こんにちは、スタジオ真榊です。こちらの記事は、SDXL向けControlnetの基本的知識や導入方法、おすすめのモデル、実際の使い方を紹介する大型特集です。ラフを線画化したり、線画を着色してもらったり、写真をイラスト風に変えたり、特定の部位だ...

以下、CLIPSTUDIO（クリスタ）での作業の仕方を説明していきます。

継承したい窓枠部分をトレスするときは、読み込ませた画像を「レイヤーカラーを変更」で青一色にし、透明度を下げておくのがおすすめ。新規レイヤ―を上に作り、窓の部分だけを黒いペン（色が濃ければ何色でもOK）で適当になぞります。直線のところはShiftキーを押せば簡単に引けますし、曲線部分も正確になぞる必要はありません。anytestは賢いので、「だいたい」でOKです。

はなはだ雑ですが、こんな感じで全く構いません。大きくずれてさえいなければ、マウスでもできるはずです。

ただし、このままだと窓枠の線が全て描かれているので、キャラクターがうまく収まる余地がありませんね。「窓枠が全周見える画像を生成しなさい」という指示になるので、キャラクターが窓に重ならないような場所に描かれたり、窓の外に描かれてしまったりするでしょう。そこで、キャラクターが重なるであろう部分を広めに消しゴムしておく必要があります。

例えばこのような感じ。こうしておくことで、「この途切れた部分に人物がいるんだな」とモデルはちゃんと理解してくれます。

青色のお手本を非表示にして、完全な白背景の線画にし、「画像を統合」。Ctrl＋Cでコピーしたら、SDwebUI（reForgeなど）のControlnet欄に貼り付けます（Ctrl＋VでOK）。キャンバスサイズの縦横比はこれから生成する画像と同じになるようにしましょう。

下図のようにできていればOK。あとは好みのプロンプトで画像生成するだけで、この枠に沿ったものができます。（窓と女の子を描いてほしいので、最低限"1girl＋window"タグを忘れないようにしましょう）

こちらのプロンプトで生成すると、こんなイラストがでてきました。

PP：1girl,solo,open eyes,smile,open mouth,dynamic pose,looking up,[[[from side]]], detailed eyelashes,completely nude, nsfw,beautiful skin,sun,prism,window,backlighting,blue sky,cinematic lighting,day,wind,naked sheet, see-through silhouette

窓枠の線の位置がおおむね参照され、windowタグと結びついて、きちんと想定した結果になったことが分かります。窓のデザインを見比べると、左下の一枚はちょっと斬新な解釈をされていますが、線画の太さや本数、プロンプトなどを調整すれば、より精度を上げられるはずです（線が濃く、太い方が重視されるようです）

・パースを指示することも可能

この手法を応用すると、パースだけを指示して背景を作り出すこともできます。今度もはなはだ雑ですが、このように白いキャンバス上にパースらしきものを直線で引いてみました。先ほどの窓枠トレスのように、これを読み込ませてリビング背景を作ってみます。

こちらのプロンプトで生成すると、このような感じになりました。

PP：no humans, indoor,room,sky, window, cloud, sun, living room

プロンプトが雑だったので室内の様子はやや変ですが、パースだけは守ってもらえています。

漫画を制作している際など、「背景の細かな配置などはモデル任せでも構わないけれど、おおまかな構図だけは指示したい！」という状況がよくあろうかと思います。

そうしたときに、このように簡単なパースだけを取ってAnytestガチャを行えば、構図だけはイメージ通りで、あとはモデルに自由に案を出してもらうことができるわけですね。

・細かいデザインは継承不可

ただ、この部分トレス法は線の位置が採用されるだけですので、「どのようなデザインの背景か」までは継承できません。さきほどの例でも、窓はそれぞれ異なる意匠になっています。

単純な線画指示によっておおまかな窓位置だけは同じにできても、「違う窓」になることは避けられないわけです。構図だけを指示したい場合はこれでよいのですが、２枚のイラストで全く同じ窓にしたい場合は、窓枠の位置を線でトレスするのではなく、１枚目のイラストの人物部分だけを白く塗りつぶしてanytestに読み込ませる方法があります。

４．塗りつぶしanytest法

たとえばこのような感じに、継承したい窓枠だけを残して、人物などを雑に白いペンで塗りつぶしてしまいます。窓枠のデザインが（一部ではあれど）詳細に残っているので、先ほどのトレス法よりはデザインを引き継ぐことができるわけですね。下図のようにさきほど書いたトレスの線も一応残しておくと、「だいたいここに窓枠が来るよ」と伝えることもできます。

　　　　　　（↑白い塗りつぶしの上に窓枠の線が引かれている状態）

上の入力画像で生成すると、このような感じになりました。これでも窓の色合いや細部はやや変わりますが、さきほどの「部分トレス法」に比べて、ずっとデザインを踏襲できているのが分かるかと思います。

このように、anytestでは白塗りと併用することで、あたかもインペイントしたかのような効果を得ることができます。v3とv4によってテイストが異なる（v3は線画重視、v4はスタイル変更重視）ので、用途によって使い分けるとよいでしょう。

ただ、漫画などでは「ほとんど同じ」とか「よく似ている」だけではだめで、違和感を全く覚えないほど同じ部屋にしたい！ということがよくあるでしょう。その場合は、もうひと手間掛けて「無人の背景」を作ってから、それを踏み台にしてバリエーションを作る必要があります。

５．無人背景法

部屋のデザインをどうしても完全に同じにしたい場合は、まずお手本にするイラストから人物を消して、「無人背景」を作るところから始めます。こういうときに役立つのはやはりNovelAIv4インペイントですね。（NAIv4の基本についてはこちらのレビュー記事もご参照ください）

「NovelAI Diffusion V4」最速レビュー　新機能の性能チェックと活用方法

こんにちは、スタジオ真榊です。2025年3月1日に、NovelAI Diffusion V4のフルバージョンが公開されました。機能が限定された先行公開版「V4 Curated Preview」が昨年12月21日に公開されており、いよいよNSFW機能などが解放された「full」を使うことができるようになったわけです。「Curated Preview」リリースのときも...

このように、1枚目のイラストを読み込ませたら、「描いてマスクを追加する」で人物部分をマスクします。ペンサイズを四角く大きくして雑に塗りつぶしてから、小さい丸のペン先にして整えると楽です。

無人の部屋だと分かるよう、「PP：no humans,window,sun,day,sky,scenery」で生成します。下図は失敗例で、このように謎の物体が出てきた場合、シーツのどこかがマスクしきれていないのが原因です。「ここに何かシーツっぽいものを描かないとだめなんだな」とNovelAIに誤解されている状態ですので、もっと広めに塗りつぶしましょう。

大きく塗りつぶし直すと、このようにできました。塔などが邪魔なら、プロンプトを工夫して生成し直すか、生成画像を左側のメニューにドラッグして、インペイントで消せばOKです。

左がインペイント前、右がインペイント後です。左右で見比べてみると、おおむね同じにできていますが、シーツ越しに見える窓の下側の位置が多少ずれているのがわかります。また、左の画像には中央に縦に走る窓枠がありませんね。（これは、むしろ左の画像の方が間違っていると言えるので、左を直す必要があります）

・細かな位置ミスを直すには

窓の縦の長さを直すことも簡単にできます。荒業ですが、このようにクリスタ上で範囲選択して、移動ツールで雑に上へずらしてしまいます。ずれた分透過部分が生じてしまいますが、お構いなしで画像保存してしまいます。

そうしたら、この画像を再びインペイント画面に放り込んで、このようにおかしい部分をマスクして生成しなおせばOK。不自然に途切れているところだけをマスクするイメージです。

すると、途切れた部分を自然につなげてくれて、窓枠だけを少し上にずらすことができました。左がインペイント前、右がインペイント後です。

あとはこの背景に人物をインペイント生成すれば、「全く同じ部屋」に別キャラクターを召喚できるわけですね。

・人物を合成するには

無人背景にキャラを召喚したい場合は、優秀なNAIv4インペイントを使って描き込んでもいいですが、最近はローカル生成でもかなりいい感じにインペイント生成できるようになってきています。

例えばこのようにローカルCNでマスクして、NoobAIインペイントモデル（後述）を使ってミナちゃんのプロンプトで生成すると…

このように、さきほどの部屋にミナちゃんを召還することできました。（NAIインペイントに比べてやや崩壊しやすいのでチェリーピックしています）

・NoobAIインペイントモデル

上の例で使ったControlnetは、最近出たNoobAI用のインペイントモデルです。NovelAIのv4インペイントほどの優秀さではありませんが、普段の画風のモデルで使い倒せるので、かなり重宝します。Noob系でないillustriousモデルでも特に問題なく使えていますので、Illustriousモデルを使用されている方は試してみてはいかがでしょうか。

(frame embed)

・anytest合成

合成したいキャラクターのイラストや線画が既に手元にある場合、NAIやローカルでインペイント（部分t2i）するのではなく、anytestを使って合成することもできます。違いを簡単に説明すると、さきほどの例が背景の一部に「ここにこんな感じのキャラクターを描いて」とプロンプトで頼むかたちだったのに対して、こちらは「絵の全体像をユーザーがきっちり指示して、その通りに描き直してもらう」イメージです。

実際にやってみましょう。クリスタ上で窓の無人背景を開き、そこへ白背景で生成したキャラの画像をコピペ。キャラの背景部分を雑に自動選択して削除します。もうこの時点で結構それらしく見えるのですが、画風の違いやライティングなどが不自然ですので、画像生成によってなじませたいところです。

移動ツールでキャラクター位置を調整したら、レイヤー結合してControlnet画面に投入し、Anytest v3に読み込ませます。画風や光源が全然そろっていませんが、とりあえずそのままで生成してみましょう。

プロンプトは、この画像内に入っているもの全てを指示する必要があります。面倒ならタガーに掛けて抽出するのがよいでしょう。下記のようなプロンプトにしました。

PP：1girl, solo, sidelocks,(red-framed eyewear,semi-rimless eyewear:1.2),blue eyes,white pupils,school uniform,serafuku,hair between eyes,sailor_collar,ponytail,short sleeves,shiny skin,black hair,white bow,red neckerchief, black pantyhose,pleated skirt,medium hair

bird, sky, window, cloud, sun, scenery, ocean, blue sky, day, sunlight, horizon, seagull＋クォリティタグ

前半がミナちゃんのプロンプト、後半が背景のプロンプトですね。これで4枚同時生成すると、このようになります。モデル任せのインペイントと違い、自分でキャラクター部分をしっかり固定できるのが強みです。

さきほどの雑コラと違い、逆光などの条件を踏まえた絵として再描画されました。画風の違いも補正されています。

ただ、最初に読み込ませた雑コラと見比べると、線画は継承されていますが、色合いはプロンプトに従ってかなり大胆に変更されています。色合いの変化が気になる場合は、text2imageではなくimg2imgするとよいでしょう。さきほど作った左の画像を同じサイズにimg2imgする際、anytestを利かせるだけです。

こちらは、左がもとの画像、右がそれをanytestでimg2imgしたものです。カラーをある程度維持しながら、再描画が行われていることがわかります。

背景の一貫性をどれくらい重視するのか、前景をどうしたいのか（用意した画像を合成するか、モデルに指示して描いてもらうか）によって、インペイントするか雑合成してanytestするかなどを選ぶとよいかなと思います。

６．一貫性を保って夜や夕方に変更

さらに、さきほどの窓の背景を「同じ部屋のまま夜の風景に変えたい」という場合はどうでしょうか。対になるイラストを作るときや、連続して同じ背景が出てくる連作イラストや漫画では、こういう一貫性を保つテクニックが大事になります。クリスタで青色のグラデーションをオーバーレイさせたりして手作りすることもできますが、現環境ならChatGPT4oに頼むのが一番簡単でしょう。

このように、苦もなく「夜」にしてくれました。

ただ、4oは日本語で指示することでそれなりに再現度高く画像の内容を変更してくれますが、キャンバスの縦横比が自由に設定できないのと、画風がかなり変わってしまうことが気になるところ。

キャラクター絵でやると分かりやすいです。このように指示すると…

やっぱりかなり画風が変わってしまいますね。ただ、これで得られたイラストをさきほどのanytestを使ったimg2imgで再描画すれば、かなり簡単に「画風を保った夜バージョン」を得ることができます。要するに、カラーリングはさきほどのChatGPT絵から継承し、線画は最初に読み込ませた夕方のイラストから継承すればよいわけですね。

・Anytestマージ

まずはこのように、カラーを継承したいChatGPT絵をimg2imgもととして入力します。ノイズ除去強度は0.6～0.7くらいがよいでしょう。強めるとカラーが変わりすぎますし、弱めると画風がChatGPT絵のままになってしまいます。

そうしておいて、Controlnet画面で「Upload independent control image」をクリックします。こうすると、img2imgする画像とは別の画像をControlnetに送り込むことができるので、線画を継承したい画像を入力して、Anytestに読み込ませます。

これで、img2imgによってカラーリングを、anytestによって線画を継承する準備ができました。

あとは以下のプロンプトで生成すれば、もと画像と画風を保ちながらLLMの提案してくれた「夜カラー」で生成できるはずです。

（前半がキャラタグ、太字が背景タグ）

こちらが生成結果。カラーと線画を別々の画像から継承することができました。

このように、ある画像の線画だけを保持して、カラーリングだけを任意に変えられるのがAnytestの便利なところです。ごく簡単に変えたい画像を放り込んで…

単純にプロンプトを「no humans, bird, sky, window, scenery, ocean, night,moon, horizon, seagull」に変えるだけでも、このように変化させられます。anytest v3よりv4のほうがこうした「塗り直し」は得意です。

ただ、気になる点も。このやり方だとどうしても昼のイラストに描かれているものの輪郭に引っ張られてしまったり、もともとなかったディティールが勝手に追加されたりするのですね。例えば上の例だと、窓枠の下部分の位置がまたズレてしまっていますので、さきほど紹介した「雑にずらしてインペイントでつなぐ」テクニックで直していく必要があります。

ぶれを小さくするためには、Controlnetのメニューで「Controlnet prefer」（もしくはcontrolnet is more important）を選び、重みを1.1に強めて生成するなどの方法もあります。どちらも、プロンプトより入力画像をより厳格に守ろうとする働きがあります。ただ、そのやり方で夜にしても…

やっぱり、どこかおかしくなります。なんとなく夜の背景に変更できてはいるのですが、読み込ませた画像の太陽や光条の印象が強すぎて、月がぎらぎらに大きく光ったり、太陽があった場所に謎のオブジェが出たり（左上）していますね。

下図も「golden hour,evening, horizon, orange clouds,dusk」といったプロンプトで、夜ではなく夕方の風景に変えたものです。AIはここでも「太陽のかたちの窓枠がそこにあるんじゃないかな」とむりやり解釈してしまっています。

やはり、入力画像にこうした矛盾があると上手に生成ができませんので、事前にインペイントで余計なものを削除しておくのがポイント。水平線の位置が時刻で変わるのもおかしいですしね。

例えばNovelAIを使って、除外したい要素（＝NP）にbirdやsunを入れ、太陽があった位置をマスクしてインペイントするとこんな感じに修正できます。なんとなくほんのり明るくなっているのは、マスクし残した部分がある影響でしょう。これも消したい場合、生成できた画像をもう一度インペイントすればOKです。

こちらを入力画像にすれば、さきほどのように太陽らしきものが描かれることを避けられました。左がanytestに読み込ませた画像、右が生成結果です。このイラストでは雲の位置が左右で継承されていますが、これも避けたい場合、インペイントで消すよりは、もはや窓の中をすべて真っ白に塗りつぶした方が楽かなと思います。

クリスタの場合、選択ツールで「色の誤差」をかなり大きい数字にしてから窓枠の中の領域をクリックすれば、こんな感じでぱぱっと消せます。anytestは、真っ白な部分があると「プロンプトに従って何を描いても良いエリアなんだな」と判断してくれるので、指示に引っ張られないでほしい部分はこのように白く塗りつぶすようにしましょう。

塗りつぶした画像をanytestに入れると、このように右側に毎回いた雲を消して、窓の外を自由にプロンプト指示できるようになりました。

・動画生成AIを使う方法も

部屋の一貫性をもっと正確に保ちたい場合は、特集①で紹介した「動画生成AIを使った画像変化」を使うのも良いでしょう。例えば、こちらの無人背景を夜に変化させたいとします。

上の画像をRunway Gen4に読み込ませて、プロンプト「It becomes night」で生成すると、このようにそのまま夜に変換することができました。そんな感じで夜になるんだ…

It becomes night

最終コマを抜き出すとこのような感じです。イメージよりちょっと暗すぎましたが、LLMに頼んだのと比べると細部の一貫性はしっかり保たれています。

ローカルでAnytestしたり、LLMに夜にしてもらったりするのに比べて、動画生成は一貫性が段違いによいのがメリット。その代わり、画質は落ちてしまいますし、コストもかかり、どれくらいの暗さの夜になるかもランダムです。１回の生成にも時間がかかるので、いろいろな手法と長所短所を見極めて使うことになるでしょう。

また、この部屋の「角度違い」を出すなど、線画が動くような変化をさせたい場合は、現状では動画生成が最も強い選択肢になります。LLMに頼んで別角度にしてもらうこともかなりできるようになってきましたが、一貫性については現状、動画生成AIが頭一つ抜けている印象です。

終わりに

そんなわけで、前回特集に引き続きCN・LLM・動画生成AI・NAIv4インペイントをそれぞれ使いこなして思い通りの背景・構図を作り出す手法について検証しました。

AIイラストの背景は、キャラクターと一緒に出そうとするとどうしても細かなミスが生じてしまい、いちいち手作業で直そうとすると膨大な作業になってしまいがち。ミステリの格言に「困難の分割」というのがありますが、一緒に生成すると厄介な場合は、できるだけパートに分けて生成し、手作業を交えて最終形に近づけていくのが最短の道なのではないかと感じています。

(frame embed)

話は変わりますが、いまちまたで注目されているのが、ControlnetやForgeの生みの親であるIllyasviel氏がリリースしたローカル動画生成AIツール「FramePack」。これは静止画から動画を作るi2vモデルで、動画の最初のコマになる静止画像を指定してプロンプトを入力するだけで、非力なグラフィックボードでもローカル動画生成がかなりの一貫性でできる画期的なプロジェクトです。

(frame embed)

なんとVRAM6GBから動画生成が可能。1フレーム目として入力した画像から一貫性を保って、指示通りの変化をさせられます。これはすごい…

waving hand

この一貫性とクォリティの高さは特筆すべきものがあり、今回紹介した背景操作にも非常に親和性が高そうです。オンラインサービスの動画生成モデルはともかくコストが高く、生成に時間がかかるのに全然イメージと違う結果になりがちなことがネック。ローカルで好きなだけ動画生成できるのは、非常にエポックメイキングですね！

個人的には、動画制作に使うというよりも、キャラクターの一貫性を保ったまま任意の変化をさせられる技術として非常に興味深いです。さっそくいろいろと検証して、またご報告できればと思っています。

それでは今日はこのへんで。スタジオ真榊でした。