スタジオ真榊

【第1回】一貫性を保った「AI背景」を作ろう！　写真から変換、画角変化も

Added 2025-02-10 13:40:05 +0000 UTC

こんにちは、スタジオ真榊です。今回は漫画制作において非常に重要な「一貫性のある背景」を作るテクニックの特集記事です。いわゆる「AI漫画」を制作する方だけでなく、自らの手で漫画を制作しているクリエイターの方にも活用できるよう、一貫性のある漫画背景を簡単に作る方法について、さまざまな検証を行いました。（いちから3Dモデルを作るとか、大がかりな手法ではありませんのでご安心ください）

漫画に登場させても不自然でないような、想定した通りの内容・構図の風景を画像生成するやり方から、そうした画像をさまざまな画角・構図に変換したり、漫画調に変換したり（下図）して、最終的にはその背景にキャラクターを自然に配置する手法までを、詳しく見ていきたいと思います。

【※男性向けR-18の内容が出てきますので、お読みいただく際はご注意ください】

キャラだけでなく背景にも一貫性を

前回まではキャラLoRAやIP Adapterを使ってキャラクターの一貫性を保つ手法を検証してきたわけですが、漫画の制作作業の中では物語の都合上、人物だけでなく背景もきちんと一貫性を保持して作り込まなければならない場面がどうしても出てきます。

「一度出てきたキャラの自室を何コマも登場させなくてはならない」とか、「渋谷駅前のスクランブル交差点をできるだけ正確に、漫画タッチで描かないといけない」といった事情ができたときに、思った通りの背景が作れないと詰んでしまうわけですね。逆に、ここを誤魔化そうとするとバストアップの会話劇ばかりを強いられたり、場面転換をスムーズに演出できなかったりします。

例えば、このような背景を一度作中で使ったら、その後もある程度一貫性を持ってこのベッドやソファのある部屋を再現できないと困るわけですが、AIはそうした作業がとても苦手なんですよね。

IPAdapterなどの参照技術を使っても、ベッドやソファの色や形状が変わったり、光の当たり具合が変わったりして、とても同じ部屋には見えないものができてしまいます。

　　　　　　　　　　　　　　　　なんか違う

そこで、いったん得られた無人背景を一貫性を持って別角度に変換したり、そこに人物を自然に溶け込ませたりする手法が必要になるわけです。前回まで取り組んできた「キャラクターの服装がころころ変わる問題」の背景版と言えるかもしれません。

この記事では、まずこうした望み通りの無人背景を作るやり方について

「A：無人の背景を先に作るやり方」

「B：一枚絵から背景を切り出すやり方」

「C：写真や素材から変換するやり方」

の3パターンを紹介してから、その背景の中に自然にキャラクターを描く手法を見ていきたいと思います。

A:無人の背景を先に作るやり方

一つ目は、さきほど紹介した無人のベッドルームをt2iで作るスタンダードなやり方です。

このとき、最初からイラストタッチのベッドルームを作ろうとするのではなく、まずはイメージ通りの部屋を「フォトリアルに」作るのがコツ。その方が部屋の構造を自然に作れるだけでなく、あとで「角度変更」をする際にうまくいきやすいのです。説明するより実際にやったほうが分かりやすいので、さっそくやってみましょう。

ローカル生成で行う場合はフォトリアルな生成が得意なモデルを使うわけですが、いまは誰でもGrokでFLUX.1モデルを使った生成ができるので、せっかくですから使ってみます。想定している背景を日本語でざっくり指示すると、このような画像が出てきます。

日本のマンションの部屋というより、ちょっと海外の高級ホテルみたいですね（笑）こういう現象は、「マンション」という単語の意味合いが日米で全然違ったりするなどのすれ違いで生じることが多いです。プロンプトをいじりながら、イメージに近づけていきます。

・背景生成はImageFXが強い！

背景生成については、現時点ではGrokよりもImageFX（Imagen3）のほうが正確性の高い生成ができるようです。Grokと違って英語プロンプトで指示する必要がありますので、上記のプロンプト指示をChatGPTなどで英訳してもらってそのまま放り込むと、このような背景が出せます。

ちなみに、こうした自然英語プロンプトは「にじジャーニーが理解る！」で配布しているNiji journey用の自然言語プロンプト生成GPTを使うと簡単に作ることができますので、ご活用ください。

にじジャーニーが理解る！キャラ再現からパーソナライズまで

こんばんは、スタジオ真榊です。今夜はアニメ/マンガ風の画像を生成できるAIウェブサービス「にじジャーニー（niji journey）」についての記事を最新アップデートしてお届けします。Niji journeyでは2024年8月から、公式サイト上での画像生成が整備され、リファレンス機能なども使いやすくなっています。この記事では、N...

・権利関係に注意

ざっと見た限りですが、Grokには生成画像の利用方法について明快なガイドラインがないようです。xAIの規約はこちらですが、著作権侵害などをしないように警告する文章はあっても、画像の商用利用について詳しく定めた記述は見つからず、Xについても同様でした。

(frame embed)

参考までに機械翻訳で該当しそうな部分を掲載しておきますが、現地法において普通に考えて権利侵害や犯罪に当たるであろう行為や、いわゆるディープフェイク的な利用法については禁止されているものの、生成画像を加工して創作に使うことについては詳しい記述が見つかりません。

Grokは実在人物や有名キャラクターの画像も生成できるため、そうした画像を商用利用すれば当然、著作権や肖像権侵害になる恐れがあるのは当然ですね。

Grokの生成画像についてはウォーターマークが右下に配されますが、この扱い（トリミングや加工をしても構わないのか）についても明快な説明はありません。ただし、出力された「コンテンツ」についてはこのような記述があります。

いずれにせよ、Grok（もしくはImageFX）をトラブルなく使用する際には当然、こうした規約を十分確認した上で、その範囲内で利用する必要があることを改めて確認しておきます。

・illustrious系モデルで作るとどうなる？

背景はフォトリアル系のモデルで生成したほうがいいと先ほど書きましたが、試しに私の普段使いのillustrious系モデルで上記プロンプトを生成すると、このような感じになります。まあ、整合性は取れているといえばまあまあ取れているのですが、プロンプトにない背景を気を利かせて生成してくれるわけではないので、なんというか簡素すぎて「架空感」が物凄くなってしまうのですね。

データセットに正しい部屋のデータがない、というよりは、こうしたモデルは美麗なキャラクター（前景）を描くことに特化しているので、データセットにある「正しい部屋」を描こうとするバイアスがあまり働かない、という方が近いでしょうか。

プロンプトを増やして頑張ればまあ、これくらいならできるのですが…なんかなあ。

LoRAを併用したり、photo backgroundなどのタグを使ったりすればなんとかなるかもしれませんが、無機物は素直にフォトリアルタッチに生成した方が手っ取り早いかなと思います（もちろん、普段お使いのモデルが背景に強いモデルであれば、こうした面倒な前処理をする必要はありません）

・「フォトリアル背景」を得たら

さて、今回はこのようなフォトリアルタッチの寝室画像を得ました。壁側の謎のカーテン風の物体など、細部はやや気になるところもありますが、これから漫画調に変換する際に細部は調整可能ですので、部屋の構図やアイレベル（目線の高さ）などを優先します。（気になる破綻はLamaCleanerやPhotoshopの生成塗りつぶしで消しましょう）

まずはこの画像を、普段の画風に変換するところから始めます。このように、controlnetの「anytest v4」に掛け、ウェイトはやや弱めの0.9、Endingステップは0.5まで（つまり前半50%）とします。これは、ウェイト１で全ステップに掛けると、余計なディティールまで再現されてしまうからです。あくまで構図や家具の配置だけを参考に、ほどよく細部は無視してもらいたいというCN設定となっています。

プロンプトは「no humans,bedroom,sofa,window,indoor,tissue box」だけ。変な物体が出てしまうときは、もっと「pillow」「wooden floor」などと詳しく書きましょう。

この設定で生成するとこのように、元画像である「フォトリアル寝室」のディティールをほどよく無視したベッドルームが出てきます。どれくらい元画像に寄せたいかによって、ウェイトなどを調整するとよいでしょう。

色味がだいぶランダム化されてカラフルになっていますが、さきほどの「フォトリアル寝室」に色も寄せたい場合、text2imageではなくimage2image画面で同じことを行いましょう。「フォトリアル寝室」の画像をimage2imageする際に、さきほどと同じ設定でanytestを掛け、ノイズ除去強度を0.8程度にすれば色味があまりぶれにくくなります（下図）。

細かい部分、例えばティッシュやクッションなどの色はランダマイズされていますが、ここもコントロールしたい場合は「blue tissuebox」や「white cushion」などとプロンプト側でいじるとよいでしょう。

・漫画調にしてみよう

ちなみに、ここでプロンプトに「monochrome,comic,greyscale」を加えると漫画調にすることができます。illustrious系はこういうのがとても得意ですね。漫画調の画風LoRAがあれば、よりそれらしくできるかと思います。

例えば、手書き漫画を描かれる方なら、自分で描いた背景とそれをもとにフォトリアルにした画像のペアでcoppyLoRAを作れば、背景画の入り抜きや線画のテイストを自分の好みに寄せることができます。そこまでしなくても、bold系や描き込み量を操作する調整LoRAを使うことでも画風のコントロールが可能ですし、copainterを使って入り抜きや線の太さを調整しても良いと思います。

上のグレイスケール画像をClipstudioで雑にトーン加工するとこんな感じになります。不慣れなので下手くそですが、上手な方が触ればもっと自然にできるはず。

ベッド横のカーテンもどきやソファの縦ラインが合ってないなどのおかしいところは、最初のフォトリアル背景画像に由来しています。ガチャでうまく処理されるのを待ってもよいですが、やはり最初の段階でLamaCleanerなどを使ってささっと変な部分は消してしまうと、のちのち無駄に時間を使わなくてよくなります。

ちなみに、先日作ったNTR漫画「奪妻契約」で登場した鷲塚部長のベッドルームも、同じやり方で作っています。

「奪妻契約」では、このようにベッドの上を一部CNインペイントし、コンドームやティッシュを配置することで時間経過を表現しました。（右下はインペイントのキワが見えてしまっているので、こういうところは加筆やimage2imageで整える必要があります）

さて、背景ができたらあとはここに人物を入れていくだけなのですが、その前にあと二つの背景生成パターンについて説明しておきます。

B：一枚絵から背景を切り出すやり方

こちらの方法は、先に背景を生成するのではなく、画像生成の過程で偶然できた背景を他の画像にも使いまわしたいときに使うやり方です。例えば、このようなH絵がたまたま生成できて、「ここに至る前の情景を同じ画角で作りたい！」と思ったとします。（都合によりキャラクター部分はモザイク…）

こうなる「前」を作りたいので、人物部分にLamaCleanerを掛けます。小物も含めていきなり全体を消そうとすると失敗しやすいので、一つずつ細かく消してゆくと良いでしょう。（LamaCleanerの使い方等についてはこちらの記事を参照のこと）

「一貫性ミス」を修正するには　AI漫画で使えた実践テクニック

こんにちは、スタジオ真榊です。今月制作したフルカラーNTR漫画「奪妻契約～僕の綾香が部長の「週末妻（オナホ）」になった理由」、DLsiteに引き続き、本日FANZAでも販売開始となりました！（いずれも内容・定価は全く同じです）【FANZA】【DLsite】先行販売されていたDLsiteのAI生成フロアでは、目標にしていた100本...

何度か繰り返すと、こちらの画像が得られました。これが「Bパターン」のやり方です。このようにシンプルなベッド背景だと比較的簡単なのですが、あまり複雑な背景の場合、うまく人物が消せないこともあることに留意が必要。また、デフォルメの強いイラストタッチだとうまく整合性が取れないこともあります。

このように、まずは一貫した無人の背景を得ることさえできれば、いわゆる「定点カメラ」的なさまざまな連作を好きなだけ作ることができます。（やり方は後で詳しく解説します）

C：写真や素材から変換するやり方

Cパターンは、手元にある権利関係に問題のない写真や、フリー素材などを「A」の方法で普段使いのモデルの画風に変換する手法です。

公道上で自分で撮影した写真の場合は問題ありませんが、看板や建築物に著作権が生じる場合もあります。たとえ大きく加工する場合でも自室などにとどめておくのが安心かと思います。（例えば、スカイツリーが背景に映り込んでいる場合、商用利用する場合にはライセンス料金の支払いが必要になるようです）

(frame embed)

今回は例として、このような商用利用可・クレジット表示義務なしのフリー素材を使用します。いろいろとオブジェクトが多くて複雑な画像なので、まずはタガーを使ってタグを抽出します。

抽出されたタグはこちら。おおむね間違っていないようですね。

PP：no humans, chair, scenery, lamp, window, wooden floor, ceiling light, indoors, plant, bed, painting (object), carpet, table, desk lamp, potted plant, pillow, bedroom, rug, desk, wooden chair, ceiling, cabinet, day, flower pot, shelf, hanging light

そのタグをそのままt2i画面で使用します。Controlnetでanytest v4を適用し、さきほどの素材画像を読み込ませます。ウェイトやEndingステップは適宜、反映させたい度合いで決めましょう。

左が素材画像、中央が生成結果です。プロンプトに「monochrome,comic,greyscale」を追加すると右側のように漫画調にできます。

写真ベースだとありがたいのは、いくらでも好きなだけ必要な角度で素材を用意できること。クリスタなどの3D背景（こちらも加工して良いものが注意）を使う場合はぐりぐり視点を動かせるわけですから、もっと漫画に使用しやすくなるはずです。

・加工に進む前に

というわけで、「A～C」のいずれかの手法を使うことで、求めている背景をまず得るところまでが今回の記事の前半になります。得られた画像を基本にしてさまざまな加工を施していくわけですが、さきほど触れたように用意した画像に致命的なミスがあると今後の全ての生成に関わってくるので、不自然な物体や文脈的におかしい部分はこの段階で修正しておくようにしましょう。

同じ部屋を別角度で描きたいときは？

ところで、AもしくはBのやり方で得られた背景を、別の視点で描きたいときはどうしたらいいのでしょうか。いかに「一貫性のある背景」と言っても、カメラワークまで完全に一貫していると、さすがに「使いまわし感」が強くて不自然になってしまいますね。3D背景や自分の部屋を素材に使うならいくらでも色んな画角の素材が用意できますが、架空の風景などの場合はそうはいきません。

ひとむかし前の恋愛ADV（いわゆるギャルゲー）では、背景と立ち絵とテキストウィンドウを組みあわせて多様な表現ができたものですが、さすがに漫画でそれをやるのは難しいでしょう。

　　　　　　　　　　　　この記事の挿絵のためだよ

とはいえ、今なら私のような素人でもADVの画像部分だけなら結構作れてしまいそうですね。透過背景の立ち絵と背景絵、それからイベントCGがあればよいわけで…いやはや、凄い時代になったものです。

話が脱線しましたが、問題はどうやって一貫性を保ったまま「別角度の背景」を生成するか。そこで考えたのが、動画生成AIを使った方法です。こちらの背景を基に…

このように、別の画角を動画生成によって得ようというわけですね。

これは別に大して難しい手法ではなく、こちらの記事で紹介した方法の応用で実現しています。

「一貫性ミス」を修正するには　AI漫画で使えた実践テクニック

・横方向の「別カット」

今回もKling1.6を使います。さきほどの背景絵を１コマ目として入力し「the camera rotates around the subject」というプロンプトを適用すると、こちらの動画が生成されます。（チェリーピックなしの一発生成です）

寝室回転

有償サービスとはいえ、ここまで自然な一貫性があっさり取れてしまったのは驚くほかありません。あとはこのうち1カットを静止画として切り出すだけでおしまいです。おかしい部分があれば、塗りつぶすかLamaCleanerを掛けたあとにimage2imageすればOK。

この整合性の高さは、やはりこの入力画像がフォトリアルな画像を基にしているからというのもあると思います。下図のようにイラストレーティブな画像だと、なんとなくそれっぽくは見えても、写実的な動画でトレーニングしているモデルではどうしてもうまく整合性が取れないことが多いのですね。

(frame embed)

・縦方向の「別カット」

さて、さきほどはカメラをrotate（横回転）したわけですが、これ以外の動きもプロンプトによってかなり自在にできます。さきほどの動画で正面からのベッド画像を得たあとに、もう少し上の画角から描きたいときは、「the camera zooms in on the bed, and raises to a higher eye level.」で生成すると…

このような動画が得られます。

ベッドにズーム

他にも、「camera」と以下の単語を組み合わせることで、さまざまな方向にカメラを動かすことができます。

horizontal　水平方向にカメラが動く

vertical　垂直方向にカメラが動く

zoom　ズームする（camera zooms inやcamera zooms outとして使う）

pan　カメラ位置を固定したまま視野が左右に動く

roll　ロール（カメラがスクリュー回転）

tilt　カメラ位置を固定したまま視野が上下に動く

ベッドをもっと天井に近い高さから見下ろしたい場合は、「The camera zooms in, and moves to a top-down view.」などとするわけですが、それだけではあまりうまくいきませんでしたので、ベッドのアップの画像をEndコマに入力します。（ベッドのアップはさきほど「B」のやり方で得たものから適当に切り抜きました）

こちらが生成結果。

ベッド見下ろし

動画ではやや3Dっぽくなってしまっていますが、線画は十分得られますので、Anytestを使ってimage2imageすればこのような画像が簡単に得られます。

もちろん、さすがのKlingと言えども元の画像に描かれていない部分は想像するしかありませんので、動画が長くなるほどにいろいろ細部はおかしくなります。寝室画像の例でも、枕の影に謎の黒い物体が生じたり、ティッシュの形が崩壊したり。通常のイラスト生成と同様かそれ以上に、インペイントや加筆による一貫性保持作業は必須でしょう。

とはいえ、修正の面倒さやKling1.6のサブスク費用を差し引いても、背景の一貫性を保てるのは非常にありがたく、操作も簡単で再現性があるので、使い勝手がとても良いように感じています。（漫画の場合は"フキダシで不自然な部分を隠す"という秘技もありますので…笑）

無人の背景にキャラクターを描き込む

これで一貫性のある無人背景をそれなりに自由に作ることができるようになりましたので、あとはここにキャラクターを描いてもらうだけです。

さきほど「B」のやり方で得た無人ベッドをインペイントしてみます。CNインペイントを使い、このようにデフォルト設定で生成するだけ。

プロンプトは「1girl, solo,lying,on bed,on back,embarrassed,looking at viewer, angry＋キャラ情報」です。するとこのように、うまく寝かすことはできましたが、画風がインペイント範囲の内外で異なってしまいました。

「B」で作ったときの背景生成に使ったのがリアルタッチなモデルだったので、普段使いのイラスト調モデルとはっきり差異が出てしまったのですね。

2枚を重ねて、このように柔らかい消しゴムで境目を消すこともできますが、ちょっと不自然さは否めません。それに、ベッドのしわは広範囲に残ってもらわないと、キャラクターの体重感が出ませんから、これをimage2imageでなじませるか、インペイント画像を作り直す必要があります。

さきほどの無人ベッドを「anytest v4」に読み込ませて、いったん普段使いのモデルで描き直すのがよいでしょう。

モデルをそろえると、このようになりました。やはり、インペイントのふちは多少見えてしまいますので、もうひと手間かかりますが、image2imageか加筆で直すのがよいでしょう。

ノイズ除去強度0.4程度で２倍サイズにi2iアップスケールしてみます。線画部分をできるだけ保ちたいので、anytest（v3でもv4でもOK）を掛けておきます。

こちらが生成結果。インペイント範囲のふちが消えて自然になりました。キャラ部分も含め、キャンバス全体がわずかに変化していますので、その点はご留意ください。

実際の作例

このようにして得られた一貫性のある背景を使うことで、次のような表現が簡単にできます。

うーんひどい内容。これで完成のようにも見えますが、このたった4コマの間でも、よく見ると「服の青色が4コマ目だけ濃い」「4コマ目だけ袖に青いラインが入っている」「ベッドの左脇に、１枚目にはないスツールのようなものがある」「2コマ目リボンが消失」「布団部分が微妙に違う」…といった違和感が生じていますね。要するに、「ここからが人間の仕事」ということです。

いったんこうして連作として並べてみないと、どうしてもこういうミスには気づきにくいんですよね。間違えている部分はインペイントか加筆すればよいだけなのですが、それより気づくのが本当に難しい。AIは途中までの手助けはしてくれますが、仕上げ部分はどうしても人間が目を皿のようにして見て、的確に直さないといけない、ということを自戒を込めて書いておきます。

「定点カメラ」のやり方

閑話休題。先日公開したNTR漫画「奪妻契約」ではこのような定点カメラシチュエーションが出てきます。

今回説明したやり方で背景の一貫性を保ち、かつティッシュやゴムを増やすことで時間経過を表現しているのですが、無人の背景にそれぞれの人物を普通にインペイントしても、人物の描画範囲が狭すぎると、実はうまくいきません。（背景のモブのように顔や四肢がぐちゃぐちゃになります）

ではどうやっているかというと、まず無人の背景に、別に白背景で生成したH画像をこのように載せています。（H画像の白背景部分は、画像編集ソフトの自動選択ツールを使って簡単に透過しておきます）

その上で、できた画像の周辺をできるだけアップになるように、このように切り出します。この際、人物部分を補ったときに見切れないよう、大きさを調整する必要があります。（おじさんの頭やおしりがキャンバスのどのへんに来るかを想像する必要があります）

次に、得られた見切れ画像をインペイントで補填します。このように、髪の毛のおかしい部分や、見切れてしまっているところをCNインペイントすればOK。キャラクターの容姿はキャラLoRAでFIXできていますね。

あとは、これを再度、もとの無人背景に合成させればおしまいです。色味が合わない場合は、上からClipstudioでグラデーションマップなどを掛けて統一してもよいかと思います。

・課題は「情報量調整」

今後の課題としては、ここまで「引き」の絵で見ると、情報量が多すぎて見にくいこと。H漫画などで出てくる「定点カメラ」シチュエーションでは、白黒の漫画タッチであることもあって、顔まで描かれないシンプルな描画になっていることが多いです。詳細なイラストをはめ込むと、拡大してみたときは自然ですが、引きだと変に見えるんですね。

これは雑にimage2imageしたものですが、これくらい情報量を落とした方が、漫画としては自然に読めると思います。漫画って、本当に難しいですね…。

終わりに

そんなわけで、「一貫性を保ったAI背景を作ろう！」でした。

私自身が漫画やイラストといった静止画表現を好んでいることもあって、本格的な動画生成の探求にはいまだに踏み込めていないのですが、こうしたやり方で一貫性保持に動画生成AIを活かす手法があることが分かり、非常に興味深く思っています。未検証ですが、この方法を使ってさまざまな画角から一つの部屋の画像をたくさん生成できれば、それをデータセットにしてLoRAを作ることで、より一貫性を保って「その背景」を再現できるようになるかもしれません。

今はKling1.6が頭一つ抜けているように見えますが、TikTokの運営会社であるByteDanceが作った「OmniHuman-1」は既にここまで自然なi2v（静止画からの動画生成）を達成しています。AI音声とのリップシンクも完璧！

(frame embed)

すぐにRunwayなども追いついてくるでしょうし、アニメ特化の動画生成サービスも台頭してくるでしょう（NovelAIあたりが怪しい）。おおかたの予想通り、2025年は動画生成の進化が著しい年となりそうです。

動画生成の進歩というのは、一貫性保持の進歩と同義です。つまり、静止画表現である漫画も、これまでは思ってもみなかったような方法で作画できるようになるかもしれません。例えば、キャラクターの立ち絵を1枚描いて読み込ませるだけで、360度の画角を推測して、100パターンの中から「好みの後ろ姿案」を選べたり、そうしてできた9方向からの設定画を用意して読み込ませると、激しいアクションを自在にさせられたり…といったことがもう夢ではないように思えます。

ここで紹介した手法はあくまで2025年2月現在のもので、半年後にはもはや旧時代の手法と笑われてしまうかもしれませんね。とはいえ、できなかったことができるようになっていくのを前線で体験できるのは非常に面白いことで、これからもどんどん色んな手法を試していきたいと思います。

それでは今日はこのへんで。（第2回に続く）

【第2回】一貫性を保った「AI背景」を作ろう！　LLM/Anytest/NAIv4/Noobaiインペイント/動画生成

こんばんは、スタジオ真榊です。今回は、Controlnetやインペイント、動画生成、画像編集ソフトなどを併用したイラスト背景づくりについての特集です。2月にこちらの記事で、動画生成AIを使った「一貫性を保った別角度」の作り方を検証しましたが、今回はその続編。より実践的に、現環境で使えるさまざまな技術を組み合わ...