スタジオ真榊

【AI動画】DreamMachine徹底解説！失敗しないコツからAnytestリメイクまで（Clipstudio使用）

Added 2024-06-19 13:09:19 +0000 UTC

こんばんは、スタジオ真榊です。先日来、LumaAIが公開した最新の動画生成AI「DreamMachine」の性能が高いと話題になっていますね。SNSでは主にネットミームや昔の写真を動かして遊ばれているようですが、画像生成AIユーザーとしてはやはり、これまで作ってきたAI絵を動かしてみたくなるところ。そこで今回は、DreamMachineの基本やプラン解説に始まり、破綻しないコツやCLIPSTUDIOを使った修正、そして「Anytest v3/v4」を使ったアップスケール・リメイクの方法について検証していきたいと思います。

Anytestを使ったリメイクとは、次のようなものです。DreamMachineでポン出ししたこちらの動画はおおむね良い感じではあるものの、横向きになった顔立ちがやや崩れてしまっていますね。

miss

それをこのように、ローカルでAnytestを使ってimage2imageしたり、クリスタで加工したりすることによって、おおむね全体の一貫性を保ちながら「リメイク」することができます。夕陽のエフェクトや電車の振動は、DreamMachineではなくクリスタだけで行っています。

test7

無料プランだとサーバー過負荷が大きい時間帯ではなかなか注文が通らなかったり、何時間も待って生成された動画が全く使い物にならない失敗作だったり…といったことがままあるDreamMachineですが、これまで作ってきた無数のAIイラスト１枚１枚が動き出すと思うと、それでもわくわくしてきますね。Anytestを使えば、動画をドット絵風に変えたりフィギュア風に変えたり…といったテイスト変更も可能ですし、クリスタでの加工に慣れると色んな動画加工が楽しめるようになりますので、興味のある方はぜひチャレンジしてみてください。

DreamMachineの概要

「LumaAI」は、静止画のデータを入力すると、それを基に3Dモデルを生成してくれる機能を提供していた米国発のAI生成サービス。「DreamMachine」はそのLumaAIが2024年6月に新たに公開したt2v/i2v生成サービスであり、「正確で一貫性があり、イベントに富んだショットを生成することができる」としています。

これまでもPikaAIなど、text2video（プロンプト指示した動画を生成）やimage2video（静止画を基に動画を生成）ができる動画生成AIはいくつもあり、もちろんStableDiffusionを使ったローカルでの動画生成も可能だったわけですが、DreamMachineはとにかく品質が段違いによいです。こちらが私が最初に生成した動画ですが、ちゃんとバイオリンらしく見える動きと破綻の少なさにびっくりしました。

suletta

【基本的な使い方】

動画生成のやり方は非常に簡単。こちら（▼）の公式サイトにまずアクセスし、右上の「TryNow」をクリックしたら、あとはGoogleアカウントでログインするだけで、あっという間に生成画面にたどり着くことができます。

(frame embed)

こちらが生成画面です。非常にシンプルな内容で、操作できる要素は「画像を読み込ませるか否か」と「プロンプト入力」、そして「Enhance Prompt（プロンプト強化）のオンオフ」しかありません。（以下、記事執筆時点の情報であることにご注意ください）

読み込ませられる画像は1枚のみで、その画像を１フレーム目として「続き」が5秒間分描かれます。この場合、キャンバスのアスペクト比は基本的に入力画像に合います。画像を読み込ませなかった場合は、入力したプロンプトに従って自由に動画が描かれます。「An anime girl」などと指示しなかった場合、基本的には実写映像が生成されることが多いようです。

当初は5秒の動画しか作れなかったのですが、2024/6/18に、5秒の動画をいったん生成したのちに、さらに続きを生成する「Extend」ボタンが新設されました。これを使用すると、10秒以上の動画を生成することができます。「EnhancePrompt」欄は、入力したプロンプトをそのまま生成するか、それともDreamMachine側で意図をくんでプロンプトを書き足すかを選べる機能。これについては後述します。

料金プランによる違い

DreamMachineは基本無料で利用することができますが、月30本までしか生成できない上に、キュー（順番待ち）の優先度が後回しになります。記事を執筆している6月19日現在、非常に多くのキューが殺到しており、数時間待つこともざら。さらに、無課金ユーザーは１日５回までしか生成できない制限が掛かっています。

DreamMachineの生成速度は「120秒で120 フレーム（毎秒24フレームで5秒間）」と非常に高速なのですが、無料プランで使用する場合はなかなか生成が始まりません。より快適に使いたい場合は、キューが優先される有料プランを検討することになります。

プランは以下の通り。年間支払いにすると20%OFFになります。

・無料プラン：月に30回の生成が可能（このプランのみキュー優先権なし、商用利用不可）

・スタンダードプラン：月に30+150回の生成が可能　▶月額 29.99ドル

・プロプラン：月に30+430回の生成が可能　▶月額 99.99ドル

・プレミアプラン：月に30+2030回の生成が可能　▶月額 499.99ドル

ヒエー高い！「30+150回」などとあるのは、例えばスタンダードプランなら、無料プランの30回を入れると180回生成できるよ、という意味。なお、フリープランでは商用利用不可であることも注意しておきましょう。

生成した動画には右上に「LumaAI」という透かしが入りますが、有料プランではこの透かしなしの動画がDLできるようになります。キューの優先度にも、プランによって差が設けられているようです。

・有料プランの使用感は？

スタジオ真榊では、皆さまからの支援金をありがたく使わせて頂いて、まずスタンダードプランに加入してみました。t2v機能を試してみると、無料プランの際は「In queue（順番待ち）」の時間が30分～2時間程度掛かることもあったのですが、生成ボタンを押して即「DREAMING（生成中）」となり、公称通りほぼ2分で5秒動画ができました。フリープランに比べると雲泥の差ですので、何回も生成をしたい理由があるのであれば、スタンダードプランの加入はありかなと思います。

ちなみに、５～６回生成を繰り返してもこの生成時間はほぼ変わりませんでしたが、10秒間ほど生成前に「In Queue」が表示された回もありました。昼より夜（※日本時間）の方がフリープランの待ち時間は長い体感がありましたが、スタンダードプランで正午に生成しても午後9時に生成してもさほど体感差はありませんでした。（どちらも10秒ほどでDREAMINGになる）

もちろんサービスの混み具合によって待ち時間は変化すると思われますので、今後使用感が変わった場合は報告したいと思います。

プロンプトのコツと「Enhance Prompt」

さて、DreamMachineでの動画生成のクォリティはほぼプロンプトと入力画像次第で決まると言ってよいので、この項目ではプロンプトについて述べます。

Image2videoのプロンプト術

まずはニーズが高そうな、入力画像（jpg/png）を動画化する「i2v」のやり方について見ていきます。最初の問題はプロンプトをどうするかより、「Enhance Prompt」を有効にするかどうか。最初にお見せしたバイオリンの動画はEnhance Promptをオンにして生成したのですが、あれは偶然うまくいったケースだったようで、生成するたびにかなり生成結果が暴れてしまいます。一方、オフにすると派手な動きはあまりない、静かな動きの動画になります。

【EPがOFFの場合】

この記事をお読みの方は、「既に生成した過去のAI絵をなんとなく立ち絵風に動かしてもらえたらとっても嬉しい」というニーズの方が結構多いのではないかと思います。予想だにしない大きなアクションを求めているわけではなく、髪がなびいたり、すこし身じろぎしたり程度で良い場合は、まずはEPを「OFF」で生成することをおすすめします。

watermarked_video057767a0a5a9e42809cbabd7cc4f7f4a9

こちらの動画は、EPをOFFにし、Extend機能を使って5秒＋5秒の計10秒で生成したもの。このように、EPがOFFだとイラストをそのままFlashアニメのように動かす形になることが多いです。刀を持った手元など、動かない部分はカチッとして動きませんね。

EP「OFF」の場合のプロンプティングは、①画像の説明と②何がその後起こるかを英語で指示する必要があります。「1girl,standing,smile...」式のdanbooruタグでもある程度通じるのですが、公式は「A woman dancing ballet, her arms gracefully extending upward as she twirls around, the dancers behind her bowing low to the ground」（バレエを踊る女性、彼女の腕が優雅に上に伸びて回転し、後ろのダンサーが地面に深くおじぎをする）といった自然な英文で指示することを推奨しています。

アニメ調のイラストを動かす場合も、「An anime girl」などの主語を使い、まずはing型で何をしているか（standingやwalking、playing violinなど）を説明する形になります。基本的に指示のない部分は動きにくいので、「Her hair is blowing in the wind」や「she moves body」などと動いてほしい部分を指示しても良いですが、それはそれで破綻の可能性が上がります。また、Seed値をこちらから指示することができないため、同じ入力画像・プロンプトでも生成するたびに違う結果になる点にも注意が必要です。

【カメラ関連の指示プロンプト】

次のようなプロンプトを使うことでカメラや被写体の動きを指示することも可能です。被写体への指示に比べて、カメラの動きの解説は比較的破綻しにくいようです。効果はそれなりに体感できるのですが、zoom inと指示してもzoom outすることも多く、必ずしもうまくはいきません。

・slow camera movement：ゆっくりとカメラが動く。camera moves slowlyでも可

・steadicam shot following 〇〇：カメラが〇〇を追う

・A dramatic zoom in/out：カメラがドラマチックにズームイン（またはアウト）する

・camera moves through（towards）～：カメラが～を通っていく（向かっていく）

・camera rotates around～：カメラが被写体の周囲を回りこむ

・〇〇 walking towards camera：人物がカメラに向かって歩いてくる

・with a still camera angle：カメラアングルをそのままにする。「with fixed camera」も同じ

・looks at the camera：danbooru語でいうlooking at viewerに相当。こちらを見る。

【EPがONの場合】

EPがONの場合は、DreamMachineが内部的に自動生成したプロンプトで生成が行われます。そのため、ダイナミックな動きにはなりますが、イラスト調の画像を動かそうとすると、前述したようにぐちゃぐちゃになりがちです。

逆説的に言うと、「EPがオフの場合動きが少ないのは、プロンプトがシンプルだから」。プロンプトを足すほどに動きが激しくなり、イラスト調の場合は崩壊する可能性も高まるので、立ち絵を少し口パクさせたり髪を揺らしたい程度ならOFFにしたほうが無難でしょう。

【崩れたイラストにしないためには】

AIイラストを動かすときに顔などを破綻させないコツをいろいろ試していますが、いまのところ効果がありそうなのは次の通り。「こうしたら破綻しにくくなった」という方はコメント等で教えて頂けると嬉しいです。

・EPはオフが基本

・「An anime girl」などを主語にして、アニメ絵であることを強調。japanese anime styleなどと画風を説明してもよい。

・「何々をする」というアクション指示をできるだけ控える。「smiling」や「looking」「standing」といった動詞のみに留める。

・「she looking at the camera」を入れると頭が大きく動かないので、破綻しにくくなる。

・1枚目の画像に目を閉じたイラストを使わない。AI側からは開くとどんな瞳かの情報がないので、目を開きようがなくなり、破綻する。AIが「この後」を想像しやすい画像を選ぶのが鉄則。

・1フレーム目に何が描かれているかの説明はどんどんしてよい。（she wearing beautiful black dress、she have beautiful red hairなど）

・体を動かそうと指示すると崩壊するが、カメラ指示をしても意外と崩壊しないので、「camera zooms out」などを使うとよい。

【実際の生成例】

(frame embed)

▲こちらの動画のプロンプトはこちらです。

「An anime girl is smiling and looking at the camera.The camera zooms out,revealing her, wearing beautiful black dress.」

カメラがズームアウトして、だんだん美しいドレスが見えてくる、というようなニュアンスの指示をしていますが、むしろズームインしてしまいました。このあたりはt2vに比べてかなり偶然性に左右されますが、動詞をlookingやsmilingにとどめていることで、破綻が少なくなっているかと思います。

【DreamMachineは2.5Dが得意？】

また、上のイラストがうまく動かせている理由の一つとして、「塗りが2.5D」というのもあるかと思います。影がパキっと塗り分けられるアニメのセルルック（2D）に比べて、これくらい写実（2D）に近づくと、DreamMachineはかなり上手に動かすことができるようです。そこで、動かしたいイラストをいったん2.5D調でDreamMachineに渡し、あとで解説する「全コマi2i」の手法でセルルック（アニメ風）に戻す、というワークフローもありえるかもしれません。

Text2videoのプロンプト術

画像を読み込ませず、プロンプトだけで指示する場合はEnhanced Promptを使った方が良い結果になります。OFFの場合、３～４つの文章で生成すると良いとされており、「カメラの動き」「アクション（被写体の動き）」「被写体の特徴」「背景」をそれぞれ詳述することがすすめられています。

英語がそこまで得意でない方は、自分で作るよりも、ChatGPTなどに任せた方が簡単でより良いプロンプトを作ってくれるかと思われます。例えば「夏の青空とひまわり畑をバックに立っている黄色いサマードレスに麦わら帽子の少女。カメラが彼女に向かってズームインする。女の子は髪をかき上げ、カメラに向かってピースサインをする」という文章を英訳させると次のようになります。

「A girl in a yellow summer dress and a straw hat stands in the middle of a sunflower field,under a clear summer sky. The camera zooms in towards her as she gracefully brushes her hair back and flashes a peace sign at the camera.」

特に指定せず生成した場合は、上の画像のように実写調になります。アニメ調の画像を出したい場合は「An anime girl」「in japanese anime style」などとしましょう。

【EP「OFF」で生成すると】

こちらの動画は次のプロンプトをEP「OFF」で入力して生成したもの。版権キャラクターを学習しているか試すために、エヴァのアスカをプロンプト指示してみました。

「Souryuu asuka langley,An anime girl from Neon Genesis Evangelion, is in a yellow summer dress and a straw hat stands in the middle of a sunflower field,Under a clear summer sky. She looks at camera.The camera zooms in towards her as she gracefully brushes her hair back.」

animegirl1

おおむね指示の通りにできていることが分かりますが、「エヴァのアスカ」は学習していない（もしくは内部的に弾かれる）ようで、オリジナルの女の子になりました。

【EP「ON」で生成すると】

こちらは全く同じプロンプトでEP「ON」にした場合。画面全体が高品質に動いていますが、むしろこちらは「女の子がカメラを向いている」「髪をかきあげる」「カメラがズームする」がいずれも無視されていることが分かります。

animegirl2

★CLIPSTUDIOで動画を修正するには

この項目では、DreamMachineで生成した動画を、クリスタを使って修正・編集する方法について解説します。DreamMachineで作った動画は、1秒間24枚、つまり120枚の静止画をパラパラ漫画のように連続表示することでアニメーション化されています。まずはDLしてきた動画を120枚の静止画に分解するところから始めましょう。

１．キャンバスサイズを確認する

まず、i2vで作られた動画の場合、読み込ませた静止画のキャンバスサイズに沿ったサイズで動画も生成されているはずです。DLしたmp4を右クリックし、プロパティを開いてキャンバスサイズを確認しましょう。下図の場合は1024x1024pxです。1秒あたり24フレームの動画であることも確認できますね。

２．クリスタで同じサイズのキャンバスを開く

CLIPSTUDIO PRO/EXを開き、「新規」から、動画と同じサイズのキャンバスを開きます。「作品の用途」欄のプリセットから「アニメーション」を選びましょう。「基準サイズ」を先ほどのサイズに設定し、画面右側のフレームレートを「24」、再生時間を「120」とします。これは、動画1秒当たり24枚の静止画に切り分け、かつ再生時間が計120枚になるという設定ですので、つまりは5秒間の動画であることを示しています。「再生時間は秒数ではなく総フレーム数」ということを覚えておきましょう。

３．動画をキャンバス上で開く

「新規▶読み込み▶ムービー」から、DreamMachineで生成した動画を選択します。

するとこのように、キャンバス上に動画が読み込まれます。画面下の「タイムライン」ウィンドウが表示されない場合は、画面上のウィンドウタブから「タイムライン」を選びましょう。まだ、この時点では120枚の静止画ではなく、ひとかたまりの動画としてタイムラインに表示されていますね。

４．連番画像を書き出す

次に、切り分けられた画像を保存するためのフォルダを作っておきます。ここでは「densha」というフォルダをデスクトップに作成しました。そうしたら、「アニメーション書き出し▶連番画像」を選択し、いま作ったフォルダを選択します。

少し待つとこのように、計120枚の静止画がそのフォルダに書き出されます。0000が1フレーム目、0119が最終フレームとなります。これをControlnetで加工したり、まずい画像を排除したりして修正していくことになります。

５．連番画像を読み込む方法

今度はこちらのアニメーションフォルダーを選択した状態で、「ファイル▶読み込み▶画像」をクリック。さきほどの「densha」フォルダ内の全部の画像をCtrl+Aなどで選択し、読み込みます。

するとこのようになります。この画面では、最初に読み込んだmp4がタイムラインに表示されてしまっているので、削除するかレイヤーウィンドウの「目」のボタンで非表示にしてしまって構いません。

そうしたら、この白い1枚を右クリックして、「レイヤーを削除」してしまいます。これはアニメーションフォルダーの中にもともとあった白いレイヤー。残しておくと最初に一瞬真っ白な画面が入ってしまうため、消したほうがベターです。

次の操作が分かりにくいのですが…。晴れて１コマ目になったこちらのレイヤーを右クリックして「トラック編集▶セルを一括設定」です。

注意したいのは、タイムライン上の赤い線。正しくは下の画像のように「１」、つまり動画の0秒時点に当たる１枚目のセルが選ばれていないといけないのですが、上の画像のように「18」のところになっていると、120枚の静止画が18フレーム目時点から読み込まれてしまうので注意しましょう。

「セルを一括設定」をクリックすると下図のような画面が出ますので、「既存のアニメーションセル名から指定」にします。さきほど「densha」フォルダに書き出した120コマはきちんと順番にセル名がつけられていますので、このように「タイムライン1_0000.jpg」から始まり「0119.jpg」で終わる表示になります。

「OK」を押すとこのように、120枚の画像が読み込まれます。タイムラインウィンドウにある再生ボタン「▶」を押すと一番左の1枚目から右端の120枚目まで、1秒24枚の速さでアニメーションすることが確かめられます。感動！

あとは、間違っているところがあれば１枚ずつ塗りつぶしたり、不要なコマを間引いたり、あるコマを何秒か引き延ばしたり、上に新しいレイヤーを作って文字をオーバーレイさせたりといったことが自由にできます。アニメーション機能の基本操作は多岐にわたるので、クリスタ公式の解説を見ていただいた方が早いと思います。

(frame embed)

これは、右目の瞬きがおかしくなっている部分に新たなレイヤーを上にかぶせて、おかしいところを肌色で塗りつぶしているところ。引用ツイート側の動画と右上の動画を見比べてもらうと、拙いですがまばたきが補正されているのが分かるかと思います。

(frame embed)

動かすとまだ不自然に見えますが、実はこの程度でも修正は十分。なぜなら、これをまた新たな120枚の静止画に変えてしまって、ここから全コマimage2imageしてしまえばよいからです。動きがおおむね間違えずにできてさえいれば、anytestなどのControlnetを使ったimage2imageで補正することができます。

全コマimage2imageの方法

さて、わざわざ120枚の静止画に変えたのは、一コマ一コマちまちまと手動で直すためではなく、アップスケールを掛けるため（またはスタイル変換するため）です。せっかく先日登場したAnytestによってさまざまなスタイル変換やアップスケールができるようになったわけですから、使わない手はありません。（ControlnetやAnytestについてはこちらの記事を参照）

SDXL用Controlnetが理解る！おすすめモデル＆活用例を徹底解説

【2024.10.06更新】スケッチ読み取りCN「XDoG-sketch」を追加しました。こんにちは、スタジオ真榊です。こちらの記事は、SDXL向けControlnetの基本的知識や導入方法、おすすめのモデル、実際の使い方を紹介する大型特集です。ラフを線画化したり、線画を着色してもらったり、写真をイラスト風に変えたり、特定の部位だ...

１．image2image設定を探る

これから行うのは、120枚の画像を次々に同じプロンプト・設定でimage2imageし、新たにできた120枚をまたアニメーションに戻す、という手順です。全て同じ設定でi2iするわけですから、どのようなプロンプトや設定でimage2imageを掛けるかが非常に重要になります。間違えた数値で120枚も生成したら時間の無駄なので、まずは1枚だけ選んでi2iテストをしてみましょう。SDwebUI（もしくはForge）でのやり方は以下の通り。

120枚の中から、できるだけ崩れているものを1枚選び、img2img元にします。崩れているのを選ぶのは、ちゃんとキレイにアップスケールできる設定を探るためです。

いちいちプロンプトを考えるのは大変なので、右上の段ボールボタンでプロンプトを推測してもらいましょう。間違ったプロンプトが入っているとムリにそれが描かれるので、いらないものは手動で消します。例えば、この画像では「phone」が誤検出されているので、消さないとi2i後のスレッタさんが携帯電話を持ってしまいます。

クォリティを上げたいので、キャンバスサイズは1024x1024から1.5倍にし、i2i強度は0.5としました。0.5以上に強めると、元画像から色や質感が大きく変化します。Anytestを使うので、主線は基本的に保持されますが、予想しない色ブレが１枚ごとに起きて動画に戻せませんので、強めすぎには注意しましょう。

逆に弱すぎるとアップスケール効果が得られませんので、ちょうどよい数値を探る必要があります。おすすめは0.4-0.5程度でしょうか。

Controlnetの設定は以下の通り。単に汎用CN「Anytest v3 50000 dim256」を強さ１で掛けているだけです。低劣な線に引っ張られるようなら、少し弱めてもよいでしょう。

左がi2i元、右がi2i後です。どのくらいの変化なら許せるかの匙加減が難しいところで、あまり大きな変化を許しすぎると動画に戻したときにちらつきが出てしまいます。

もう一コマ同じ設定で生成してみて、見比べてみましょう。Seed値も同じものを選びます。さきほどのコマと見比べて大きな色ミスなどが起こらないことを確認したら、いよいよ120枚の一括生成に進みます。

おおむねよさそうですね？細かく見ると、例えば右上の「SOS」のマークがおかしいのですが、そこまでこだわる場合はもはやクリスタ上からレイヤーをかぶせて、完全に静止させてしまったほうがきれいにできます（方法はあとで説明します）

２．120枚一括バッチ生成

具体的なi2i手順です。まずimage2imageタブから、こちらの「バッチ」画面を開きます。これは、あるフォルダ内にあるすべての画像を順番に同じ設定でi2iしていくための機能です。

上の画像のように、さきほど120枚の静止画を書き出したフォルダのパスを「入力ディレクトリ」に、i2iした画像を書き出したいフォルダのパスを「出力ディレクトリ」に記入します。あとは普通に生成するだけ。Seed値はさきほど実験して決めたものに固定しておきましょう。

このように、新しいフォルダにi2i後の画像が1枚ずつ生成されていきます。最初の10枚ほどを連続で開いてみて、アニメーションに問題ないか確認しましょう。ちらつきが多すぎてダメなようなら、Interrupt（生成中止）して設定の練り直しが必要です。

ちらつく原因は「i2i強度を大きくしすぎた」または「CN強度が弱すぎた」ために、一枚ごとに生成結果にばらつきが出ていることです。ちらつきと生成結果の良さはトレードオフの関係にありますので、ちょうどよいところを探りましょう。

３．120枚の静止画を動画に戻す

きれいな120枚ができたら、それをクリスタで動画に戻してみましょう。手順は、さきほど120枚の静止画を読み込んだときと全く同じです。i2iで1.5倍にアップスケールしているので、最初のキャンバスサイズを設定するところで間違えないようにしましょう。

「ファイル▶読み込み▶画像」で120枚を全選択して読み込み、「トラック編集▶セルを一括設定」です。

動画になったら、「ファイル▶アニメーション書き出し▶ムービー」でmp4（またはavi）形式での書き出しが可能です。フレームレートは24ですが、12くらいまで落とすとぬるぬるした動きが出せなくなるかわりに、ちらつきが減衰します。キャンバスサイズに限界があるので、拡縮設定欄で大きさを決めましょう。

こちらがフレームレート12（半分）にしたアップスケール版。ちょっとちらつきが目立ちますね。

test

ちらつくのは、画面全体が毎フレームi2iされているために、動かないところも微妙に変化が生まれているから。そこで、動画中で動かない部分は別のレイヤーで固定してしまう手法があります。

４．レイヤーを重ねる

この動画は最初の１フレーム目が私が作ったAIイラストで、残りの119枚がそれを基にDreamMachineが作り出した「続き」です。119枚の「続き」はまずまずよくできていますが、やはりAI特有の溶けがあったり、i2iした際に生じたちらつきがでてしまったりしています。そこで、1フレーム目の静止画から電車背景などの「動かない部分」をコピペしてきて、ちらつきを減衰させてみましょう。

1枚目のレイヤーを選択した状態がこちら。当然ですが、右上の「SOS」の文字も含めてきれいですね。

これをコピー＆ペーストして、アニメーションフォルダより上に置いてしまいます。これで、再生ボタンを押しても動画の上の階層に終始この1枚目レイヤーが表示され続けるので、アニメーションしない動画になっているはずです。

そうしたら、動いてほしい部分、つまり静止画として残したい部分以外を消しゴムで消してしまいます。あまりはっきり消すと動く部分と動かない部分が不自然に途切れてしまうので、柔らかい消しゴムで消すのがコツです。

これは、アニメーションフォルダを一時的に非表示にして、当該レイヤーだけを表示させた状態。消しゴムを掛けた部分がよくわかると思います。

重ねて動画化したものがこちらです。

test2

右上のSOS部分に注目してさきほどの動画を見比べていただくと、全コマアップスケールしたことによるi2iによるちらつき・破綻がなく、静止しているように見えると思います。動かしたくない部分は、このような手法で固定することができます。

５．エフェクトを掛ける方法

今度は、動画全体に「エフェクト」を掛ける手法についてです。レイヤーメニューの一番上に新しいレイヤーを作り、レイヤー合成モードを「スクリーン」に。グラデーションツールで夕焼け風のグラデーションを掛けると、このような夕焼けエフェクトが掛かります。（眩しすぎる場合はレイヤー透明度を調整しましょう）

動画化するとこのような感じです。全体にエフェクトが掛かることで統一感が出ますね。

test3

はなはだ雑ですが、こんなこともできます。これは、120枚のレイヤーのうちいくつかを適当に選んで、「移動ツール」で適当に上に数ピクセルずらしただけのもの。再生すると、電車がガタガタ揺れているように見せられます。また、夕焼けエフェクトをときどきぶつぎれにOFFすることで、窓から差し込む光がさえぎられる効果を表現しようと試みています。

test7

きちんとやるのであればそれなり手間がかかるのですが、アイデア次第でいろいろな加工ができそうですね。

ちなみに、この動画は油絵のような質感が掛かっていますが、これはクリスタに最初から入っているテクスチャ「単色パターン▶油絵」をレイヤーとして重ねたもの。茶色のレイヤーカラーにし、オーバーレイモードで透明度38%にすると、このように色を損なわずに油絵調のテクスチャを加えることができます。普段のイラストでもよくやる手法なので、覚えておくと便利です。

次の「ドット絵化」の実験でも試すのですが、AI動画はある程度画質を下げてもよいので、キャンバス全体に統一感のある加工を施すと違和感がぬぐえることが分かります（特に全体のカラーを統一することが重要）。フレームが多すぎたり、i2i強度を上げて画質をよくしようとしすぎたりすると、ちらつきや細部の破綻が増えるので、エフェクトやフィルタ、テクスチャを使ってなじませてあげると良いかもしれません。

基本的に、常に動画よりも上にレイヤーを重ねるだけなら何でも簡単にできますので、このようにスマホ素材を重ねたりするとそれっぽいことができたりもします。ただ、このレイヤーも動画と別々に動かそうとするとそれなりの手間が掛かることになりますね。

test8

ドット絵にスタイル変更する方法

さきほどは単にアップスケールしただけですが、質感を大きく変えることもできます。こちらはいったん生成した動画を、ピクセルアートLoRAを併用してドット絵風にしたもの。ドット絵風にして解像度を落とすと、画像のちらつきを逆に気にならなくなるのではないかと考えて行った実験です。

元動画がかなりぐちゃぐちゃな失敗作だったので、anytestでどうにかなるかな？と実験的に120枚i2iを掛けてみたのですが、破綻はあれどそれなりに見えるものにはできました。ただ、袖や手の位置などが破綻してしまっているので、これをきちんとした作品に高めるのは相当手間がいるかと思います。

やり方はさきほどと全く同じで、切り出した120枚の静止画をAnytestでi2iする際に、ピクセルアートLoRAを掛けただけです。

(frame embed)

工夫としては、線画保持よりもスタイル変換に向いている「CN-anytest_v4-marged_am_dim256」をCNに使用したことと、CNのWeightを0.7とやや下げたことくらいです。i2i強度は0.5とし、崩壊を避けつつ、スタイル変換を行いました。

他にも、線画化LoRAを使ったり、monochromeタグを使ったりすることで、動画を適宜別のスタイルに変更することができました。ただ、鮮明な状態のままスタイル変更を行うと、どうしても1枚1枚の違いが際立ってちらつきが気になってしまいます。エフェクトを掛けたり画質を落としたりして、できるだけ違和感を感じさせない工夫が必要かと思います。

終わりに

そんなわけで、DreamMachineが登場してからこれまでの間に実験して見えてきたことを取り急ぎまとめました。現状、フリープランではかなりストレスフルな生成を強いられるので、いろいろ遊んでみたい方はスタンダードプランに加入することをおすすめします。（お高いですが…）

いろいろと精度を上げるための手法を検討しましたが、身もふたもないことを言えば、修正を頑張るよりも、そもそも読み込み元の動画の精度が高いものをDreamMachine段階でガチャするほうが効果が高いと思います。よい動画、魅力的な動画がまず得られないと、クリスタやSDでどうアップスケールしようとしてもきちんとした動画に見せるのは難しいでしょう。また、キャラクターの5秒動画で終わらせるのではなくて、風景だけの動画や手元だけの動画なども交えながら十数秒ほどの動画にできると、より作品感が出せるのではないかと思います。

minachan

AIで秒間24フレームのフルアニメーションを作ろうとすると変になりがちですが、例えば120枚のうちきれいにできている何枚かを選んでパカパカアニメ風に見せるだけでも意外と面白いものができるのではないか、ということを個人的に考えています。動画全体を必ず採用せねばらないという理由もないわけで、単純に「あるAI絵を少し動かしたバージョンを120枚出してくれる装置」として作画ツールの一環にするのも良いかもしれません。

今実験しようとしているのは、「白背景で一定の繰り返しアクションを行うキャラクター画像を生成し、120枚の画像に変換、SDで背景を一括透過させた上でクリスタに読み込み、背景を動画か静止画で別に生成して、二つを合成する」という方法。

この手法なら、一切背景を動かさずにキャラクターだけを動かせるはずなんですが、やはりというか何というか、走るとか歩くといった「繰り返しアクション」がなかなかDreamMachineではうまくできない。このあたりはもうちょっと進化しないとそう簡単にはできないのかもしれません。

それでは今日はこのへんで。スタジオ真榊でした。