2枚のAI絵を繋いでアニメ化！「Gen-3 alpha turbo」の基本と作品制作
Added 2024-10-17 12:40:35 +0000 UTCこんばんは、スタジオ真榊です。今回はRunwayが公開した動画生成モデル「Gen-3 alpha turbo」を使って、AIイラストから自然なアニメーションを作り、音楽やエフェクトを付けて動画作品にするワークフロー紹介です。
まずは先日投稿したこちらのアニメをご覧ください。（音あり注意）
これは、キーフレームとなる3枚のAIイラストをまず作り、そこからいわゆる「中割り」に当たるコマをGen-3に生成してもらう手法でできています。今年６月にもLumaAIの「DreamMachine」で同様の記事を書きましたが、格段に自然で思ったとおりの動きがさせられるようになってきていると感じています。
【AI動画】DreamMachine徹底解説！失敗しないコツからAnytestリメイクまで（Clipstudio使用）
こんばんは、スタジオ真榊です。先日来、LumaAIが公開した最新の動画生成AI「DreamMachine」の性能が高いと話題になっていますね。SNSでは主にネットミームや昔の写真を動かして遊ばれているようですが、画像生成AIユーザーとしてはやはり、これまで作ってきたAI絵を動かしてみたくなるところ。そこで今回は、DreamMachi...
しばらく使ってみた所感やプラン選び、画像の一部が不自然に変化してしまう「ワープ」を起こりにくくする手法などについて、これまで得られた知見をまとめつつ、得られたショートクリップを組み合わせてBGMやエフェクトつきの動画作品にしていく手法について紹介したいと思います。
目次
「Gen-3 alpha turbo」とは
Gen-3 alpha turboの始め方
プランとクレジット
クレジット更新は「契約日」「持ち越し不可」
追加購入は1000クレジットから
年間契約で2割引だが…
実践編 - 「ワープ」と「モーフィング」 -
V3インペイントを使おう
誰でもできる！動画編集
終わりに
「Gen-3 alpha turbo」とは
Gen-3 Alpha Turboの特徴は、やはり生成速度の早さと破綻の少なさでしょう。DreamMachineは5秒の動画生成に約2分かかるのに対し、Gen-3 Alpha Turboは10秒の動画を17秒程度で生成可能。複数のキューを同時に入れることができるので、既存の動画生成サービスに比べて非常にスムーズな使い心地です。DreamMachineでもできた「キーフレーム」機能が備わっており、2枚のAI絵を与えれば、その間をつないで自然なアニメーションにimage to video(i2v)してもらうことが可能。記事執筆時点では、5秒と10秒のクリップを生成することができます。
一方、マイナスポイントは料金の高さでしょうか。サクサクな使い心地のため、ついキューをたくさん入れてしまうのですが、月15ドル（2,235円）のスタンダードプランで生成に使える625クレジットでは、5秒動画が25回しか生成できません（10秒動画なら12回まで...）。1000クレジット10ドルで追加購入もできますし、1カ月生成し放題のアンリミテッドプランもありますが、予算と相談しながら賢く生成しないとお財布が寂しいことになりそうです。
Gen-3 alpha turboの始め方
まずは公式サイトにアクセスして、アカウントを作成しましょう。GoogleアカウントやAppleアカウントと紐付けることも可能です。
無事ログインできたら、こちらのダッシュボード画面に遷移しますので、ブックマークしておきましょう。青い「Get started」か、サイドバーの「Text/Image to Video」から動画生成画面にアクセスできます。
こちらが生成画面です。左側に静止画を入力することで「image2video」が、動画クリップを入力すると「video2video」ができます。何も入力せず、プロンプトのみで動画生成してもらう「text2video」も可能です。（現在はAlphaのみ）
左上に使用モデルが選択されていますので、チェックしておきましょう。今回使うのは、最速モデルである「Gen-3 Alpha turbo」です。ちなみに「Gen-3 Alpha」は速度が遅く、クレジットも2倍必要とする分、text2videoが可能で、「Turboよりも複雑でダイナミックな動きのある動画の生成に適している」とされています。（個人的感想ですが、Turboは破綻が少なく生成が早い代わりに、与えた静止画をあまり派手に動かしてはくれません）
このように、動画開始時のコマ（First）と最終コマ（Last）として、2枚まで手元の静止画を入力できます。開始コマと最終コマを同じ画像にしたい場合は、1枚読み込ませたあとに右上の「＋」ボタンを押せばOK。隣のボタンで入力画像のクロップ（トリミング）や削除もできます。
記事執筆時点では、Gen-3の入力画像のアスペクト比は「1280x768pxの縦長もしくは横長」に限られています。正方形に近いイラストの場合、このように左右や上下を切り取らざるを得なくなるので、アスペクト比が「5：3」になるサイズにクロップしてから入力するのが良いでしょう。
公式の説明によれば、将来的には、より多くの比率で生成ができるようになるようです。
左下のウィンドウがプロンプト欄。英語の自然文で指示することになりますが、i2vの場合、未記入でも生成可能です（入力画像から自然に類推される生成結果になることが多いようです）。プロンプトの記入法については後述するとして、さっそくこちらの1枚を開始コマと最終コマに指定して、「anime girl is running」というプロンプトで生成してみます。
厳選していない、ポン出しの生成結果がこちら。クリックから10秒せずに生成されました。
このように、「DreamMachineに比べると爆速で、アニメ調の生成性能も高いけど、そこまで完璧ではない」程度の生成結果を想像すると遠からずになるかと思います。
プランとクレジット
まずはプランとクレジットについて見ていきましょう。無課金のフリープランでは、125クレジット分だけお試し生成することができます。動画生成はturboなら「1秒当たり5クレジット」（alphaは倍の10クレジット）なので、計50秒分の動画生成を体験できる計算になります。
一番安い有償プランが「スタンダード」。月625クレジット追加され、動画からウォーターマークを取り除くことができます。15ドルは記事執筆現在、1ドル149円換算で2,235円です。
次に高いプランが「プロ」。月2250クレジット追加され、「リップシンク」機能とテキスト読み上げ用のカスタム音声を作成することが可能になります。35ドルは約5,218円（同上）で、生成できる動画は計450秒（5秒動画90本）。つまり、5秒動画1本あたり58円で生成できる計算になります。
最高級プランが「アンリミテッド」。クレジット残量を気にせず、好きなだけ生成を楽しめます。95ドルは約14,169円（同上）。雑な計算になりますが、5秒動画を月あたり244本以上生成するなら、アンリミテッドプランを選ぶんだほうが得ということになります。
クレジット更新は「契約日」「持ち越し不可」
各プランの更新日、つまり次回の課金とクレジット付与は毎月1日ではなく、そのプランの更新時（＝契約日から1カ月後の同じ日）です。月末ギリギリに課金したとしても、すぐ再課金されてしまうことはありません。
なお、残ったクレジット分は翌月に持ち越されないことに注意が必要です。例えば、スタンダードプランで625クレジットもらい、翌月更新時に100クレジット残っていたとしても、725クレジットにはならず、625クレジットになってしまいます。つまり、NovelAIのAnlasと似たシステム。月額付与分のクレジットはしっかり使い切って更新を迎えるべきということですね。
追加購入は1000クレジットから
クレジットは最低1000クレジットから追加購入もできます。 1000クレジットあたり10ドル（149円）換算です。ちなみに、追加購入したクレジットは、月額付与のクレジットと異なり、更新時に期限切れになりません。ギリギリに追加購入してふいっと消えてしまうことはないので安心ですが、いずれにせよ月額付与分の残額には気を付けて運用しましょう。
年間契約で2割引だが…
ちなみに、年間契約するとそれぞれの料金は20%OFFになりますので、月あたりに直すとこのような料金表になります。来年の今ごろまでGen-3が第一線で使えるモデルかは誰にも予想できないでしょうから、かなり勇気がいる契約となりそうです…。
実践編 - 「ワープ」と「モーフィング」 -
さて、ここからは実践編です。
この記事を読んでくださっている方は、おおかた私と同様「これまで生成してきたAIイラストを自然に動かしてみたい！」「でも、ComfyUIで難しいノードを組んだりするのはムリ！」という方が多いのではないかと想像しますが、単に手元のAIイラスト2枚を放り込んで生成しても、このような感じになって思ったほどうまくいかないのではないかと思います。
この動画の真ん中のところで起きている現象を、この記事では「ワープ」と呼ぶことにします。DreamMachineでも頻出した現象ですが、2枚の静止画をもとにi2vすると、AIが途中の処理をどうしたらいいか分からなくなって、「えいっ」といった感じで瞬間移動させてしまうことがよくあります。
動画生成時に起こりやすいもう一つの失敗が「モーフィング」です。こちらの動画、スレッタの丸い眉毛の横にある、くるんとした髪の毛先に注目して見てください。
途中で「ふっ」と消えてしまったのが分かるかと思います。先ほどの「ワープ」と似ていますが、動画の途中で位置がズレるのではなく、形状変化するのが特徴。こういった現実ではありえないような形状変化を起こすことを、この記事では「モーフィング」と呼ぶことにします。
「ワープ」と「モーフィング」は、二つの画像をどうしても自然につなげないとき、AIが苦肉の策として出してくる生成結果と言えるでしょう。これはgen-3の性能に原因があるのではなく、2枚の入力画像の間にそもそも矛盾があるために起こることが多いので、矛盾を見つけて修正すれば防ぐことができます。つまり、先ほどの髪の毛なら、くるんとなっているところを最初から消しておけばよいのですね。
基本的な考え方として、「最初のコマと最後のコマの間に変化がさほどない方が、より自然な動画生成ができる」ということを最初に確認しましょう。例えば、同じキャラクターでも全く違う2枚をプロンプトなしでつなげようとすると…
Gen-3 Alpha Turbo 3219374771, Cropped - GSvHWvba0A, M 5
途中まではなんとか頑張ってくれるのですが、「ワープ」によって無理矢理な解決を図られてしまいました。同じキャラクターであれば良いわけではなく、AIが自然につなげられる「近い」2枚を用意しつつ、細部に至るまで矛盾を消してあげる必要があるわけです。
V3インペイントを使おう
いろいろ検証したのですが、最適な方法の一つが、NovelAIのV3インペイントを使って「共有部分の大きい2枚」を用意することです。こちらの5秒のクリップ、左のミオリネさんの胸部分を注視して再生してみてください。
この2枚の入力画像は、まず2人が見つめ合うイラストを先に作ってから、首元や毛先を残してV3インペイントし、「見つめ合う（eye contact,open eyes,before kiss）」の部分のプロンプトを「キスしている（kissing,closed eyes）」に変更するやり方で作っています。つまり、最初のコマと最後のコマで、ミオリネさんの胸部分は1ミリも変わっていないのですが、カメラが自然にブレていることで、静止することなく自然に処理されているのが分かると思います。
より詳しい作り方を説明していきましょう。
まずは1枚目のイラストを作り込むところから。1280x768pxの縦長もしくは横長キャンバスを開いて、開始コマにあたるイラストを配置します。アスペクト比が違う場合、黒もしくは白のふちがついてしまいますが、気になるならV3インペイントで自然に延長してもよいでしょう。
1枚目のイラストを基に、2枚目（最終コマ）をインペイントで作ります。NovelAIで1枚目を読み込ませ、このようにインペイント範囲を作ります。ポイントは、最終コマでも残して問題のない位置はできるかぎり残すことです。あまり残しすぎると自然な差分にならないので、何度かやり直しましょう。
左下のボタンから消しゴムモードにして、インペイント範囲内に「抜け」を作るテクニックを併用すると、残したい場所をチョイスすることもできます。
実際の作業時のスクリーンショットが残っておらず、あとから再現したので上図のインペイント範囲は正確ではありませんが、このように「残るところは残り、変わるところは変わる」差分になっていればOKです。
さて、おおむねビフォーアフターに当たる２コマの基礎はできましたが、ここからが重要。上のイラストはさまざまな部分にミスが点在しています。例えば、胸の校章はデザインがおかしいですし、ヘアバンドに「♦」マークが多すぎます。こうしたミスを残しておくと「ワープ」や「モーフィング」が起きてしまうので、インペイントや加筆によって直す必要があります。
単にミス修正するだけでなく、2枚のイラストの間で「矛盾」がないことも重要です。さきほど「髪の"くるん"となったところ」がモーフィングを起こしていましたが、あれは単体の絵で見たらミスではありませんよね。矛盾を見抜くには、よく二枚を見比べることが重要ですが、ぶっちゃけいったん雑に動画にしてみて、ワープやモーフィングを起こす部分を見つけた方が手っ取り早いでしょう。
こちらが最終的に作った2枚。インペイントで胸周辺を共有しているので、矛盾の少ないペアになっていると思います。
あとは2枚を入力してこちらが完成品。プロンプトはなしで、5秒生成したそのままです。さきほどと同じ動画ですが、今度はスレッタの金色の襟部分を注視して見てください。
さきほど気付いていた方もいると思いますが、「にゅーっ」とモーフィングしてしまっています。これは1枚目と2枚目で襟の意匠をきちんと統一するのを忘れていたために、モーフィングが起きてしまったケース。こういう細かいところを手描きで直すなどすると、より自然な動画にできると思います。
また、最初につかんでいる手をじっと見ながら再生すると、やはり途中でこのように袖部分がうまくつながっていないカットがはさまっています。
動いているとそこまで気にならないのですが、こういった「中割り」部分はやはりある程度はガチャになってしまうかなと思います。
誰でもできる！動画編集
さて、このままではただのクリップにすぎないので、音やエフェクトのついた動画作品にするにはひと手間が必要です。
まず、簡単な速度変更やクリッピングをPC上でするなら、こちらのオンラインアプリがおすすめです。基本無料ですが、一日に利用できる回数制限があり、あまりたくさん使いすぎると課金を求められるので注意しましょう。
このように、動画の再生速度変更やクリッピングだけでなく、オーバーレイで別の画像を追加したり、テキストを追加したりといったひととおりの基礎機能が揃っています。クリップそのものの編集はここで済ませておくとよいでしょう。
ちなみに、mp4を読み込ませるとずらっと出てくるこのフレーム（コマ）は右クリックすると静止画として保存することができます。よいコマが生成できていたら、保存して新たなキーフレームにしてもよいですね。つまり、Gen-3を動画生成AIではなく「中割り静止画生成AI」としても使えるということでもあります。2枚のキーフレームから無数の中割りができるわけですから、アクションシーンやキャラLoRAの素材としても使えるかもしれません。
次に、音楽やエフェクトを付けてもっと作品らしくする方法について。こちらはもう好みや使い慣れた動画編集ソフトを使えばよいと思うのですが、私は昔から「VLLO」というスマホアプリを使っています。
このような感じで、さきほど作ったクリップを「メディア」欄で読み込んだら、タイムライン上でBGMやエフェクトを好きに追加することができます。ハートマークやキラキラした光をオーバーレイさせたり、フリーのBGMを載せたり、動画の途中でフリーズ（静止）させたり、フェードイン・フェードアウトやカメラが揺れるシェイク効果を加えたりと、かなり自由度高く動画編集ができるので重宝しています。
玉にきずなのは、スマホ向けアプリということで、PC上で操作できないことくらいでしょうか。スマホで撮影した動画を直感的に操作しやすくて愛用しているのですが、本格的にAI動画を作るのであれば、もっと本格的なPC用アプリを使用したほうがよいかもしれません。
こちらの作品は、さきほどの５秒クリップのあとに、もう一つ別の５秒クリップを作って繋げています。
「キス前～キス」のあとに「キス＋キス後」を加える形ですので、キーフレームが三つでできている動画作品ということになります（下図参照）。見比べていただくと、追加した三つ目のキーフレームもインペイントでできていることが分かるかと思います。
初めて手探りで作ったので不慣れなところがいろいろとあり、襟の直し忘れだけでなく、前髪の処理や、黒い縁取りを残したままにしてしまったことなどが心残りですね。もしもう一度作るなら、黒い縁取りはアウトペイントしてしまい、襟や髪の毛の矛盾も直して作るかなと思います。
終わりに
そんなわけで、「2枚のAI絵を繋いでアニメ化！Gen-3 alpha turboの基本と作品制作」でした。せっかくなのでミナちゃんでも動画を作ってみました。袖や背景色の作り込みがまだまだ甘く、モーフィングが起こってしまいましたね。
特に、こちらを指さしたときにある程度スローダウンしてほしい！こういう細かな演技の自然さをコントロールするには、もっとクリップを増やしたり、再生速度を上手にずらしたりしてごまかす必要があるかなと思います。
しかし、素人がここまでアニメらしいことができるなんて本当に感動の一言ですね。スレミオのキスシーンを作れたときには、感無量というほかない特別な体験ができました。MicrosoftClipchampなど、動画編集ソフトはいろいろと選択肢が多いと思いますし、そのあたりは素人の私より動画編集経験のある方のほうが知見が多いところだと思いますので、コメント欄などでオススメアプリなどを教えていただけたら嬉しいです。
それでは今日はこのへんで。スタジオ真榊でした。
