スタジオ真榊

「FramePack」でローカル動画生成！よわよわグラボでも無料でi2v

Added 2025-04-20 16:21:15 +0000 UTC

【記事更新2025/04/24：「１．Framepackのインストール方法」にXformersなどの導入で生成を高速化する手順を追記しました】

【記事更新2025/04/27：その後、エンドフレームや「中割り」も画像で指定でき、ループ動画や1秒動画も簡単に作れる機能充実版「FramePack-eichi」が公開されました。こちらの記事をベースに、各種検証を行っていく予定です】

こんにちは、スタジオ真榊です。今回は、いま話題の次世代動画生成ツール「FramePack」の最速レビューと実践検証報告です。

▲ https://github.com/lllyasviel/FramePack より引用

ControlnetやForgeの生みの親、Illyasviel氏の最新作であるFramePackは、1枚の画像から次々と次のフレームを生成していく新世代のAI動画生成技術。ご本人は「動画拡散だけど画像拡散みたいな感じ」と説明していますが、これまでのローカル動画生成モデルとは一線を画す技術のようで、なんとVRAM6GBのグラボからi2v（静止画からの動画生成）ができてしまいます。

(frame embed)

ローカル動画生成と言えばRTX4090クラスの超ハイスペックグラボを求められるのが普通だったこれまでの環境からすると、FramePackは久々のゲームチェンジャーと言うべき画期的なプロジェクト。どこまで一貫性を保てるのか？プロンプトはどう指示すべきか？など、気になることがたくさんありますので、インストール方法から実際の使い方、生成物のクォリティの確認や応用まで、一通り試していきたいと思います。

１．Framepackのインストール方法

まずは環境構築から。当初はインストール時にコマンドプロンプトを操作する必要があり、やや敷居が高いアプリでしたが、ワンクリックでインストールできるパッケージが4月18日に公開され、誰でも簡単に導入できるようになりました。

インストール前に注意しておきたいのが、インストール先の空き容量について。Framepackは全体で約40GBに及ぶ、かなりかさばるツールです。ツールを使って生成する動画の容量も考えると、インストール先のストレージにはかなり余裕を見ておく必要があります。最低でも50GBは空きがあるストレージを選ぶようにしましょう。

①ワンクリックパッケージでインストールする手順

まずはこちらのGitHubにアクセスします。

(frame embed)

少し下にあるこちらの「Click here to Download One-Click Package」をクリック。約1.7GBの「7z」拡張子の圧縮ファイルがDLされます。「7-zip」などの解凍ソフトを使って任意の場所に展開します。

上の画像に見える５つのファイル・フォルダが展開されますので、「update.bat」をダブルクリック。アップデートの必要があれば、必要なファイルが更新されます。

続いて実行ファイルである「run.bat」をダブルクリック。ここから30GB超のダウンロードが行われます。かなり時間が掛かるので、しばらく放っておきましょう。必要なダウンロードが終了すると、自動的にブラウザでFramePackが立ち上がるはずです。

こちらが表示されたら、無事インストールは終了です。今後は同じように「run.bat」をダブルクリックすれば、次からは快速で起動するようになっています。

②高速化ライブラリ（Xfomersなど）をインストールする

次に、生成時間を3割程度削減できる高速化の手続きをします。こちらのリンクを開いて、「package_installer.zip」をダウンロードしてください。

(frame embed)

ダウンロードした package_installer.zipを解凍したら、中にあるファイルを全てrun.batやupdate.batがあるFramePackのインストールフォルダにコピペします。下図のようなファイル構成になるはずです。（まだupdate.batを実行していない場合はここで実行し、最新の環境にしておいてください）

package_installer.batをダブルクリックで実行します。黒いコマンドプロンプト画面が出て「Press Ctrl+C to cancel, or any other key to continue...」（続けていい場合は何かキーを押してください）とメッセージが出ますので、ENTERキーなどを押すとインストールが開始します。１～２分ほどして「Python Headers/Libs Copied & All Packages Installed Successfully　続行するには何かキーを押してください . . .」とメッセージが出たら、ENTERキーなどを押すと画面が閉じます。

これで高速化完了です。いったんrun.batを実行してちゃんと動作することを確認しましょう。

おおかたの人には不要かと思いますが、リポジトリから直接インストールする手法についても書いておきます（ワンクリック版は以下の手順を自動でやってくれるものです）。既にインストールできた方は、「２．Framepackを起動する」まで読み飛ばしてOKです。

・リポジトリからインストールする場合

Linuxの場合はこちらの方法でインストールすることになります。緑色の「Code」ボタンから「Download ZIP」を選んで、好きな場所に保存し、解凍します。ファイル自体は非常に軽いですが、このあと必要モデルなどをDLしますので、空き容量のしっかりあるストレージを選ぶのがいいでしょう。

解凍すると出てくるのはこれだけです。Windowsの場合、アドレスバーに「cmd」とそのまま打ち込んでENTERキーを押せば、そこでコマンドプロンプトが開かれます。

そうしたら、出てきたコマンドプロンプト画面に以下の文字列をコピペし、ENTERします。（画面上だと行替えしているように見えますがpipからcu126まで一行です）

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu126

コピペミスしていなければ、このような感じでずらずらと必要な手続きが始まります。これはPyTorchという「AIの脳みそ」を入れているところ。pip installというのがインストールの呪文なわけですね。自動でtorch, torchvision, torchaudioの三つが順次ダウンロードされていきます。

PyTorchが脳なら、torchvisionとtorchaudio は、それにくっつけて使う「目」と「耳」に当たるパーツ。しばらく時間がかかるので放っておきましょう。（止まっているように見えても、以下の画面が出るまでいじらないこと）

〇〇（インストール場所）:\FramePack-main>という文字列が出たら第一段階のインストール終了です。黄色い字で「WARNING: There was an error checking the latest version of pip.」というエラーが出ていますが、これは気にしなくて大丈夫。

今度は、FramePack-main>のあとに「pip install -r requirements.txt」と打ち込んでENTERしましょう。

するとまた順次DLが始まります。これは、FramePackを動かすのに必要な追加の部品を集めているところです。

ふたたび「〇〇（インストール場所）:\FramePack-main>」という文字列が表示されたらインストールは完了です。お疲れ様でした。

今度は「python demo_gradio.py」と打ち込むと、いよいよFramepackが起動します。初回は動画生成に必要なモデルのDLを伴うため、かなり時間が掛かります。

最後に「Running on local URL: http://0.0.0.0:7861」などと出たら、そこをCtrlキーを押しながらクリックすればOKです。

こちらがFramePackの起動画面。インストールお疲れ様でした！

２．FramePackを起動する

無事インストールできたら、FramePackの操作画面について見ていきましょう。ご覧の通り非常にシンプルなUIで、左上に最初のフレームになる静止画を入力して、プロンプトを入力したら、あとはStart Generationを押すだけという親切設計。左側のエリアから画像入力と生成設定ができ、右側に生成過程と結果が表示されます。

まずは、基本的な操作方法とパラメータの意味を理解しておきましょう。こちらがUI左下の設定画面ですが、逆に言えばこれくらいしかいじれる設定はありません。しかも、ほぼすべて初期設定のままでOKです。

・Prompt（プロンプト）

この欄に英語で動きを指示します。ここはいつもの「1girl,smile」式のdanbooruタグではなく、主にどんな動きをするかについて、単純で具体的な自然文で指示しましょう。（詳しくは「３．プロンプトの書き方」参照）

・Use TeaCache☑

高速生成モード。チェックを入れると生成が速くなる代わりに、手や指が崩壊しやすくなります。デフォルトではONになっていますが、精度重視なら外しましょう。

・Seed

Seed値。静止画の画像生成と同じで、プロンプトも同じだと生成結果も同じになります。逆に言えば、同じ画像で同じプロンプトでも、Seedが違うと動きも変わります。

・ Total Video Length (Seconds)

生成される動画の長さ（秒）。1秒間あたり30フレームで構成されます。1～120秒の間で自由に調整可能で、長くすると自然な動きになるかわりに、生成時間もとても長くなります。まずは5秒程度から。

・ Steps

FramePackは、動画をセクション単位で分割し、それぞれを順番に生成・出力していきます。1セクション何ステップで構築するかを設定するのがこのパラメータです。

開発者いわく「変更非推奨」なので、デフォルトの25のまま弄らない方がよさそうです。

・Distilled CFG Scale

プロンプトの忠実度（指示のききやすさ）。数値が大きいほどプロンプト指示が効きやすくなる代わりに、動画の動きが固くなったり破綻しやすくなります。小さくするほど自由に動けるようになる代わりに、プロンプト無視されることが増えます。こちらも変更非推奨なので、デフォルトの10のままでよさそうです。

・GPU Inference Preserved Memory (GB)

OOM（メモリ不足）クラッシュの回避トリガーのようなもの。VRAMが足りず「CUDA out of memory」エラーが出たら、ここの数字を上げて対処します。数字を大きくすると安定性が上がる代わりに動作が遅くなるので、とりあえず6GBのままで良いでしょう。ハイスペックなグラボなら4GB以下に下げても大丈夫かもしれません。

３．プロンプトの書き方

danbooruタグに慣れた我々にはやや敷居が高く、結果がなかなか予想しづらいのが動画生成プロンプト。StableDiffusionやNovelAIで静止画生成をする場合、danbooru式のタグを書き連ねる形式で画面に描かれる要素全てに言及する必要がありますが、FramePackは静止画の続きを作る「i2v」タイプの動画生成アプリですので、「入力した画像がどう動くか」に着目して自然文の英語で記述する必要があります。

・主語は「the girl」や「A character」でOK

FramePackは入力した画像をもとに、キャラクターの一貫性や画風をかなり正確に保ってくれます。よって、SDやNAIのように「ポニーテールで、赤い眼鏡を掛けていて…」などとキャラクターの容姿などについてイチから言及する必要は必ずしもなく、「The girl」や「A character」を主語に、「どんな動きや変化をするか」に着目してシンプルな表記を心がけます。

例えば、

The girl is waving hand, with smile.（女の子が笑顔で手を振る）

The boy is running toward the camera.（男の子がカメラに向かって走る）

A character doing some simple body movements.（キャラクターがちょっとした動きをする）

…といった感じです。

非常に長いプロンプトでうまく生成できたケースもあるようですので、一概には言えないのですが、基本は短めに、「主語（登場人物）▶動作▶雰囲気/表情▶（必要なら）カメラワーク」の順で書くのがよいと思います。短い秒数の動画ならごく短いプロンプトしか反映できませんし、長文すぎるとモデルが指示にすべて応えようとして混乱した動画になりやすいです。

・カメラワークのコントロール

動画の登場人物の動きを指定するほかに、カメラワークもプロンプトで指示することができます。

①Zoom（ズーム）：カメラのズームイン/アウト。「zoom in」や「zoom out」と書くことで、被写体に寄ったり引いたりする動きを指示する。

例：「The camera slowly zooms in on her face（カメラがゆっくり彼女の顔にズームする）」

②Pan（パン）：カメラを左右または上下に振る動き。「pan to the right/left」や「pan up/down」で指示する。

例：「the view pans to the left to reveal the door（カメラが左にパンしてドアを映す）」

③Rotation（回転）：カメラを軸に回転させる動き。水平方向に360度回り込むなら「camera rotates around the 〇〇（characterやsubject、objectなど）」、垂直方向の見下ろし視点に回すなら「camera tilts down from above」のように書く。例：「360-degree pan around the car（車の周囲を360度パンする）」

④その他：「tracking shot（被写体に合わせて追従する移動撮影）」、「wide shot（遠景の広い構図）」、「close-up（大写し）」、「first-person view（主観視点）」と添えるのもある程度有効のようです。

例：「Smooth tracking shot following the subject」（被写体に合わせてカメラが滑らかに追従する）

・現在進行形がいいかも

登場人物や被写体に動きを伴う指示をしたい場合は、現在系で書くよりも「is ～ing」の現在進行形で書くと、うまく動きが強調されるようです。例えば、「the girl waves her hand.」よりは「the girl is waving her hand.」のほうが良いかもしれません。カメラワークについては現在系で書いて問題ありません。（例：camera rotates around the girl.）

・複数の連続した動きをさせたいときは

「彼女は振り向いて手を振る」といった、複数の相次いだ動きをさせたいときは、現在進行系ではなく現在系を使って「She turns around and then waves her hand」というように、先に起こる動作を先に書き、後の動作を後に書くのが良いようです。が、本当に安定しないので、気休めかもしれません。

動画生成はどうしてもプロンプトで全てを制御するにはランダム性がいまだ高く、安定したプロンプティングは難しいのが現状です。あまり細かい動作を一文に詰め込みすぎると、モデルが混乱して映像が暴れることがありますので、一つのシーン内で主な動作は1つか2つ程度に留めるのが基本かなと思います。

時間経過を表現したい場合は「slowly」「quickly」「gradually」「suddenly」などの単語で操作することも（ある程度は）可能です。

・danbooru語が効くこともある

アニメ調のイラストを動かす場合は、danbooru式に単語をカンマで区切っても良い結果になることがありました。特に、キャラクターの立ち絵を回転させたい場合に「camera is rotate around the girl,rotation,from behind,side view,turn table」などと指示すると、単に「camera is rotate around the girl.」と指示したときよりきれいに等速で回転したケースがありました。このあたりは検証に時間が掛かりそうですが、通常の英文ではうまく効かなかったときや、特定のシチュエーションを指示したいときなどにこうした指示を試してみると効くかもしれません。

プロンプト指示が失敗していると、最初に右上に表示されるビューが微動だにしないのですぐ分かります。上の例では、ちゃんと背後のミナちゃんが表示されているので、有望そうであることが分かります。

・「フレーム外」の要素に注意

FramePackは1フレーム目として入力した画像を基に、基本的には一貫性を保ってくれます。ただ、入力画像に映っていない部分が登場するような変化をさせたい場合は、どういったものが現れるか細かく書かないと、ランダムな結果となってしまいます。

例えば、手を画面外に下ろしているキャラクターの画像を入力して、「waving hand」と指示した場合、半袖か長袖か、袖口がどんなデザインになっているかなどはランダムになります。上半身しか映っていないところから下半身が映り込むような動きをした場合、スカートをはいているのか、ズボンなのかも偶然性に左右されてしまいますので、決まったキャラクターデザインがある場合は注意しましょう。（超有名版権キャラの場合、A characterでなくキャラ名で指示すると、ある程度フォローしてくれるかもしれません）

waving hand

こちらの動画で画面外から出てくる手は、動画生成モデルが入力画像を基にタッチを推論したものです。かなりがんばって自然にしてくれていますが、やはり少し違和感は残るかなと思います。

・LLMに頼んでみよう

英語が苦手な場合はLLM（ChatGPTやGrokなど）に日本語で頼んで、代わりに動画プロンプトを作ってもらったほうが早いです。公式アナウンスでも、次のような指示文を使ってLLMに考えてもらうことが推奨されています。

LLM用プロンプト（コピペ用）：

"あなたは、画像をアニメーション化するための短く、動きに特化したプロンプトを書くアシスタントです。ユーザーが画像を送信したら、それに対して視覚的な動き（人の動作、動く物体、カメラの動きなど）を表現する簡潔なプロンプトを1つだけ返してください。その場面がどのように動き出すか、どんなふうにダイナミックになるかにだけ集中し、短いフレーズで表現します。

「立っている」「座っている」などの静的な動きよりも、「踊る」「跳ぶ」「走る」などの大きくてダイナミックな動きを優先して描写してください。

主語 → 動き → その他の情報の順番で書きます。たとえば：

「The girl dances gracefully, with clear movements, full of charm.（少女が優雅に踊り、はっきりとした動きで魅力にあふれている）」

踊れる対象（人間、少女、ロボットなど）が写っている場合は、できるだけ「dancing」と描写してください。この作業は常に1画像→1動きのプロンプトというループで行います。説明や質問をしたり、複数の選択肢を出したりしないでください。"

これを使ってChatGPT4oに画像からプロンプトを作ってもらうと、このようになりました。

この入力イラストから、4oは「恥ずかしそうに眼鏡を直す」動きを自由に想像したようです。

発想を4o任せにするのではなく、もちろんユーザーがテイストや動きを指示することもできます。画像と一緒に「こういう感じで」と指示するか、いったんプロンプトを出させたあとに追い注文で頼めば、意を汲んだプロンプトに変えてくれます。

単にキャラクターの動きだけを書くのではく、雰囲気や表情などの補足が入るのが特徴的ですね。カメラの動きについても、このようなやり方で指示を足してもらうとよいでしょう。

４．動画を生成してみよう

1フレーム目の画像を入力し、プロンプトを入力したら、「Start Generation」で動画生成が始まります。途中で止めたい場合は「End Generation」を押せばOK。画面右側に１秒ごとの動画が表示されますので、のんびり待ちましょう。

実際の生成例です。こちらのミナちゃんのイラストを入力し、プロンプト「The girl wildly sprays her machine gun, unleashing a furious hail of bullets as she shouts with unyielding determination.（少女はマシンガンを乱射し、決意の表情で叫びながら猛烈な弾丸の雨を降らせた）」で生成開始しました。

RTX4080環境ですので、TeaCacheは使わず精度重視。その他の設定はデフォルトのままです。

画面右側の上段（Next Latents）に潜在空間でのフレーム草案が表示されています。まだ動画はできていませんが、おおむねこういう構図になることが想像できます。この時点でイメージと大きくかけ離れていたら、時間がもったいないのですぐ「End generation」を押してプロンプトなどを組み替えたほうがよいでしょう。下の画像では、マシンガンを上下に振りながら発砲する動画になることが伺えます。

画面下の英文は「逆サンプリングのため、終了アクションが開始アクションよりも先に生成されることに注意してください。開始アクションがビデオに含まれていない場合は、しばらく待つだけで後で生成されます」と書かれています。要するに、5秒の動画を生成する場合、後半から順に前半へ向けて少しずつ動画が延長していくイメージですね。

生成中にFramePackのインストールフォルダ内にある「wabui/outputs」フォルダを開いてみると、入力した画像とともに、セクションごとにmp4ファイルが複数保存されていきます。一番最初に生成されたのはこちらの1秒動画。これが5秒間の終了間際の動画で、ここから時間軸の前へ向かって動画の延長が順次行われていきます。（1秒＝1セクションではないので、5秒動画で保存されるのは4セクション程度です）

最初に生成される動画

一番最後に、指定した秒数の動画が保存されて生成終了。outputsフォルダには入力した1フレーム目画像とセットで保存されますが、ファイル名の末尾の数字が一番大きいものが最終成果物です。

こちらが最終的に保存された5秒動画。RTX4080で8～9分ほど掛かりました。

完成

・「解釈ミス」を修正するには

上の動画はなかなか格好よくできているのですが、残念ながらミスがあります。入力画像の天井が破れて空が見えている部分が、白いリボンと誤認され、キャラの頭と一緒に動いてしまっているのですね。このように、入力画像に誤解の余地があると、なかなかうまくいかないことが多いです。プロンプトでこれを直すのは難しいので、入力画像を誤解されにくいものに変更するか、良い結果が出るまでSeed値を変えてやり直すほかありません。

例えばPhotoshopの生成塗りつぶしでこのように囲み、

プロンプトなしで天井の穴を消してもらうのが手っ取り早いです。Photoshopがない場合はNovelAIやControlnetによるインペイントでもいいでしょう。

・カメラワークの情報を足す

さきほどのプロンプトはキャラクターの動きについてしか書いていなかったので、少しダイナミクスの少ない動画になっていました。そこで、末尾に「the camera rotates around the girl.（カメラが少女の周囲を回り込む）」を足して、動きのある動画を生成することにしました。

また、もっとマシンガンらしく小刻みに体が揺れるとそれっぽいですね。LLMとこのように相談して、プロンプトをイメージに近いものに寄せてもらいました。

こちらのプロンプト（日本語訳：少女は銃弾の嵐を巻き起こし、マシンガンの強烈な反動で彼女の体は激しく震えた。カメラは少女を回り込むように映す）で生成してみます。

こちらが生成結果。カメラワークの情報を足したことで、さきほどよりもダイナミックな動画になりました。ただ、イメージとしては小刻みに体を揺らしながら足を止めて撃ちまくってほしかったので、恰好よくはあっても想定したものとは違ってしまいましたね。このあたり、やはり動画生成はまだまだ偶然性が大きい技術かなと思います。

カメラワーク

・X（SNS）にアップできない不具合

記事執筆現在、FramePackで生成したmp4動画をXにそのままアップしようとすると、このようなエラーが生じやすいようです。

縦横比のエラーと表示されますが、どうも出力ファイル自体に問題があるようです。

現状では、こちらの動画編集ウェブサービスなどに読み込ませて再エンコードすると問題なく投稿できるようですが、いずれ修正されることを期待しましょう。

(frame embed)

５．所感と応用

だいたいの使い方が分かったところで、この新しいローカルツールを、普段のAIイラストづくりやAI漫画にどう活かせるかを検討してみます。

これまでの生成例から感じられることは、FramePackは一貫性の品質が非常によいということです。有償のオンライン動画生成AIサービスでは、動き出すととたんに馬脚を現してしまい、入力した画像と似ても似つかないバタくさい顔立ちになったり、フレーム外から見えてきた部位がとても不自然だったりすることがよくあるのですが、FramePackの場合は1フレーム目の品質をかなり保った上で動かすことができるようです。特に強みなのは、30秒だろうが60秒だろうが、時間さえ掛ければいくらでも長尺の画像を無料で作れるということですね。

Windowsのフォトアプリを使うと、mp4の各コマを上図のように静止画像として切り出すことができます。動画を一時停止して、右下の「・・・」から「フレームの保存」を選ぶだけです。このように、さすがに一枚一枚はブレてしまうのですが、anytestやimg2imgを使ってアップスケールすれば、入力した1フレーム目の画像と遜色のない「差分」にすることができます。

・課題や弱点

一方、ちょっとした不満点もいくつか感じられました。

アニメ調イラストを動かすときに、口パクやまばたきがなめらかにならず、コマ落ち風になってしまうことがあることや、エンドフレームの指定ができないために動画がどこへたどり着くのか分からないこと（ランダム性が排除できない）、動きが激しくなると細部がぼやけてしまうことなどです。が、オンライン動画生成サービスに月数千円払って動画生成させて頂いていたこれまでの環境から考えれば、ローカルで好きなだけ作れるというだけでそうした不満はかすんでしまいますね。

これまでこのFANBOXでは、動画生成AIで背景の画角を動かしたり、車を動かしたり、背景を夜にしたりして漫画作りに活かすことを試してきました（下記記事参照）

【第1回】一貫性を保った「AI背景」を作ろう！　写真から変換、画角変化も

こんにちは、スタジオ真榊です。今回は漫画制作において非常に重要な「一貫性のある背景」を作るテクニックの特集記事です。いわゆる「AI漫画」を制作する方だけでなく、自らの手で漫画を制作しているクリエイターの方にも活用できるよう、一貫性のある漫画背景を簡単に作る方法について、さまざまな検証を行いました。...

【第2回】一貫性を保った「AI背景」を作ろう！　LLM/Anytest/NAIv4/Noobaiインペイント/動画生成

こんばんは、スタジオ真榊です。今回は、Controlnetやインペイント、動画生成、画像編集ソフトなどを併用したイラスト背景づくりについての特集です。2月にこちらの記事で、動画生成AIを使った「一貫性を保った別角度」の作り方を検証しましたが、今回はその続編。より実践的に、現環境で使えるさまざまな技術を組み合わ...

動画生成AIで動画作品を作ろうとすると、どうしても偶然性（ガチャ）との戦いになりますし、間違いを人間が手で微修正するのもかなりの労力が掛かります。それならば、静止画のイラスト作品を作るときに動画生成AIを「一貫性を保ちながら任意を変化をさせられるツール」として活かすのはどうか？という発想で研究してきたわけですね。

こうした使い方が、FramePackで（タダで）できるかもいろいろと検証してみました。が…

・人間以外のモチーフは苦手かも？

まだ数日しか実験できていませんが、さきほどミナちゃんの動画をかなり自由に作れたのに対し、無人の部屋や車といったオブジェクトを思ったように変化させるのは意外と苦手なようです。公式ではクラゲの静止画を動かすテスト動画があるのですが、漠然とした背景や車といった無生物を動かそうとすると、どうもうまくいきません。無生物が苦手なのでしょうか。

例えば、作品の背景に使うために下図のような無人の部屋のイラストを作ったとして、この部屋の中をカメラが自由に動き回れるかどうか試してみました。

・先にLLMで実験してみる

FramePackで実験する前に、念のためLLMに頼んでみます。時間を掛けて動画生成をするより、一発で静止画を生成できるならそれに超したことはないですからね。最新のChatGPT o3にこのように依頼してみました。

こちらが生成結果。11秒でこれが出てくるのは本当に驚異的ですね…。とっても頑張ってくれていて、本当に感動的なのですが、細かく見ていくとポスターなどいろいろな小物の詳細が変わってしまっています。また、画風やカラーも微妙に変化しているのが気になりますね。（ただ、漫画に使う程度なら間違ったところをフキダシで隠したり、フレーム外に押しやったり、加筆修正したりすればこれでもう十分な気もします…）

ではFramePackにお願いしてみましょう。カメラを回り込ませたいので「the camera rotates around the subject」などのプロンプトを使いました。

こちらが生成結果。5秒動画です。

the camera rotates around the subject

さきほどのchatGPTo3が作ってくれた回転差分と見比べると、はるかに一貫性が保てていますね。ついでに、存在しない「フレーム外」まで推論して補完してくれています。ただ、画角の変化量が少なく、やや物足りなさが否めません。

「the camera is rotating around the subject,quickly.」と、現在進行系とquicklyを足すことで、大きく素早く回り込んでもらえるか試しましたが、こちらもほぼ同じ結果になりました。その他、「The camera sweeps in a wide arc around the living room, revealing the cozy space from shifting angles as sunlight glides across the floor.」などとLLMに考えてもらったプロンプトもいろいろとやってみたのですが、無人背景を大きく動かすことができませんでした。

一方こちらはVidu 2.0で無料生成した動画です。プロンプトは「camera ratates around the sofa.」。このように、ソファを中心に大きく回り込むことができました。

これをFramepackでもできると非常に嬉しいところなのですが…まだここまでの推論はできないようです。

vidu-video-2741520243251647

以前行った、車をぐるぐる回す実験や、同じ部屋のまま夜にする実験も行ってみましたが、こちらもFramepackではうまくいかず。最初のコマのまま、微妙にカメラが動いたくらいで変化しませんでした。

　　　　　　　　　　　▲同じ画角のまま微動だにしない車

キャラクターの動作はかなりダイナミックに動かせますし、カメラワークとの組み合わせもできるので、AIイラストに活かすとすれば、さきほどのようにさまざまなポーズを取らせてみたり、一貫性を保ったまま360度回り込ませてキャラクターLoRAの材料にしたりといった手法ならうまく行くのではないかと思います。

ミナちゃんダンス

これからじっくり各種検証を行っていきますが、「こうすると無人・無生物のモチーフでも思い通りに動かせた」という例がありましたら、ぜひ情報をお寄せいただければと思います。

また、さっそくエンドフレームまで指定できるフォーク版もリリースされているようです。エンドフレームが指定できると、プロンプトでは制御できなかった任意の動きをさせやすくなるので、こちらもさっそく試してみたいところ。引き続きFramePackについてはイラスト・漫画方面での活用法も検証していきたいと思います。

(frame embed)

それでは今回はこのへんで。スタジオ真榊でした。

【2025/04/27追記】その後、エンドフレームや「中割り」も画像で指定でき、ループ動画や1秒動画も簡単に作れる機能充実版「FramePack-eichi」が公開されました。こちらの記事をベースに、各種検証を行っていく予定です。

「FramePack-eichi」でH動画を作ろう　エンドフレーム指定、ループ動画モード搭載

20250426AM：v1.51で新装された「1秒モード」について追記しました。 20250426PM：v1.6で新装された新UIに合わせて、内容を順次フィックスしています。一部旧UIのスクリーンショットがありますのでご注意ください 20250427PM：v1.61で、主なUIが再び1.51のもの（生成処理順）に戻りました。一方、スタート・エンドフレー...