動画生成AI「Runway Gen-2」で生成される動画を16秒からさらに伸ばす方法

2023年08月11日 17時00分更新

文● JOJIO（じょじお）/編集 ASCII

Runway Gen-2の生成動画時間制限の壁を超えるアイデア

　さて、まずは現在の仕様上限である「16秒より長いシーンを作成するアイデア」を紹介しましょう。

　これまで動画生成AI『Gen-2』で生成できる動画は4秒まででしたが、8月10日のアップデートにより最長16秒の動画生成が可能になりました。この機能は生成した動画を4秒ずつ延長していくものです。

　しかし、16秒でもまだ短い！もっと長い時間を生成したい！と考える方もいらっしゃるでしょう。そこで、紹介するのが下記のアイデアです。

■Gen-2で16秒より長い動画を生成する方法

【1】. 画像生成AIなどでベースフレームとなる画像を用意する。
【2】. Gen-2で【1】の画像から動画を生成し、延長して最大16秒の動画を生成。
【3】. 【2】の動画の最後のフレームのスクリーンショット画像を取得する。
【4】. 【3】の画像からGen-2で動画を生成する。
【5】. 【3】～【4】の工程をお好みで繰り返す。
【6】. 動画編集ソフトですべての動画をつないで編集する。

　ポイントはステップ【3】～【4】の工程です。最大まで拡張した動画の最後のフレームのスクリーンショットを取得し、その画像を元にGen-2で動画を生成することで、動画の続きのシーンを生成することができ、それらの動画をつなぎ合わせれば、事実上無限に長い動画が作成できるというわけです。

　違和感なく連続したシーンが生成できるかは運次第であることと、延長を重ねるたびにだんだんとフレーム描画があいまいになっていくので、実際には延長しすぎると動画崩壊を起こしてしまうのですが、それでもこの方法を知っておくと、表現の幅は広がるかと思います。

　おそらくですが、今回のアップデートで行われた生成動画時間の延長も4秒ずつであることを考えると、Gen-2の動画生成はアップデートされたあとも相変わらず4秒単位でしか行えず、このTIPSと同様に、生成した動画の最後のフレームをキーフレームとして4秒の動画を生成し、前の動画とつなげているのではないかと思います。

Runway Gen-2で長尺の動画の作成手順その1
画像を用意する

　それでは、先に紹介したステップに沿って動画を作っていきましょう。

　まずはベースとなる画像を用意しましょう。ここではMidjourneyを使って生成しますが、それ以外のツールを使って用意した画像でもかまいません。

　今回の方法では、テキストプロンプトを使わずに画像のみを使って動画を生成していくため、画像の選定が重要になります。

　Gen-2に向かない画像を動画化すると、失敗してしまい無駄にクレジットを消費してしまうことになりますので、画像生成の前にどのような画像を使えば動画化が成功しやすいかを確認しておきましょう。

　ただし、失敗するときは失敗します。というか失敗する確率の方が高いです（笑）。筆者自身の体感としては、5回生成して1つ満足のいくものが生成できるかどうかくらいのイメージです。何度もトライアンドエラーを繰り返す気持ちで遊んでみてください。

■Gen-2で失敗しない画像を選ぶコツとポイント

1. アニメ系の画像は崩壊しやすく、写真系の画像は成功しやすい
2. クローズアップ構図の方が成功しやすい
3. 複雑なディティールの画像は失敗しやすい
4. 自然物のように動きのイメージが容易に想像しやすいものがよく動く
（雨、滝、海の波、風に揺れる植物、キラキラと光る星空、水に溶けてマーブル模様をつくる絵の具など）

　アニメテイストよりもリアルテイストの画像の方が動画として成功しやすいです。ただし、新清士さんの記事にもあるような絵画調のイラストもきれいに動画化できるケースもあるようです。

　また、背景が複雑な絵は失敗しやすいので、ディティールをシンプルにするか、被写体にクローズアップした構図にすると成功率がアップします。

　ここでは下図の女性の画像を例に次へ進みます。

■極寒仕様装備の女性の自撮り画像のプロンプト

Selfie of beautiful girl wearing extremely cold weather down jacket on ice in Antarctica, red knit cap, Layering heavily, happy smile, hyper quality , weight gain from clothing, neck warmer, photo from national geographic, 32k --ar 3:2

訳：南極の氷の上で極寒のダウンジャケットを着た美少女のセルフィー、赤いニット帽、重ね着、幸せそうな笑顔、ハイパークオリティ、衣服による体重増加、ネックウォーマー、ナショナルジオグラフィックからの写真、32k

■画像のアスペクト比について

　筆者は上の画像のアスペクト比を3:2で出力していますが、比率は作成する動画サイズに合わせてください。よくわからないという場合は、PCで再生される横長の動画によく用いられる比率である「16: 9」が良いでしょう。これはPC版YouTubeの標準的な比率です（YouTubeショート動画の場合は9:16）。

Runway Gen-2で長尺の動画の作成手順その2
Gen-2で画像から動画を生成する

　画像が準備できたらRunway Gen-2のサイト(https://research.runwayml.com/gen2)にアクセスします。トップページの「Try Gen-2 in Runway」をクリックしてダッシュボードを開きます。ログインが必要になりますので、アカウント登録がまだの方は無料登録しましょう。

■Gen-2の料金について

　Runway（Gen-2）は、専用のクレジットを消費して動画を生成します。
デフォルトのフリープランユーザーは、およそ動画生成25回分である125クレジットだけ無料で使うことができます。しかし、遊んでいるとあっという間に無くなってしまうのですが、フリープランでクレジットの追加購入ができないため、クレジットを手に入れるには月額プラン（12ドル～）の加入を検討する必要があります。

　とりあえず一か月だけ使いたい場合は、最安の12ドルのスタンダードプランの加入後にすぐにキャンセルすれば、加入日から1か月使うことができ、キャンセルを忘れて自動課金されてしまうこともありませんのでおすすめの方法です。ただし、お伝えしたように失敗する確率が高いため、冒頭で紹介したくらいの長さの動画を作成するには追加購入が必要になるかと思います。

　ダッシュボードが表示されます。いくつかの機能が並んでいますが、今回使うのは「Text-to-Video」なのでこちらをクリックします。

■Runway Gen-2の設定

　まずは設定を見てみます。入力欄の左下のアイコン（図①）をクリックして設定を開きます（図②）。

　現在設定可能なパラメーターは次のとおりです。

設定項目
設定名	内容
Seed（シード値）	シード値。画像を何度か生成する場合、同じシード値を使うとある程度一貫性を保てる
Interpolate（補完）	フレーム間を補完して画像を滑らかに見せる
Upscale （アップスケール）	ビデオの解像度を自動的に向上させる（生成時間が若干長くなる可能性がある）
Remove watermark （透かしの削除）	動画右下に表示されるGen-2の透かしを非表示にする

　動画にウォーターマークを表示させたくない人は、［Remove watermark］のチェックを有効にしましょう。

　[Interpolate]と[Upscale]は、動画のクオリティを上げるにはどちらもチェックをオンにした方がいいでしょう。

　筆者は、すべてのチェックをオンにして全ての動画を生成しました。

　①ベース画像をドラッグ＆ドロップで設置して、②Generateボタンを押します。

　1～3分待つと次のように動画が生成されます。その場で動画を再生し、気に入らない場合は、シード値を適当に変えてもう一度実行してみるか、元画像を変えてみましょう。

　気に入った動画は、下図赤枠の［Extend 4s］をクリックすると拡張することができます。これが冒頭で解説した新機能です。

　気に入れば動画の右上のアイコン（下図赤枠）から自分のPCにダウンロードします。

　なお、生成には数分待たなければいけませんが、生成している間に次の生成を行うことができます。

　テキストプロンプトは使わないのか？という疑問を持つ方もいるかもしれませんが、今回のテーマである「画像のキャラクターを動かす」という目的においては、テキストプロンプトは使用しません。テキストプロンプトを使用した場合、イメージプロンプトに入力した参考画像はほぼ構図だけが踏襲されるだけになり、キャラクターの絵柄などの重要な要素のほとんどが無視されてしまうためです。

　テキストプロンプトが望むように機能しないため、結果はAI次第で失敗が多いという点が、現在のGen-2の最大の難点と言えるかもしれません。この点は、今後のアップデートで改善されていくはずなので今後の更新情報に期待しましょう。