動画生成AIについて：一番星はてのは目をゆっくり開き、踊れるか

お嬢様系 AI はてなブックマーカーである一番星はてのちゃんのファンアート生成の記事を書いてから、すでに1年以上が経過した。はてのちゃん当人からもブックマークされ、大変満足したことを覚えている¹。はてのちゃんは1年以上経った現在も毎日元気に活動しており、喜ばしい限りである。

2023年3月当時と現在²を比較すると、LLM を含む生成 AI 技術は当然のように進歩している³。 動画生成 AI については、2023年7月に AnimateDiff がリリースされ、ローカル環境でも（比較的）簡単に（比較的）高度に制御された（比較的）高品質な動画が生成できるようになった。 当時、筆者は仕事で動画生成 AI の商業的利用の可能性について検討する機会があり、AnimateDiff を含む生成 AI 技術を使って、どの程度のコストでかつどの程度のレベルで制御した動画が生成できるかを試していた。 そうしているうちに、はてのちゃんも動かしてみたくなったのである。

頓挫した試み：アニメオープニング風動画の制作

2023年11月頃、筆者ははてのちゃんのアニメオープニング風動画を作成してみることにした。 まず、動画のベースとなる楽曲を Suno AI で生成した（オーディオ1）。

数回の試行で気に入る楽曲が生成できた⁴。コーラス部分をカットすれば、1分弱の動画で済む。 楽曲を聴いて動画の構成が自然に決定できたため、早速最初のカットの生成にとりかかった⁵。

動画は、はてのちゃんがゆっくりと目を開けるところから始まる。曲に合わせるため、目を開ける動作は約7秒間つづく必要がある。 Krita⁶のAI Diffusionプラグイン⁷を利用して、完全に目を瞑っているバージョン（図1）、完全に目を開けているバージョン（図2）の画像2枚を生成した。

これらを ControlNet⁸ で入力して AnimateDiff を使えば済むと考えていたが、甘かった。 動画生成 AI に期待しているのは、この2枚の画像の間のフレームを説得力のある形で補間することである。しかし、7秒という長さでは、例えば次の動画1のようになってしまう。

では、目をゆっくり開けさせるというごく簡単な動作をうまく生成できなかったから諦めたのだろうか？ もちろんそうではない。 結局、図3のように目を開ける中間状態の画像をいくつか生成し、それを使って動画2を生成した（楽曲と合わせてある）。

図4から分かる通り、参照画像と共に ControlNet のノードが増え、各画像についてどの時点でどのような強さで入力するかを細かくチューニングしなくてはならなかった。 今回の目をゆっくり開ける動作に限れば、もっと効率的な生成方法があったかもしれない（場合によっては AI を使う必要もないかもしれない）。 しかし、根本的な問題はモデルの推論・生成能力が不足していることである。

筆者にとって、現段階では AI を使って生成する出力（画像、動画、etc.）そのものはそれほど重要ではない。 より重要なのは、生成するプロセスがどれほど簡単で自由度が高く、どれほど制御可能か、ということである。 図1の画像を与えて「7秒かけて目をゆっくり開けさせて」と言ったら、動画2のような動きがただちに生成されて欲しいわけだ⁹。 冒頭約7秒の生成を行うだけで、先に待つ作業の非効率さを予感するには十分であった¹⁰。

このようなとき、いかに怠惰な者でも実行できる手法が存在する。寝て待つのだ。 そういう次第で、筆者は生成 AI 技術の進歩を単に待つことにした。それ以降、画像・動画生成 AI に触れる頻度は減少していった。

Dream Machine: ゆっくり開眼チャレンジ

寝て待っていたところ、2024年2月に OpenAI が Sora という画像・動画生成モデルを発表した。 Diffusion transformer と呼ばれる、名前からして正当進化的な手法を使っており、すぐに使いたいところであったが、本稿執筆時点でも一般公開されていない¹¹。

引き続き寝て待っていたところ、2024年6月に LumaLabs が Dream Machine をリリースした。

Sora とは異なり Dream Machine は一般公開され、かつ無料で使える。 さらに、最初のフレームと最後のフレームの画像を指定できる機能がある。 筆者はただちに「ゆっくり開眼チャレンジ」を行なった。結果を動画3〜8に示す。 いずれも、図1、図2をそれぞれ最初のフレーム、最後のフレームに指定して生成したものである。

いずれの出力にも難点があるが、指定した元画像とほぼそのままのスタイルで動くという観点での品質は高い。 十分にゆっくりではないが、目を開ける動作自体は自然な動画になっているものも多い。 そもそも数秒かけて目を開けるという動作が不自然すぎるのかもしれない。 プロセスの簡単さ、出力の品質の面で確実に進歩が見られる。

MusePose: ベリーダンスチャレンジ

ゆっくり開眼だけではつまらない。オープニング動画の構想にもはてのちゃんを踊らせる部分が存在した。 その構想通りの難しい動きではなく、ここでは簡単な踊りを簡単な指示で生成できるか実験しよう。

人が踊っている動画を生成する試みは、もちろん AnimateDiff 以前から存在する。例えば、次の reddit 投稿は2023年4月11日のものである。

I transform real person dancing to animation using stable diffusion and multiControlNet
byu/neilwong2012 inStableDiffusion

上記のように破綻が（比較的）少ない高品質な長尺動画は、ほとんどの場合、すでに高品質な入力動画の各フレームを ControlNet に与えることで生成されている。この動画において服の色や髪、背景にチラつきが多いのは、各フレームを Stable Diffusion で変換しているためだろう¹²。 つまり、モデルの推論能力を入力で補うということであり、動画2を生成した手法と原理的に大差ない。動きを指定するためになんらかの入力動画は必要だとして、任意の人物画像を与えるだけで、スタイルを保ったまま入力動画と同じ動きを生成できないだろうか？

まさにそれを可能にする手法として、Animate Anyone が2023年11月末に発表された。

本稿執筆時点でも実装やモデルは公開されていないが、非公式の実装・モデルがいくつか存在する。 その一つが2024年5月にリリースされた MusePose である。 MusePose を使って、はてのちゃんにベリーダンス¹³を踊らせてみよう。 Mixamo¹⁴ で出力したベリーダンス（動画9）を入力動画として用いる。

そして、入力する画像は以前の記事で生成したファンアートをそのまま使う（図5）。

図5の画像はいわゆる「AI絵」のスタイルでは生成されていない¹⁵。記事で述べた通り、多数の漸進的生成を経て作られたものである。このスタイルに準拠したはてのちゃんの LoRA¹⁶ やモデルも作っていない。 従って、図5のようなある意味でランダムな画像から破綻が少ない動きを生成できるかどうかが重要だ。 生成した結果を動画10に示す。また、その ComfyUI ワークフローの様子を図6に示す。

動画10では正面を向いていないときの顔面の破綻が目立つが、身体の動きをよくみると、指や髪の一部を除いて図5のスタイル通りに破綻が少ない動きが生成されている。これは AnimateDiff と比べて非常に大きな進歩である。 生成プロセスも図6のような単純なワークフローで済み、パラメータの調整は行なっていない。

動画10のような出力が得られさえすれば、既存手法で「清書」することも可能だ。例えば、顔面の破綻については図7のような face detailer ワークフローを用いて修正することができる。修正結果を動画11に示す。

動画11の結果が気に入らなければ、動画11を入力としてさらに「清書」することができる。 また、本稿ではこれ以上行わないが、手、指の破綻についても同様に修正可能である。 当然、upscaler を使って解像度を上げてより見栄えの良い動画にすることも可能だ。

おわりに

本稿では、はてのちゃんの動画生成を通じて筆者の過去の試みを振り返り、現在の動画生成 AI の進歩¹⁷をみた。 先に述べた通り、筆者は AI の生成物そのものには（少なくとも現段階では）それほど興味がない。重要なのはそのプロセスである。高度な制御を行うプロセスが簡単に、効率的になるほど多様で高品質な成果物が短時間で生まれるからだ。 その観点では、現在の画像・動画生成 AI は理想からはまだ遠い。しかし、着実に良くなっていることは本稿で伝わったはずだ。

はてのちゃんのオープニング風動画については、生成 AI 技術の進歩に伴い制作を再開するかもしれないし、まったく別の試みを行うかもしれない。 楽曲（オーディオ1）は無料版の Suno AI で生成したので、筆者はその権利を持っていない¹⁸。利用したい場合は Suno AI の利用規約を参照してほしい。