ウェブカメラからのリアルタイム生成が可能に
LCMの活用として、非常に面白いのがimage2imageです。爆速で処理ができるため、映像を使った「リアルタイム生成」ができるんですね。無料でウェブカメラの画像を専用のControlNetを使って変換できるデモが公開されているので、実際に試してみました。
Real-Time Latent Consistency Model
画面左上に映っているのが筆者です。プロンプトに「boy」と入れると顔が少年になり、「man」にすると老人になる。seaと入れると背景が海になり、「window」と入れると本棚が窓枠に変わり、「ship」と入れると船があらわれ……といった具合に、映像が変化していきます。ほかにもビールを飲ませたり、猫を出したり、筆者と筆者の部屋の情報をソースにどんどん映像を変えていけるんですね。ただ、自分を美少女にすることはできても、美少女をそばに出し続けるのは難しかったんですが……(笑)。
Stable Diffusionでもリアルタイム生成はできなくはないですが、生成速度的にここまでのことはできません。デモ環境はサーバーサイドでNVIDIA A100を使っていますが、Linux環境を構築できれば、Windows上にも作成可能なようです。モデルが軽量化することで将来的にはリアルタイムが可能な環境になるということですね。現在は画像のシード値を固定しているだけなので、動画にしたとき完全な一貫性を維持できないところは今までと同様ですが、将来的な可能性を感じさせるには十分です(※シード値は画像生成時に割り振られる疑似乱数のこと。値を固定することで似た画像を生成可能)。
今後、リアルタイム動画生成が進んでいけば、画像からアニメーションを作るAnimateDiffにも応用が利くのではないかと期待されています。AnimateDiffも様々なアプローチが出ていますが、現状は動画をもとにVideo2Videoで生成した方がきれいに出る傾向があります。
Using a latent consistency model for video2video is fast, but it needs control mechanisms.
— fofr (@fofrAI) October 28, 2023
The speed means you can do high frame rate video conversions. But the lack of control makes it a mess.
180 frames in 55 seconds:https://t.co/Y13KKTdAtppic.twitter.com/CMaWM62C9A
▲Video 2 Videoを試した例。高速に処理できるが、ControlNetなど制御の仕組みがないので、生成画像に混乱が起きている
この連載の記事
-
第67回
AI
アドビの画像生成AI機能がまた進化 白黒3Dモデルがリアルな都市に -
第66回
AI
有名人そっくり、増え続けるAI音声 “声の権利”どう守る -
第65回
AI
画像生成AIに照明革命 日本と世界で同時に“神ツール”登場 -
第64回
AI
自分好みのAIチャット相手を簡単に作れる「Dify」が面白い -
第63回
AI
まるで“いけない話ができるChatGPT” ローカルAI「Command R+」の爆発的な可能性 -
第62回
AI
動画生成AI、映像制作の“民主化”目指して研究進む -
第61回
AI
画像生成AI“児童ポルノ”学習問題、日本では表現規制の議論にも -
第60回
AI
3Dアニメーション技術の革新が止まらない -
第59回
AI
政府、生成AI推進に向けて議論を加速 -
第58回
AI
画像生成AIで同じキャラクターが簡単に作れるようになってきた -
第57回
AI
日本発のリアルタイム画像生成AIサービスが熱い 大手にとっては“イノベーションのジレンマ”に - この連載の一覧へ