ビューアーを“AI生成スタジオ”に発展
次の段階では、単なるビューアーだけでなく、ComfyUIをサーバとして動かし、連携させることで、画像生成機能を追加し、「スタジオ」として発展させることにしました。画像モデル「Z-Image Turbo」の環境で画像を生成し、さらには、動画モデル「LTX-2.3」を組み込んで動画生成もできることを目指しました。
生成自体の機能追加は比較的簡単にできました。すでにZ-Image Turboで生成できた画像があるため、メタデータをClaude Codeに読み込ませるだけでWorkflowの再現ができるためです。それをスタジオに組み込むように指示すればよいだけです。
狙って追加した重要な機能が、LLM連携で簡単な日本語を入力すれば、そこから内容を膨らませて、自然なプロンプトとして使用可能な英文への変換機能です。Z-Image Turboは、日本語を認識するのですが、より精度高く理解させるには英語か中国語がよいとされているため、英語化するようにしたのです。もちろん、それらのプロンプトはテクニックガイドを参考に、その方針に沿った文案を出してくれるようにとも指示しています。
また、画像をドラッグアンドドロップすると、その画像をプロンプトに再解釈して分解してくれる仕組みも入れました。これで精緻な自然文が求められる最近の画像モデルに複雑な指示ができるようにもなりました。これで、当初目標としていた、Claude Codeを使ってのトークンを消費するプロンプト生成は必要なくなりました。
さらにはControlNetやLoRAの呼び出し機能、特定のキャラクターを出しやすくするための保存機能、カメラワークや服装などのプリセット追加機能などを追加していき、1週間程度でWebUI環境としては一通りの機能が揃ってきました。
本記事はアフィリエイトプログラムによる収益を得ている場合があります

この連載の記事
-
第182回
AI
10年間作れなかったアプリが、AIでわずか10日で完成して感動 好きなキャラが踊る3Dライブをついに実現 -
第181回
AI
無料の画像生成AI「P-H3-Image」がすごい 参照画像1枚で同じ人物を自在に再現 -
第180回
AI
“AI彼女”が別人になる前に──記憶と人格を自分のPCに移植する -
第179回
AI
無料の画像生成AI「Moss-Image」がすごい 日本語も漫画も生成、商用利用OKの実力を試した -
第178回
AI
GPT-4o級モデルが自宅のPCで動いた! ローカルAIの常識を変える「Strata」 -
第177回
AI
AIに「法隆寺の五重塔」を作らせてみた 修正を重ねてたどり着いた驚きの完成度 -
第176回
AI
無料ツールとAIでMV制作が激変 After Effectsまで自動操作できた -
第175回
AI
AIが人間のようにゲームをプレイ 話題の「Jev」を試してわかったこと -
第174回
AI
AIでMVを作るのは想像以上に大変だった 制作34時間、繰り返した“ダメ出し”でわかったこと -
第173回
AI
OpenAI「Astra」は何でもできる、だからこそ“プロの指示”が必要になる -
第172回
AI
ついにAIキャラクターと“ビデオチャット”へ 「MiniMax H3」がリアルタイム生成に接近 - この連載の一覧へ







