新清士の「メタバース・プレゼンス」 第178回

GPT-4o級モデルが自宅のPCで動いた！　ローカルAIの常識を変える「Strata」

社内10人でローカルAIを共同利用　画像生成まで実現するも、処理の遅さで待ち時間が10分以上に

　筆者の所属するバリーン・スタジオでは、複数人での運用のテストを始めています。外部にまったく情報を出すことなく高性能なローカルLLMを扱えるというのは、安全性の面で大きな価値があり、業務内容によっては必要性が出てくるためです。

　RTX 3090（VRAM 24GB）搭載PC（RAM 32GB）にStrata+Qwenを入れてサーバ化することにしました。すでに運用中の独自システム「百夜スタジオ」に接続して使用できるように、「百夜チャット」を開発しました。画像・動画生成だけでなく、検索など様々な機能に対応しました。（参考：社内WebサービスをAIで開発　完成後に直面した運用の壁）

筆者が開発中の百夜スタジオの画面

　百夜スタジオは社内で実験的なテスト運用を続けていますが、すでに課題が見えていました。UIが独特すぎてわかりにくいという課題です。画像生成AIで一般的に使われるWebUIの機能を参考に独自機能を追加していったもので、4年あまり様々なWebUIを触ってきた筆者にとっては難しいものではありません。しかし、AIになじみがないスタッフは、同様の考え方で作られたツールを触ったことがないため、非常に複雑に感じるようです。

　そのため、ChatGPTのようなチャットのやり取りを通じて画像や動画の生成までできる仕組みが、ローカル環境でも一般化すると筆者も考えるようになっています。チャットというシンプルなUIであることが、今、一般に急速に広がっている理由なのだろうとも思います。しかし、今までのローカルLLMでは能力的に限界があり、その実現は難しかったのです。

　ただ、Strata+Qwenの環境であれば実現できると考えたのです。実際、かなりのところまで実装できました。また、管理画面では、どういう種類の作業がされたのかを自動的に分類し、サーバの使用状況を分析できるようにもしました。次は、触ってもらい、課題を洗い出す段階です。

筆者が開発した百夜チャットの実際の画面。画像生成をさせている

百夜チャットの管理画面。何人ぐらいのユーザーが順番待ちをしているかなどの情報が出る　

　そして、10人ほどのスタッフに参加してもらい、動作をテストしたのですが、さっそく、別の課題が浮かび上がりました。

　まず、作業によってはかなり待たされるという課題です。モデルは「IQ2_XS」を採用したのですが、推奨RAM容量は48GB以上なのに、このPCには32GBしかなく、条件を満たしていません。そのため、計算が詰まることがあり、結果が出力されるまでかなり待たされることがあります。「最新の日中間の対立についてニュースを検索して4000字のレポートにまとめて」という指示に対する作業は、RAM 64GBのRTX 4090搭載PCでは30秒で終わりますが、RAM 32GBのRTX 3090搭載PCでは3分経っても終えることができませんでした。

　次に、利用人数の増加による待ち時間の増加です。個々の作業に3分あまりかかる状態で、それぞれのスタッフが次の指示を出すと、当然そのタスクは積み上がります。そのため、返答が戻ってくるのに10分以上待たされることが頻繁に起こりました。ちょっとした画像解析や画像生成をするだけで、それほど待たされるのは便利とは言いづらい状態です。個々の処理に時間がかかるのが、そもそものボトルネックになっており、全体としてかなり使いにくいものになっています。

　社内にある高性能PCは画像や動画処理に回して、Strataを動かすPCは一世代前のあまり使われていないPCを充てたいというのが本音のところです。そうするにしても、Strataでは何よりも大容量のRAMを搭載することの重要性を痛感しました。

　ただ、最近の半導体不足の影響で、RAMの値段も跳ね上がっており、安かった数年前に比べると2倍以上が当たり前という状態で、気軽に買うのはためらわれます。とはいえ、最先端のビデオカードに比べるとまだ安いとは言えるのですが。