新清士の「メタバース・プレゼンス」 第178回

GPT-4o級モデルが自宅のPCで動いた！　ローカルAIの常識を変える「Strata」

VRAMの壁を破る「Strata」の仕組み　RTX 3070 Tiでも動作したが、RAM 32GBでは実用性に課題

　Strataを開発したのは、中欧スロベニア在住の起業家ニコ・ファイトさん（Niko1221）。GPU、RAM、SSDに役割を分担させ、巨大モデルをVRAM容量の小さいGPUでも動かすことを目的とした推論エンジンです。9月18日の掲示板Redditへの投稿では、RTX 5070（VRAM12GB）で、Qwen3.8-Flash-Nextを動かすことに成功したと明らかにしていました。これまで公開されてきた軽量化のテクニックを、コンシューマ向けPCでも動作するように一気にまとめ上げたことが大きかったのです。

　また、ClaudeやCodexといったAIを使った最適化作業をしていることが明らかにされています。リリースからまだ1ヵ月が経過していないのに、50回以上のアップデートがされるほど、急速に更新が進んでおり、LinuxのサポートやAMD系の高速化、対応ハードの拡大など、応用範囲の拡大が続いています。

　Strata+Qwenはそれほど強力なPCでなくても動作するため、注目も集めています。それでは、最低限どれくらいの環境があれば動作するのでしょうか？

　Qwen3.8-Flash-Nextには圧縮によって様々なバージョンが存在します。サイズの大きいモデルほど性能は高いのですが、分散によって効率化し、安定して動作させるために求められるRAMの量が増えていきます。Qというのは量子化（圧縮）を意味しており、数値が大きいほどオリジナルバージョンからの圧縮の度合いが控えめなため、性能が高くなります。

各モデルの違い。Strata Docsを基にまとめ直したもの

　スペック的にはかなりギリギリと思われるRTX 3070 Ti（VRAM 8GB）搭載PC（RAM 32GB）で動かしてみました。このPCで動かすことができるモデルは限られており、「Qwen3.8-Flash-Next Coder IQ1_M」しか事実上動作しません。Coderとついているのはコーディング作業に使えるという意味で、会話などの能力は正直、高くありません。

　実際に、自己紹介をさせたところ、毎秒27.5トークンで出力されるため、反応速度は悪くありません。ただし、日本語だけでなく、中国語、英語が入り混じった返答が出てくるため、残念ながら使い物になる水準ではありませんでした。ただ、RAMを追加して、48GBを超える容量にすれば、限定的ではありますが、より大きなモデルを使えるので、できることは増えてくると思われます。

RTX 3070 Ti搭載PCで、AI自身にLLMの自己紹介をさせているところ