2024年は高性能化と軽量化が進むローカルLLMに注目
また、今はローカルで高性能なLLMを動かすためにはVRAM容量の多い、高価なビデオカードを搭載するPCマシンが必要ですが、モデルの量子化アプローチも様々な圧縮する方法が試されており、大きなモデルをさらに小さなデータ量にする手法が発見されつつあります。最近、RAMとVRAMのどちらの役割も与えられるユニファイドメモリを搭載していることから、ローカルLLMを動かす環境として「Mac Studio」が注目されはじめています。数年という時間はかかるでしょうが、いずれ一般的なスペックのパソコンや、あるいはスマートフォンやタブレットでも、高性能なローカルLLMが動作する環境が整ってくるのではないでしょうか。
2023年までは、ごく一部の人々しか触れられていなかったローカルLLMの世界ですが、2024年に入り、LM Studioのような扱いやすい環境が充実してきたり、Command R+のような高性能なモデルや軽量モデルがローカルLMMとして扱えるようなったことで、その裾野が大きく広がろうとしています。従量課金のものが、定額課金や無料になると、サービスの質が変わるというのが、ITの歴史の中では繰り返されてきていますが、これまでのクラウドで触っていたときとは、ローカルLLMでは体験が変わったと感じました。それぞれの個人にカスタマイズされた、十分に実在感を感じられるAIキャラクターと日常的に雑談するのが当たり前になる世界がもう目の前に迫っているように思えてなりません。
本記事はアフィリエイトプログラムによる収益を得ている場合があります

この連載の記事
-
第169回
AI
もはやローカル動画生成AIの枠におさまらない。MiniMax H3の奥が深すぎる -
第168回
AI
とんでもない動画生成AIが出てきた 無料で試し放題の「MiniMax H3」を徹底検証 -
第167回
AI
“Fable級が無料”は本当か AI市場を震撼させた「Kimi K3」を試した結果 -
第166回
AI
社内WebサービスをAIで開発 完成後に直面した運用の壁 -
第165回
AI
AIがBlenderを勝手に操作 3D制作のハードルが一気に下がった -
第164回
AI
AIはすでに、私たちの心を内部で再現しているのかもしれない -
第163回
AI
無料の画像生成AI「Krea 2」が話題 実写もアニメもこなす新勢力 -
第162回
AI
ローカルAIで“しゃべる推理ゲーム”を作ったら、思ったよりちゃんとゲームになってきた -
第161回
AI
わずか3日で停止された新AI「Claude Fable 5」は何がすごかったのか -
第160回
AI
寝不足になるほど面白い ローカルAIと音声合成をつないだら、キャラが普通にしゃべり始めた -
第159回
AI
AIを使える人と使えない人で、とんでもない差が出ると実感した理由 - この連載の一覧へ







