西田宗千佳の「AIトレンドトラッキング」 第12回

「Sora」は本当に革命か。実は多彩な動きを見せていた2月の生成AI業界

マイクロソフト、「1bit LLM」に関する論文「The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits」を公開（2月27日）

　月末になってやってきた驚きのニュース。記事を執筆している段階ではASCII.jp上に詳しい記事はないが、とりあえず論文へのリンクを示しておく。

https://arxiv.org/abs/2402.17764

　この技術は、LLMのパラメータを「0」「1」「-1」で表すことで、計算を簡略化する技術。1ビット量子化、とされているが3値なので「約1.58ビット」だ。

　結果として、演算自体は行列の「足し算」となる。従来は行列の「掛け算」だったので、処理負荷が劇的に減る。これで従来（一般的には16ビットもしくは32ビットでの処理）との間で、言語モデルとしての性能が変わらないのだとすれば、確かに画期的な技術だ。

　筆者は論文をちょっと読んだだけであり、他の方が検証したものを眺めている状況だ。だから価値についてなにかを断言するのは難しい。ただどうやら、「条件はあるし制約もあるが、一定の範囲では有効」という意見が多いようだ。大型のモデルよりも小型のモデルで有効、との分析も目にする。

　現在の生成AIをめぐる課題のほとんどは、演算負荷に起因する。コストが高いゆえに用途が限られるのも、大手企業が有利であるのも、試行錯誤もしづらいのも、演算負荷が高いから。これが変わるなら、状況は激変する。

　ただ、すべてのシーン、すべての規模のモデルでこの論文の内容が有効かは、まだわからない。「GPUが不要になる」という言説も見えるが、実際にはGPUを使えばさらに速くなるので、GPUが有利であることに変わりはない。「GPUをさらに活かせる」もしくは「GPUに頼らなくていい用途も出てくる」と考えるべきだろう。

　しばらく動向を見守るべき技術だ。マイクロソフト自体の戦略にも影響を与えることだろう。

 

筆者紹介――西田 宗千佳

　1971年福井県生まれ。フリージャーナリスト。得意ジャンルは、パソコン・デジタルAV・家電、そしてネットワーク関連など「電気かデータが流れるもの全般」。取材・解説記事を中心に、主要新聞・ウェブ媒体などに寄稿する他、書籍も多数執筆。テレビ番組の監修なども手がける。主な著書に「メタバース×ビジネス革命 物質と時間から解放された世界での生存戦略」（SBクリエイティブ）、「ネットフリックスの時代」(講談社)、「ソニー復興の劇薬」（KADOKAWA）などがある。