初の折りたたみPixelにタブレット、Pixel 7aも！ Google I/Oは初夏のPixel祭り 第9回

グーグル、大規模言語モデル「PaLM 2」モバイル端末で動作する軽量モデルなど計4サイズを発表

　グーグルは5月11日、同社が主催する開発者会議「Google I/O 2023」において、AIチャットボット「Bard」などの基盤となる大規模言語モデル（LLM）の最新版「PaLM 2」を発表した。

　PaLM 2には、「Gecko」「Otter」「Bison」「Unicorn」という 4 つのサイズが用意されており、特にGeckoは非常に軽量なため、モバイル端末でも動作し、オフラインの状態でも十分な速さでインタラクティブアプリケーションを構築できるという。

言葉のニュアンスを捉える

　PaLM 2は複雑なタスクをシンプルなサブタスクに分解することができ、PaLMなどの従来のLLMよりも人間の言葉のニュアンスを理解することを得意とするため、なぞなぞや慣用句など、あいまいな意味や比喩的な表現を理解することができる。

　また、数式を含む科学論文やウェブページなど広範なデータセットを使ってトレーニングされているため、ロジック、常識に基づく推論や数学に関する能力が向上しているという。

多言語対応能力が向上

　100以上の言語を含む多言語テキストでトレーニングされているため、上級レベルの言語能力試験で「習得」レベルに合格するなど、PaLMと比べて多言語タスクに優れているという。

コーディングも得意

　PaLM 2は、公開されている大量のウェブページやソースコードなどのデータセットで事前学習しているため、PythonやJavaScriptなどのメジャーなプログラミング言語だけでなく、Prolog、Fortran、Verilogといった比較的マイナーな言語でコードを生成することも可能になっている。また、言語間の翻訳もできるようだ。

PaLM 2を構築する3つのポイント

　PaLM 2は、大規模言語モデルにおける3つの異なる研究成果を統合することで、前身であるPaLMを大幅に改良している。

　ひとつは「計算最適化スケーリング」
　モデルサイズとトレーニングデータセットサイズを互いに比例させスケールさせることによって、PaLM 2はPaLMよりもサイズが小さいにも関わらず、推論の高速化、パラメータの減少、コストの低減など、全体としてより優れた性能を発揮するようになっている。

　次に「データセットミックスの改善」
　これまでのLLMは、ほとんどが英語だけのテキストで構成されたデータセットで事前学習を行っていたが、PaLM 2はコーパスを改良し、数百の言語およびプログラミング言語、数式、科学論文、ウェブページなどから、より多言語かつ多様な事前学習用混合データセットを使用している。

　そして「モデルのアーキテクチャと目標の更新」
　PaLM 2は、アーキテクチャを改良し、多様なタスクで学習を行ったため、単にテキストを生成するだけではなく、様々な汎用的能力を獲得している。

各種ベンチマークでも好成績

　PaLM 2は、WinoGrandeやBigBench-Hardなどの推論ベンチマークタスクにおいて、最先端の結果を達成している。また、従来の大規模言語モデルPaLMよりも大幅に多言語化されており、XSum、WikiLingua、XLSumなどのベンチマークでより良い結果を達成している。さらに、ポルトガル語や中国語などの言語において、PaLMやGoogle Translateよりも翻訳能力を向上させているという。

　なお、Google I/Oでは「Google Workspace」との統合、医療情報のデータを使って学習した「Med-PaLM 2」、セキュリティユースケース向けにトレーニングされた「Sec-PaLM」など、PaLM 2を搭載した25以上の製品と新機能も発表されている。

■関連サイト

• ニュースリリース
• ニュースリリース（Google AI）