株式会社Elith、長い文章を理解する大規模言語モデル（LLM）に関する技術調査内容を週刊エーアイElithで発表

2023.06.02 07:00

PR TIMES

株式会社Elith
長い文章を理解するLLMフレームワークに関する調査を実施

AIの研究と開発を手掛ける株式会社Elith（東京都渋谷区）は、長い文章を理解するLLMフレームワークに関する技術調査を実施した。週刊エーアイElithを通じて、中間ステップ（アクションマイニング、プラン生成、プラン実行）の導入が重要であるという結果を得た。

AIに関する研究、開発、設計、企画、教育、販売、保守、コンサルティング業務を展開する株式会社Elith (本社：東京都渋谷区恵比寿西2-3-13-601) は、2023年5月29日、週刊エーアイElithで長い文章を理解するLLMの技術調査内容を発表いたします。

【週刊エーアイElithとは？】

週刊エーアイElithでは、株式会社Elith(エリス)によって運用される日々の機械学習のニュース・OSS・研究・技術・学会・国内外AI企業の情報を毎週月曜日に配信するニュースレターです。
国内外の最新のAI情報をキャッチアップをする場合、
AI系で第一線で活躍するエンジニア・研究者のSNSアカウントの情報をキャッチする

OSSを運営している団体のブログを読む

国外のテック系のニュース記事を読む

国際学会に参加する

少数の日本語で書かれた有益なニュースレターを読む

などのアクションが考えられますが非常に労力を要します。このニュースレターでは、日頃から機械学習系の研究者でない方にもトレンドをキャッチしていただけるように情報をまとめて配信します。

【調査内容】
「PEARL: Prompting Large Language Models to Plan and Execute Actions Over Long Documents」という論文は、大型言語モデル（LLM）が長い文章を処理するのに苦労するという問題に取り組んでいます。従来の手法として、chain-of-thought promptingなどが長い文章の理解において精度向上に貢献してきましたが、モデルの入力トークン数の制限などの制約がありました。
この研究では、長い文章を理解するための複雑な推論タスクにおいて、入力を改善するために中間ステップに分解する「PEARL」というフレームワークが提案されています。中間ステップは、アクションマイニング（要約や検索など）、プラン生成（アクションの実行プランの生成）、プラン実行（生成されたプランの実行）の3つの要素から構成されています。
研究では、QuALITYというデータセットを用いてPEARLの評価が行われました。その結果、PEARLはゼロショットやchain-of-thought promptingを上回る性能を示しました。さらに、アブレーション実験により、PEARLの各ステージが性能において重要であることが明らかになりました。

【こんな方におすすめです】
以下は対象者とどんな情報を取捨選択すると良いかを記載しています。
ケース1
対象：AIに興味のあるビジネスマン

情報：国内外のAIのニュース

ケース2
対象：AI分野を対象にしたベンチャーキャピタル

情報：国内外のAIのニュース/AI企業・動向のレポート

ケース3
対象：AIスタートアップ関係者

情報：国内外のAIのニュース/AI企業・動向のレポート/学会情報

ケース4
対象：機械学習エンジニア/データサイエンティスト/研究者

情報：学会情報/OSS/AI技術/研究内容

【ニュースレターの内容】
基本的には配信する記事の内容は無料です。配信する内容は、日々の機械学習のニュース・OSS・研究・技術・学会・国内外AI企業の情報などです。
学会情報をまとめたレポートや、特定の技術の深くまで解説した技術記事、関連企業の動向をまとめたレポートなどは増刊号として配信予定であり、一部有料化する予定ですが予めご了承ください。

【株式会社Elithについて】

社名：株式会社Elith
代表者：代表取締役若林怜帆人、取締役CEO兼CTO 井上顧基
本社所在地：東京都渋谷区恵比寿西2-3-13-601
会社概要 URL：https://elith.co.jp

【本プレスリリースに関するお問い合わせ先】
株式会社Elith Eメール：contact@elith.co.jp