たまに役立つセキュリティ豆知識 第79回

存在しないブックレビューを書いてきた、なんてことも

生成AIが堂々と嘘をつくのは「ハルシネーション」のせいなの？

生成AIを信じ込むとえらい目に遭う可能性大

自信満々に回答してくる内容が正解とは限らない

Ｑ：「ハルシネーション」ってなに？

Ａ：「幻覚」「錯覚」を意味する英語「hallucination」より、生成AI、特に大規模言語モデル（LLM）において、事実と異なる情報や存在しない内容をもっともらしく出力してしまう現象を指す。

^{おすすめの関連記事
ジークアクス最終回直前で投稿数52万超！ 米津玄師が公開したガンプラMVも大バズり}

　存在しないものを実際に見ているかのように雄弁に語るため、その事象を研究者たちがある種の比喩としてハルシネーションと呼ぶようになった。

　AIが、存在しない論文や著者を生み出す、法律や歴史について誤った解釈をする、作られていない製品やサービスを紹介する、著名人の誤った情報を伝える……などなど、さまざまな事象が確認されており、実際には幻覚というよりもはや「でっち上げ」に近いと言えるだろう。

　ハルシネーションが起こる理由の1つとして、LLMの学習状況が挙げられる。

　LLMは基本的に大量のデータを学習し、それを参照してプロンプトに対する回答を作り出しているが、学習したデータの量が少なかったり、偏りがあったりすることでハルシネーションを発生させてしまうことがある。また、学習データの内容が古いために最新情報と合致しないテキストを生成する可能性もある。

　さらにLLMは、特定の言葉に連なる可能性が高い言葉を予測してテキストをつむいでいるため、その内容に正誤があるかまでは判断していない。

　そのため生成AIを利用する際は、「得られる回答にはハルシネーションによる誤りが含まれ得ること」を認識したうえで、回答のファクトチェックを欠かさないことが重要となる。