メルマガはこちらから

PAGE
TOP

AIエージェントの意図しない挙動を検知し抑止、AIセーフティプラットフォーム「datagusto」提供開始

 株式会社datagustoは12月11日に、AIエージェントによる「意図しない挙動」が引き起こすインシデントを防ぐAIセーフティプラットフォーム「datagusto(データグスト)」のリリースを発表した。AIエージェントの意図しない挙動をリアルタイムに検知・抑止し、企業が抱えるAIエージェントの安全な運用を図るという。

 AIエージェントによる想定外の動作や誤った判断は禁止リストや固定ルールを事前に設定する「静的ガードレール」という手法で制御されてきた。しかし、運用するAIエージェントが増えるにつれ、モデルの更新などが行われるたびにガードレールの再設定が必要になるなどの問題があると同社は指摘する。さらに、事前に設定した内容では意図しない挙動を検知できないこともあるとのこと。こうした課題に同社は着目し、リアルタイムにリスクを検知・抑止する独自技術を提供するという。

「datagusto」は、「今、AIエージェントがやって良いこと/悪いこと」の境界線をその場で動的に生成し適用。従来の「静的なガードレール」では防げなかった「想定外」のインシデントを検知し防止できるとしている。さらに、自己学習するため、時間の経過とともにガードレールの信頼性が向上するという。

「datagusto」ではAIエージェント自身の認識齟齬や誤動作といった「内部から発生するリスクの制御」に特化。外部攻撃を受けていなくても発生しうる「AIのうっかりミス」や「暴走」などを防ぎ、企業のガバナンスを守るという。また、導入によって、モデルの更新やエージェントの改善を行うたびに発生していたガードレールの再設定工数を削減できるとしている。

 DifyやLangGraph、OpenAI Agent SDKなど、AIエージェントを作るためのメジャーなフレームワークと組みわせて利用可能で、API連携や専用SDKを用いることで手軽に導入を始められるとしている。

「datagusto」による動的ガードレール生成と従来の静的な手法の違い

■関連サイト

合わせて読みたい編集者オススメ記事