ChillStack、ChatGPTなどLLMを用いたサービス開発に関するセキュリティコンサルティングサービスを提供開始！
株式会社ChillStack
AI×セキュリティ領域を専門とする株式会社ChillStack（本社：東京都渋谷区、代表取締役：伊東 道明）は、大規模言語モデル（LLM：Large Language Models）を用いたサービス開発時のセキュリティに関するコンサルティングサービスを提供開始しました。
■サービス提供の背景
今世界中でChatGPTをはじめとする大規模言語モデル（LLM：Large Language Models）が注目されており、LLMに関する様々なサービスが開発・発表されています。一方で、LLMを用いたサービス開発は既存のアプリケーションなどとは異なるセキュリティリスクが潜んでおり、システムの乗っ取りや機密情報の流出など様々な被害につながる恐れがあります。
このような背景から、AI×セキュリティに特化した株式会社ChillStackは、LLMを利用したサービス開発時のセキュリティリスクに関して、技術的な視点から支援するコンサルティングサービスの提供を開始しました。
■LLMを用いたサービス開発パターン及びセキュリティリスク例
LLMを用いたサービス開発のパターンとそれらに潜むセキュリティリスクの例として、3つのリスクパターンをご紹介します。
１.学習データの汚染に関するリスク
ゼロベースでのモデル開発や事前学習モデルのチューニングなどをするには、大規模なデータを事前に用意する必要があります。その際、大規模なデータを手作業で一つずつ作成するのはほぼ不可能なため、許可されているWebサイトをクローリングするなどの方法により自動でデータを収集することがほとんどです。その際、AIに対する攻撃手法である「Data Poisoning」に対して注意しなければなりません。
Data Poisoningは、AIの学習データの中に悪意のあるデータを混ぜ込んでおくことで、開発者が意図しない挙動をさせたり、バックドアなどを仕込む攻撃です。
自動で収集した大規模なデータセットを用いる際、一つひとつ詳細にデータをチェックすることは難しく、データセットの中に悪意のあるデータが混ざっていてもなかなか気づくことができずに開発が進んでしまう懸念があります。
この攻撃に対する対策として、何かしらの手段で不審なデータをデータセットから取り除くことが大切です。例えばクローリングする対象を信頼できるWebサイトにすることや、データの中に不審なデータが混ざっていないかを統計的に検査することなどが挙げられます。 データセットの規模や目的によって対策の難易度が高い場合もあり、その場合は専門家へ相談することをお勧めします。
参考文献：
Poisoning Web-Scale Training Datasets is Practical：https://arxiv.org/abs/2302.10149v1
A Taxonomy and Terminology of Adversarial Machine Learning：https://nvlpubs.nist.gov/nistpubs/ir/2019/NIST.IR.8269-draft.pdf
AIディフェンス研究所 第3回 ～ AIを乗っ取る攻撃 – 学習データ汚染 - ～ ：https://jpsec.ai/attack-to-hijack-ai/
２.悪意のあるモデルによる任意コード実行のリスク
手元で動かせるLLMが次々と発表されていて、目的によっては自社システム内部に公開されているモデルを組み込み動作させることが現実的になりつつあります。
モデルは様々な形式で配布されていますが、使用上モデルの中に任意の実行コードを埋め込むことが可能なケースがあり、もしも配布されているモデル内に悪意のあるコードが埋め込まれていた場合、読み込みや推論などをトリガーに悪意のあるコードが実行されてしまう恐れがあります。
このリスクを避けるためには、使用するモデルの開発元や発行元などを確認し、信頼できるかを確認する必要があります。また、外部からダウンロードしたモデルは原則サンドボックス環境にて内容と動作を確認してから使用するなど、セキュリティ性の高い開発体制を築くことも有効です。
参考文献：
Security Risks in Deep Learning Implementations：https://ieeexplore.ieee.org/document/8424643
AIディフェンス研究所 第6話 ～AIシステムへの侵入 – 機械学習フレームワークの悪用 -～：https://jpsec.ai/6th-framework-rce/
３.機密情報の漏えいリスク
開発だけにとどまらず、LLMを用いたサービスを利用する際に気をつけなければならないリスクの一例として、機密情報の漏えいリスクがあります。
例えば外部のサービスをバックグラウンドで利用している場合、ケースによっては外部サービスへ送信した内容がモデルの学習に使われる可能性があります。
チャットサービスであれば、AIがチャットを通じて学習データ内にある機密情報を第三者へ伝達してしまう恐れがあります。
利用する外部サービスの利用規約をアップデート毎にきちんと確認することはもちろん、自社サービスの利用者が機密情報を送信しないよう制限をかけるなどのリスク対策を検討する必要があります。
参考文献：
Korean companies scramble to issue guidelines for ChatGPT over data leak fears：https://www.koreatimes.co.kr/www/tech/2023/04/133_348342.html
3.1% of workers have pasted confidential company data into ChatGPT：https://www.cyberhaven.com/blog/4-2-of-workers-have-pasted-company-data-into-chatgpt/
■LLMに関するセキュリティコンサルティングについて
LLMを用いたサービス開発時に注意すべきセキュリティリスクは、上記で紹介した3つ以外にも事前学習モデル汚染など様々なものが存在します。
LLMに限らずAI・機械学習技術を用いたサービス開発では、通常のWebアプリなどとは異なるセキュリティリスクが潜んでいるため、各々のリスクを正しく理解し、対処することが必要です。
ChillStackは日本で数少ないAIの品質に関する研究を行うエンジニア集団の会社です。AIの安全を確保する技術の普及を目的とし、人材開発やトレーニングなども提供しており、本件についても専門家が初期的アドバイスを実施します。
今回のLLMに関するセキュリティコンサルティングでは、NDAを締結した上でお客様の状況をヒアリングし、注意すべきセキュリティリスクや必要な対策について技術的な側面を中心にサポートいたします。
お問い合わせは下記URLからお願いいたします。
https://chillstack.com/#contact
■株式会社ChillStackについて
ChillStackは「自分たちが誇りに思える「AI × セキュリティ」ソリューションを創造し、企業が安心して前進できる社会を共創する。」というMission&Visionの元、時系列の異常検知AIとホワイトハッカーの技術で、経営資源を脅威から守り安心できるサービスを提供しています。
【会社概要】
所在地 ：東京都渋谷区代々木一丁目54番4号 YS2ビル 3F
創業 ：2018年11月
代表取締役：伊東 道明
事業内容 ：
・個人立替経費における不正・不備検知AIシステム「Stena Expense」の開発・提供
（https://expense.stena.chillstack.com）
・ゲームにおける不正ユーザー検知AIシステム「Stena Game」の開発・提供
（https://stena.chillstack.com）
・アプリやプラットフォーム、ゲーム、その他ブロックチェーン等に対するセキュリティ診断事業
（https://pentest.chillstack.com）