新清士の「メタバース・プレゼンス」 第106回

ChatGPTと性的なチャットができるようになり、すぐに禁じられた背景

「性的ロールプレイ」停止で猛反発のサービスも

　なぜ、OpenAIはこのような戦略を採ったのか。大きな理由は、実際に高いユーザーニーズがあり、また、他社との競合関係を意識し始めているからと考えられます。

　2024年7月にマサチューセッツ工科大学（MIT）が実施した、ChatGPTの利用者の100万件の実利用ログを使った調査で、興味深いことが明らかになりました。ユーザーの利用を分析すると、「性的コンテンツ」として使っているのが全体の12%で、利用カテゴリーのうち第2位という結果でした。ところが、ChatGPTが学習データとして使っているものの中で、性的・暴力的表現は1%以下でほぼ含まれておらず、LLMの訓練データと実利用のミスマッチが起きていることが可視化されたのです。ユーザーは機能が不十分であっても性的コンテンツの生成を強く求めていた一方、学習データにはそういうデータが多く含まれていなかったわけです。

「Consent in Crisis:The Rapid Decline of the AI Data Commons」より（注1）。チャート右側はデータセット構成していると思われるサービスのカテゴリー、ニュースや百科事典といったもので50%以上が構成されている。チャート左側は、100万件のユーザーログの分類。1位はクリエイティブ目的の利用だが、2位が性的コンテンツ。ニュースは1%以下

　過去には、性的ロールプレイの有無が、実際にユーザーの評価に大きく影響したケースも出てきています。

　人格AIとの親密な関係性を売りとするサービスとして、「感情に寄り添うAIコンパニオン」というコンセプトの2017年創業の米国のスタートアップ「Replika（レプリカ）」があります。現在では3000万人ユーザーを抱えるまでに成長していると推計されており、月額課金方式のAIチャットサービスで大きく成功している一社です。よく使われているユースケースに「恋愛モード」があり、恋人やさらには結婚生活のロールプレイができて、それが支持される理由の一つになっていました。

　ところが、2023年2月に、Replikaは「性的ロールプレイ」を停止させたことで、ユーザーからの大きな反発を受けるという事件に遭遇しています。これは、イタリアの個人情報保護機関が「年齢確認の欠如で未成年に不適切コンテンツが届く危険」を理由に20万ユーロの罰金を課すとの警告を受けての対応でした。ところがユーザーからの反発は激しく、Redditでは抗議投稿が約30倍へ急増、「（AIの）妻と結婚していたのに『人格が壊れた』」といった批判するユーザーの様子がロイターに報道されたりしました。実際に、他のサービスへのユーザー流出が起きたと言われます。

　ワイオミング大学の研究（注２）では、この時のRedditを分析し「Replikaの性的ロールプレイを削除することは、（ゲームの）『グランド・セフト・オート』から銃や車を奪うようなもの」という研究を発表しました。ユーザーは「性的ロールプレイは関係維持の必須要素」として捉えていたことを明らかにしています。

「Replika」の画面。アバター対応がされており、服を買ったり、部屋を作ったりすることができる。日本語の対応は限定的