新清士の「メタバース・プレゼンス」 第106回

ChatGPTと性的なチャットができるようになり、すぐに禁じられた背景

未成年者保護のため性的チャットを禁じたOpenAI

　こうした理由から、OpenAIはある時期から、性的ロールプレイを組み入れることが、ユーザーのエンゲージメントを向上させるのに有効であり、また、他のチャットAIサービスとの競争の中で優位性を維持するためには必須の要素だと考えるようになったと思われます。そのための「大人モード」の実装だったのでしょう。

　ところが4oのアップデート後に、深刻な問題が浮かび上がりました。4月28日に米TechCrunchが「OpenAIは、未成年者がエロティックな会話を生成できる不具合を修正中」と報じました。これは架空の13歳から17歳のアカウントを作成し、それで性的なチャットができるかということを検証していました。OpenAIは性的なコンテンツは18歳以上でなければ生成できないというポリシーを設定していますが、実際には何の制限もなく生成できてしまったのです。

　これは、16歳未満へのわいせつ物送信を禁止する米連邦わいせつ物送信罪や、18歳未満を対象とした米児童ポルノ防止法に当たる可能性があったようです。さらにはアップル「App Store」のポリシーにも抵触する可能性があり、アプリが削除対象となることもありえました。こうした事情から、OpenAIはロールバックを迅速に決定し、性的ロールプレイの許容範囲をアップデート以前にまで急いで戻さざるを得なかったと考えられます。

　当然のことながら、ロールバックされた後には、大人モードを気に入っていた人たちからは、多くの不満が出ています。Redditに現在のOpenAIの性的ロールプレイについて運営姿勢を批判する長文の文章を書いたBeltWise6701氏は、未成年者の保護の重要性を認めつつ、成人を確認するシステムの必要性を訴えています。その上で、以下のように書いています。

　「ロマンチックな物語や感情的に親密な物語には、興奮や衝撃を与えるためではなく、つながり、脆弱性、信頼、成長を探求するために性的な内容が含まれることが多い。（略）愛、癒し尊敬に根ざしつつも、肉体的な親密さを伴うシーンがあり得る。これらは搾取的なシーンではない。 表現豊かで、個人的で、意味のあるシーンなのだ。包括的検閲は私たちを失望させる。それはすべての性的なコンテンツを本質的に危険なものとして扱うため、多くのフィクションの瞬間の感情的な重みや文学的な価値を消し去り、客観化とエンパワーメントの区別がつかない」（Redditの投稿を翻訳 )

Redditに投稿された長文のOpenAIへの批判記事