東京大学の研究チームは、生成AI技術を用いて、画像の「生成的コンテンツ置換（Generative Content Replacement：GCR）」を実行するシステムを開発。画像が含むプライバシーに関連する情報を秘匿化しつつ、画像の見た目や内容を維持することを可能にした。
東京大学の研究チームは、生成AI技術を用いて、画像の「生成的コンテンツ置換（Generative Content Replacement：GCR）」を実行するシステムを開発。画像が含むプライバシーに関連する情報を秘匿化しつつ、画像の見た目や内容を維持することを可能にした。 今回開発した手法では、ユーザーが加工したい画像をシステムにアップロードすると、システムは、画像からキャプションを生成するAIモデル「BLIP-2」を用いて、その画像を説明するテキストを生成する。さらに、「DIPA」と呼ばれる研究チーム独自のデータセットで提供されているマスク情報を用いて、画像内のプライバシーに関連する部分を抽出し、その部分の内容を表現するようなテキストをBLIP-2で生成する。 次に、この2つのテキストを、スタビリティAI（Stability.AI）が開発したテキスト-画像生成AIモデル「ステーブル・デフュージョン（Stable Diffusion）」に入力し、画像内のプライバシーに関連する部分に類似した代替画像を生成。この画像を元画像上に配置することで、コンテンツの置換を実行する仕組みである。 画像にモザイクやぼかしをかける従来の秘匿化手法は、手間がかかるうえ、しばしば秘匿が不十分で、画像の見た目や統一感を損なうという問題がある。今回の手法は、プライバシー保護と視覚的美しさのバランスを実現できるため、SNSでの画像共有やプレゼンテーション、ビジュアルデザインへの応用が期待されるという。（中條）
