AIクローラーの登場で「インターネットのコンテンツエコシステムは崩壊した」
“コンテンツ無断収集”のAIクローラーをデフォルトで拒否 Cloudflareがクリエイター保護策
2025年07月04日 07時00分更新
米Cloudflareは、2025年7月1日、インターネット上のコンテンツを大量収集する「AIクローラー」のアクセスを、Webサイト側で制限可能にし、出版社やクリエイターを保護する新たな取り組みを発表した。
Cloudflareは、同日を「コンテンツ独立記念日」と銘打っている
同日より、Cloudflareを利用するWebサイト所有者は「AIクローラーにコンテンツへのアクセスを許可するか、拒否（ブロック）するか」を選択できるようになる。新規ドメインで利用開始する場合、デフォルトは「拒否」設定となり、サイト所有者が明示的に「許可」しないかぎり、AIクローラーはブロックされる。
同社はすでに2024年9月、ワンクリックでAIクローラーをブロックできる、オプトアウト型のオプションを導入。これまで100万人以上のユーザーが、このオプションを選択してきたという。今回はこの取り組みをさらに進め、AIクローラーのアクセスを“許可制（オプトイン型）”にするもの。
Cloudflareの新規ドメイン設定画面。赤枠内がAIクローラーのアクセス許可／拒否設定で、デフォルトでは「拒否」が選択されている（画像は同社ブログより）
なお、Cloudflareのブログによると、このアクセス制限は「AIトレーニング用コンテンツを大量収集するクローラー」のみが対象であり、AI検索やAIアシスタントの実行には影響を及ぼさないという。Cloudflareは、今回の方針を、「コンテンツクリエイターとAIイノベーターの両方にとって、より持続可能な未来への第一歩」と表している。
Cloudflareが計測した日間リクエスト数の比較。AIトレーニング用コンテンツを収集するクローラーのトラフィック（青色）は、AI検索（オレンジ色）やAIアシスタント（緑色）よりも圧倒的に多く、増加傾向にある（画像は同社ブログより）
従来は、検索エンジンのクローラーがコンテンツのインデックスを作成することで、元のWebサイトにはトラフィックと広告収益がもたらされ、コンテンツを制作したクリエーターも対価やフォロワーが得られていた。しかし、クローラーの受け入れが相互に価値をもたらすこうしたモデルは、「AIクローラーにより崩壊した」と、Cloudflareは指摘している。
AIクローラーは、インターネット上のコンテンツを無制限に収集し、それをAIモデルのトレーニングに用いる。このAIモデルが回答を生成するため、ユーザーはオリジナルのコンテンツにアクセスしなくなり、クリエイターから収益や、「誰かが自分のコンテンツを読んでいる」という満足感を奪う。オリジナルコンテンツを制作するインセンティブがなくなることで、「社会は損失を被ることになり、インターネットの未来が危険にさらされる」と、Cloudflareは危機感を表明している。
Cloudflareの共同創業者兼CEOであるマシュー・プリンス（Matthew Prince）氏は、「オリジナルコンテンツがあることで、インターネットは前世紀における最大の発明の1つとなりました。クリエイターがコンテンツを作り続けることが不可欠です」と述べ、「（現状では）AIクローラーは制限なしにコンテンツをスクレイピングしています。私たちの目標は、AI企業のイノベーションを支援しながらも、クリエイターの手に力を取り戻すことです」とコメントしている。
同社は2025年5月、どのクローラーを許可するかを制御するための新しい手法も公開しており、ボットやAIエージェントを識別するための標準プロトコルも開発中だという。
