フランスの動画共有サービス・Dailymotion（デイリーモーション）が、アクセス元のUser-Agent（以下、UA）に基づいて、Google と訪問者(人）に異なるコンテンツを配信する、いわゆるクローキングを実施していた模様だ。ユーザーからの報告を受けて同社は調査を開始、技術的なバグがあったことを認め、現在は問題が解消されている。
事の発端は、Google Webmaster Help に投稿されたユーザーの不満だった。同ユーザーは、Dailymotionから動画を削除したにもかかわらず Google が継続して検索結果にその動画を表示し続けていることにいらだちを示していた。同フォーラムの常連であるGoogleのエンジニア・John Muller氏が調査したところ、DailymotionはUAを判定して、一般的なユーザーが訪問した場合は動画が削除された旨を伝えるメッセージが表示されるのに、googlebot が訪問した場合は動画を表示していることが判明した。
Hi Cedric85 It looks like these URLs are returning a 410 ("Gone") HTTP result code to users but 200 ("OK") to Googlebot. That would make it very hard to use the public URL removal tools, since the website is essentially telling us that the pages still exist. My recommendation would be to contact the webmaster of that website to have them submit the removal request for you (they can do this regardless of the actual HTTP result code. Additionally, perhaps you can encourage them to serve the correct HTTP result code to Googlebot. Should they have any questions, feel free to point them to this thread. In the meantime, I'll also see if we can expedite your request despite this invalid response code. Cheers John [When will this be taken care of please? (Denied request of removal concerning inappropriate content)]
しかしDailymotionの対応は早かった。このスレッドを発見した同社社員Renan Guichardによると、サーバに技術的なバグがあった模様で、すでに問題を解消、正常にサーバがステータスコード410（完全に消滅した）を返すよう修正されている。
#
ユーザーには「この動画は削除されました」と表示しており、Dailymotionにメリットがないことから故意にクローキングを実施したとは考えがたいので本当に技術的な不具合だったのでしょう。
