【速報版】スマホ向けUA Googlebot-Mobile が廃止- Google、スマホクローラのUser-Agentを再整理

2014年01月23日　23時38分更新

ツイートする

米Googleは2014年1月23日、ウェブを巡回するクローラの User-Agent を整理してウェブマスターが制御しやすいように改めることを公式ブログで発表した。従来、スマホ向けクローラと呼ばれていた"Googlebot-Mobile" for smartphones が『引退』し、通常クローラの User-Agent 同様に "Googlebot" に変更される。

スマホ向け Googlebot User-Agent 文字列を変更

今回の変更は3～4週間以内に実施される。標準 Googlebot（パソコン向け Googlebot）もスマホ向け Googlebot も User-Agent は "Googlebot"になるが、文字列の中に Mobile という表記だけ残す。

具体的には、次のような User-Agent に改められる。

【新しいスマホ向けのGooglebot User-Agent】Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

廃止となる User-Agent は次の通り。

【利用が中止される User-Agent】Mozilla/5.0 (iPhone; CPU iPhone OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/6.0 Mobile/10A5376e Safari/8536.25 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

変更になるのはスマホ向け Googlebot の User-Agent 名称だけであり、標準 defalt Googlebot に変更はない。また、Googlebot-Mobile は従来型携帯電話向けウェブページのクローラとして引き続き利用される。

変更理由は「ウェブマスターに混乱を招いたため」

Google は今回の変更に至った経緯について次のように説明している。

従来型携帯電話とスマートフォンは全く異なる端末性能を有しており、従ってそれぞれの端末向けに最適化されたウェブページを適切にクロールする必要がある。同社はこれまで従来型携帯向けとスマホ向けページをそれぞれ異なるクローラを用いてインデックスしてきたが、どちらのクローラも Googlebot-Mobile という User-Agent を使ってきた。

この結果、本来はウェブマスターが従来型携帯電話向け Googlebot-Mobile だけをブロックする意図で設定したにもかかわらず、実際にはスマホ向け Googlebot-Mobile をブロックしてしまうといった事例が挙がってきたという。"Googlebot-Mobile"の曖昧さが原因で、Google がスマホ向けサイトを適切に登録したり、クロールしたサイトがスマホ向けに最適化されていると判断することが不可能になってしまったという。

こうした問題を解決するために、スマホ向けクローラを標準クローラと同様に Googlebot に統一すると共に（端末性能が劣る）従来型携帯電話向けのクローラと明確に区別することにより、ウェブマスターが意図した通りにクローラの制御を行えるようにする狙いがある。