Barry Schwartz氏が Search Engine Land でかねてから噂されていた Apple のクローラの存在が確認できたことを報じている。
Apple が公式に公開しているウェブページによると、Applebot は同社のパーソナルアシスタント Siri や 同社のコンテンツ検索技術基盤である Spotlight といった製品開発のために利用されているクローラ。通常のクローラと同様に robots.txt や robots meta tag に記述されたルールに従う。User-Agent名は次の通りだ。
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
robots.txt などに特に Applebot を指定した記述がなくとも、googlebot 向けに記述された内容に従うとのことだ。
Learn about Applebot, the web crawler for Apple
https://support.apple.com/en-us/HT204683
Apple Confirms Their Web Crawler: Applebot
http://searchengineland.com/apple-confirms-their-web-crawler-applebot-220423
#
Google や Bing のような Generic Search を開発する気はないでしょうが、文書に記載のある通り Siri や Spotlight の機能改善に必要なんでしょう。
