米Google は2018年7月25日、一般公開されていた URL登録ツールを廃止したことを公式Twitterアカウントで明らかにした。今後は、Google Search Console (GSC) 内で用意しているツールを利用してほしいとしている。
URL登録フォームとは
検索エンジンはWebページ収集用のソフトウェア（クローラ）を利用してインターネットのウェブページを集めてインデックス（索引）を作成している。このクローラは様々な要因を加味して新たに公開されたページや更新されたページもできるだけ早く再クロールするように努めている。 URL登録フォームは、急ぎでページをクロールしてほしいときに利用するものだ。
Google は GSC 内で同機能を提供していたが、GSCにログインする必要がある。一般公開されたURL登録ツールは誰でも利用できるものだった。今回はその一般公開版を廃止することになった。Google に URLを送信したい場合は引き続き GSC 内のツールを利用できる。
一般公開のURL登録フォームは必要か？
以下、”わかる人にはわかる”事情を紹介しながら、URL登録ツールが生まれた背景とそれが衰退した理由を解説をする。もともと1990年代のインターネット検索エンジンは、現在のそれと比べるとインデックスのカバレッジは非常に小さなものでありクロール周期もとても遅いものだった。
たとえば当時の検索エンジンは、数百万URLをインデックスしたこと自体がニュースとして発表できるものであったし、当時の Altavista や AlltheWeb、Google といったアルゴリズム型（ロボット型）検索エンジンは検索窓の下にインデックス数を表示していた（2000年代前半に皆廃止）。また Google 登場当時のクローリングはおよそ30～60日周期であり、その間は一切インデックスは更新されない。つまり今日起きたニュースが検索可能になるのは1～2か月先という状況だった。
以上のような事情から、ページの更新や新しいページをクロールしてもらいたいときには都度、サイト運営者がURL登録ツールを利用して送信する必要があった。大規模サイトの運営者にニーズに応えるために Inktomi (Yahoo! US) や AlltheWeb は有料の URL登録（PFI = Paid for Inclusion）を提供した時期もある。日本では goo が検索エンジンを Google に切り替える前の1年間ほど PFI を導入した。
当時の検索技術の限界と制約から生まれた URL登録ツールであるが、皆がまっとうな理由で利用していたかというと、そうでもない。昔、FAST が運営していた AlltheWeb（のちに Overture が買収し、それを Yahoo! US が買収）の検索技術担当者と話をしたときに聞いたのだが、同社のURL登録ツールから送信される URL のうち95%以上はスパムURLだったという。このため同社は URL登録フォームを廃止してしまったのだが、同様の話は他の検索会社の方々からも耳にしたので、大半はスパマーに悪用されていたのだろう。
結局、2000年代に入るとクローラ技術が向上し、ユーザーからの URL送信に頼らずとも幅広くウェブページを高速に収集できるようになったことで、URL登録ツールの必要性は大きく低下していた。当時生存していた Ask Jeeves や MSN Search（現Bing）、Yahoo! も URL登録ツール自体はサイトに残していたが、利用が推奨されるものではなくなった。少なくとも SEO業界側からは推奨事項として言及される機会はほとんどなくなった。
今回、Google が一般公開の URL登録ツールを廃止する理由は明らかにしていないが、きっと上記のようなスパム関連の問題が絡んでいるのではないかと考える。そもそも「まだそんな機能があったんだ」という感じた人も多いのではないだろうか。
Want to let us know about new or updated pages quickly? Use Search Console's Fetch & Submit for individual pages, or just have your CMS tell us directly with a sitemap file or feed. Find out more: https://t.co/bl0wECQCNY
— Google Webmasters (@googlewmc) 2018年7月25日
