米Googleのウェブマスター向け公式ブログ「Webmaster Central Blog」にて、ウェブマスタートレンドアナリスト・Susan Moskwa氏がサイトのクロール時に発見した404 Not Foundエラーがサイトにどのように影響するかについて解説している。
ウェブマスター向けの無料ツール・Googleウェブマスターツールの「クロールエラー」レポートを見ると、ページが見つからなかったことを表す404 Not Found が多数表示されているケースもあるだろう。こうしたエラーは、サイトの検索エンジン掲載状況にどう影響するのだろうか。
（私の補則解説は、注 に記載）
Q) ウェブマスターツールの404エラーレポートは、サイトの検索ランキングに影響するか？
A) 、404エラーはサイトの検索ランキングには影響しない。インターネットは絶えず変化しており、新しいコンテンツが生まれている一方で、古きコンテンツは消滅している。検索エンジンはこうしたウェブの特性や事情を理解しているし、事実、世界中のあちこちで404エラーを見かけているのだ。ただ、もしコンテンツをサイトから削除した場合は、ソフト404エラーではなく、ハード404エラー - 404または410エラーのレスポンスコードを返すようにサーバを設定してほしいとしている。
Q) つまり、404エラーはサイトに全く害がないと？
A) 先に述べた通り404エラーの存在自体が検索ランキングに不利な影響を与えることはないが、その404エラーが発生する原因によって対処した方が良い場合もある。たとえば、誰かがあなたのサイトにリンクを張っているのにそのURLの記述を間違えているケースだ。この時、クローラはそのサイトに貼られたリンクを巡回して、（URLが間違っているから）404エラーと遭遇するわけだが、もしウェブマスターがその間違ったURLを正しいURLに301リダイレクトする設定を行えば、そのリンクのトラフィックを得ることもできるし、クローラも正しいURLにアクセスすることができる（注 被リンクとしてサイト評価に加えてもらうことも可能だ）。あるいは、404エラーページを出すときに単に404を表示するのではなく、404ページをカスタマイズして、関連性のあるコンテンツへのリンクを提示する、サイト内検索ボックスを表示するといったアプローチも考えられるだろう。
Q) ソフト404エラーとは？
ソフト404とは、存在しないページにアクセスした時に、サーバのHTTPレスポンスコード404または410以外を返す（たとえば200）ことを指す。たとえば、(1) エラーページをカスタマイズしてたくさんのリンクや検索ボックスを表示する時に、そのページをレスポンスコード200で返すように設定しているケース、(2) あらゆる存在しないURLへのアクセスをサイトのトップページにリダイレクトしているケース、などが考えられる。
こうした誤った処理は、サイトのインデクシングに悪影響が出る可能性があるため、存在しないコンテンツへのアクセスは（他に移転しているのでなければ）404エラーを返すように設定を確認してほしいとのことだ。(1) については、先に述べた通り404エラーに何のコンテンツを掲載しても構わないが、存在しないページに対して表示するなら404/410を返すことだ。
（注 カスタム404エラーページをHTTPレスポンスコード200で返すと、エラーが発生しているURL分だけ、同一・類似したコンテンツを多数表示していることになるため。また、あらゆる存在しないURLを特定ページ（たとえばサイトのトップページ）にリダイレクトしてしまうと、同様にそのエラー発生のURL数分だけトップページが存在してしまうことになるため、サイト全体が正常にインデックスされなくなる場合がある）
Q) レスポンスコード404、301、410の使い分けはどうしたらいいか？
A) サイトからあるコンテンツ（URL）を削除した時、もしそれを他のURLに移転させたのであれば301リダイレクトを選ぶ。もしコンテンツを永久的に削除し、かつ関連するコンテンツもないのであれば、404または410コードを選ぶ。なお、Googleはコード410を404と同等に扱っている。
Q) レポートの404エラーが覚えのない、奇妙なURLばっかりなんだけど、なぜなんだ？
A) Googleはインターネットのどこかで発見したリンクは、そのリンク先に実際にコンテンツがあるかどうかにかかわらず、クロールを試みている。もしそのリンク先にページが存在しなければ、サーバには404 Not Found の記録が残るはずだ。
全く覚えのないリンクというのは、次のような原因によって発生しうる。
(1) 誰かがあなたのサイトにリンクを張るときに、URL記述をミスった
(2) コンテンツ管理システム（CMS）の設定の誤りにより、存在しないページへのリンクが自動生成されている
(3) Googleが FlashやJavaScriptなどのファイル内のリンク巡回を試みた
(4) Googleがあなたのサイトの不明なURLへのアクセスをどう処理しているかを確認する目的で存在しないURLにアクセス
もしウェブマスターツールのクロールエラーのレポートで、あなたが知らない、404エラーページがあればそれは無視して構わない。Googleとしては、どのURLのエラーが皆にとって重要であるかを判断することはできないので、確認できたすべての404エラーページをレポート表示することにしている。
Q) 先日、404エラーページを修正したけどレポート画面にまだ表示されているよ
A) もしクロールエラーの発生日時が、あなたが修正を行った日より前の日付であれば、その日以降はエラーに遭遇していないことを示している。もし、あなたが修正を行った日より後の日付であれば、まだgooglebotはエラーに遭遇していることを示している。
Q) 誰かが私のサイトを勝手にスクレイピングして、大量のエラーが発生しているよ。これは私のサイトの検索順位に影響しないかい？
A) サイトをスクレイピングした人によって、サイトオーナーが管理不能な事態が起きうることをGoogleは理解している。こうした問題が、サイトの検索順位に悪い影響を及ぼすことはない。
Do 404s hurt my site? (Google Webmaster Blogs)
http://googlewebmastercentral.blogspot.com/2011/05/do-404s-hurt-my-site.html
