|
File Not Found な状況なのに ステータスコード 200 に乗せて、「ファイルがみつかりません」ということを Google では クリプト 404 "Crypto-404" と呼んでいるのだそうです。
Web ホスティングサービスの設定によっては、クリプト 404 にならざるを得ない場合もあるのですが、そうした場合どうなってしまうのでしょうか・・・？
クリプト 404 とは？
URL によって指定されたリソースが存在しない場合、Web サーバーは通常は 404 を返します。特に、今後も利用不可であることが既知である場合は 410 が望ましい Web サーバーの動きです。
ところが Web サーバーの設定によってはページが見つからない場合に、 "200 OK" というステータスコードを返し、返したページの内容に "Page Not Found (ページが見つかりません) などと書く場合もあります。
当然ながら実質的な 404 ページをインデックスされるのは望ましいことではありません。
Google はクリプト 404 をほぼ判別できる
人がみれば、 ページが見つからなかった、ということは直ちにわかりますが、 Google のクローラはそうした場合にどのように判定するのでしょうか。
Google では、実質的に 404 "Page Not Found" の場合に、サーバーのステータスコード 200 を返す場合を クリプト 404 (crypto-404) と呼んでいます。クローラが取得したページを解析する時には、クリプト 404 の判定ロジックがあり、たいていの場合は適切に Page Not Found であることを検出できているそうです。
私の経験ではホスティングサービスを利用する場合、（当然ながら） 既定で File Not Found は 404 として返るのが普通ですが、カスタムエラーページを設定する場合には 200 を返してしまうサービスも少なくないようです。
このため、私はエラーページを設定した後には、正しく 404 が返るかどうか HTTP のステータスをチェックするようにしていましたが、 Google に対してはあまり神経質になる必要はなさそうですね。・・・もちろん、いうまでもなく、404 を設定できる場合にはそうするべきですが。 |