インデックスされないってお悩みのあなた
以下のことを解説します
- インデックスまでのステップと仕組み
- ページがインデックスされない理由
- ステータス別の対処法と改善策
インデックスされないというのは、SEOをやっていく上でかなりの痛手です。
検索上位を目指して日々ブログを書いているというのに、検索結果に全く表示されないというのではモチベーションを保てませんよね。かくいう私もインデックス未登録に悩み、ひたすら検証・調査を行ってきました。
そこで今回は、インデックスされない理由の探り方と原因別の対処法を紹介します。記事が全然インデックスされないという方は、ぜひ参考にしてください。
インデックスとは
まず前提として、インデックス(index)とは検索エンジンが持つデータベースへ登録されることです。
ユーザーが検索を行うと、検索エンジンは膨大なデータベースの中から適した結果(ページや画像など)を返します。そのため、インデックスは検索結果に表示されるための大事なプロセスということになります。
例えるなら、インデックスは大きな図書館に本を置いてもらう行為です。図書館職員は利用者のニーズに合わせて最適な本を紹介します。
もちろん、本(コンテンツ)が面白くなければ利用者に勧められることはなく、読める状態でないなら図書館に置いてもらうことすらできません。
インデックスとクロールの関係
インデックスは、「クローラー」と呼ばれるサイトの巡回・情報収集を行うbotが行います。
そして、ページ(記事)が公開されてからインデックスされるまでには、クローラーによる検出と巡回(クロール)を経る必要があります。
当然、クローラーがページを発見できなかったり、ページにアクセスできないとインデックスはされません。また、クローラーがページにアクセスしてこない場合も同様です。
この仕組みはSEOと付き合っていく上でとても大切なことなので、必ず覚えておきましょう。
インデックスの必須条件
以上より、インデックスされるための条件が2つあることが分かるかと思います。
- ユーザーに勧めるに値する良質なコンテンツであること
- クローラーがページにアクセスできること
これらはインデックスのための必須条件です。このどちらかが欠けていると、永遠にインデックスされることはありません。
インデックスされない理由を探る
先ほども述べた通り、インデックスされない理由は低品質コンテンツとクロールの失敗によるものがほとんどです。しかし、さらに突き詰めれば、metaタグやサイトマップの記述、サーバーなど、様々な要因が考えられます。
そこで、まずはインデックスされない理由がどこにあるかを、Search Consoleを使って調べていきましょう。
URL検査でステータスを確認する
ページのインデックス状況を把握するには、Search Consoleの「カバレッジのステータス」が一番のヒントになります。
カバレッジのステータスは、Search Consoleで画面上部の「URL検査ツール」にURLを打ち込むことで確認できます。
検査すると以下のような画面が表示されます。この”カバレッジ”の隣に表記されている”ページにリダイレクトがあります”の部分がステータスに当たります。
カバレッジレポートは更新が遅い
ちなみに、カバレッジレポートからステータスと該当URLを一覧で確認することもできます。
しかし、カバレッジレポートはリアルタイムの情報ではなく、数日に一度ぐらいしか更新されません。そのため、現在のステータスとは異なる場合もあり、実際はインデックスされていたということもしばしばあります。
ですので、ざっと確認するときはカバレッジレポート、正確に状況を把握する際はURL検査ツール、といった具合に使い分けるのがオススメです。
各ステータスの意味と原因
ステータスが分かったところで、そのステータスの内容を確認していきましょう。
ステータスは大きく分けて4つのステータスタイプに分類されます。
- エラー：システム(メタ)的な問題がありインデックスされていない
- 有効(警告あり)：インデックスはされたが、何らかの問題がある
- 有効：問題なくインデックスされている
- 除外：インデックスしない方がいいと判断された、もしくは判断待ち
ここからはSearch Consoleヘルプの情報にもとづき、タイプ毎にステータスの意味を紹介していきます。自分の該当するステータスを確認しましょう。
エラー
「エラー」は、何らかの問題があってインデックスを完遂できなかったという状態です。
インデックス登録をリクエストしたページやサイトマップに記載されたページに対して、クローラーがアクセスできなかった場合に発生します。
| ステータス | 主な原因 |
|---|---|
| サーバーエラー（5xx） | サーバーの移転作業、サーバーの過負荷などでアクセスに失敗した。または、記事の下書き(プレビュー)を送信した。 |
| リダイレクトエラー | ページのリダイレクトに失敗している。 リダイレクト処理の記述が間違っていることも。 |
| 送信されたURLがrobots.txtによってブロックされました | robots.txtにクローラーを拒否する記述があるページを送信した。 |
| 送信されたURLにnoindexが追加されています | noindexが付与されたページを送信した。もしくは、インデックスしたくないページがサイトマップに記述されている。 |
| 送信されたURLはソフト404エラーのようです | 404以外のステータスのページを送信した。 .htaccessの記述ミスなど。 |
| 送信されたURLが未認可のリクエスト(401)を返しました | ログインしないとアクセスできないページを送信してしている。 |
| 送信されたURLが見つかりませんでした(404) | 送信されたページが削除されていた。もしくは、クロール時に非公開になっていた。 |
| 送信されたURLが403を返しました | 特定のIPからしかアクセスできないページを送信した。 |
| 他の 4xx の問題が原因で、送信された URL がブロックされました | その他の理由でクローラーがアクセスできないページを送信した。 |
※「送信」はインデックスの登録リクエストのことをいいます
有効(警告あり)
「有効(警告あり)」は、インデックスはされたが問題があるという場合のステータスです。緊急性はないものの、早めの対処が求められます。
| ステータス | 主な原因 |
|---|---|
| robots.txt によりブロックされましたが、インデックスに登録しました | robots.txtでクロールを禁止にしているページが、何らかの理由でクロール(インデックス)できてしまった。 |
| インデックス登録済みページ(コンテンツなし) | クロール時にコンテンツの中身を読み取れなかった。 ユーザーとクローラー相手に別々のコンテンツを表示している。 |
有効
「有効」は正常にインデックスされた状態を表すステータスです。
インデックスを外したい場合を除けば、何も対処する必要はありません。
| ステータス | 主な原因 |
|---|---|
| 送信して登録されました | 正常にクロールとインデックスが完了した。 |
| インデックス登録されましたが、サイトマップに送信していません | インデックスされたが、送信済みのサイトマップからは見つけられなかった。 |
除外
「除外」は、エラーではないがインデックスはしていないという状態です。
意図的にインデックスを禁止しているページもここに含まれるため、全てに対処が必要な訳ではありません。
| ステータス | 主な原因 |
|---|---|
| noindexによって除外されました | 正常にnoindexタグが機能しており、インデックスされていない。 |
| ページ削除ツールによりブロックされました | URL削除リクエストにより、正常にインデックスが外れている。 |
| robots.txtによりブロックされました | robots.txtの記述により、クローラーのアクセスを禁止している。 |
| 未承認のリクエスト（401）が原因でブロックされました | 特定のユーザーしかアクセスできないようにしている。 |
| 送信されたURLはソフト404エラーのようです | 存在しないページが404以外のステータスになっている。 .htaccessの記述ミスなど。 |
| クロール済み – インデックス未登録 | コンテンツ内容がインデックスの基準を満たしていない。もしくは、現在インデックスへの登録中である。 |
| 検出 – インデックス未登録 | クローラーがページの存在を把握しているが、まだクロールされていない。 |
| 代替ページ（適切な canonical タグあり | canonicalタグによって他のページを正規ページに指定している。 |
| 重複しています。ユーザーにより、正規ページとして選択されていません | 同じ内容のページが存在するが、canonicalタグで正規ページが指定されていない。 |
| 重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました | canonicalタグを無視して、他のページを正規ページと判断した。 |
| 見つかりませんでした（404） | 既にページが削除済みである |
| ページにリダイレクトがあります | 他のページにリダイレクトしている。 |
| ソフト404 | 存在しないページに404以外のステータスコードが指定されている。 |
| 重複しています。送信された URL が正規 URL として選択されていません | canonicalタグで指定した正規ページ以外を送信した。 |
| アクセスが許可されていないため、ブロックされました（403） | 特定のIPからしかアクセスできないように設定している。 |
| その他の 4xx の問題が原因でブロックされました | その他のサーバーエラーにより、クロールがアクセスできなかった。 |
たくさんある「重複しています。～」のステータスは、同じサイト内のページを複製した際などに発生するものであり、パクリとはまた別の問題です。
例外ステータス
正確にはステータスではありませんが、例外的に「URLがGoogleに認識されていません」と表示されることもあります。
これはサイトマップに記述がない、内部リンクがない、などの理由でクローラーが発見(検出)できていない状態です。まずは発見してもらう必要があるので、インデックス登録のリクエストを行いましょう。
インデックスされない時の対処法
原因を突き止めたら、ステータスに合わせて対処していきましょう。
- クロール済み – インデックス未登録：コンテンツを修正する
- 検出 – インデックス未登録：クローラビリティの向上
- 重複しています。：canonicalタグの使用、リダイレクトやページの統合
- その他のステータス：システム面の対処、クローラーの制御
「クロール済み – インデックス未登録」の対処法
「クロール済み – インデックス未登録」は、クロールが正常に行われた結果、インデックスされなかったという状態です。つまり、システム面に問題はなく、コンテンツ内容に問題があると考えられます。(ラグなどの例外あり)
だとすれば、対処法はコンテンツの修正(リライト)しかありません。
しかし、やみくもに修正をしても徒労に終わる可能性があります。インデックスの基準を満たすためには、品質ガイドラインに沿って以下の要素を意識して修正を行いましょう。
- 独自性がある
- 十分な情報量がある
- タイトルと中身が一致している
そして、上記の要素全てを満たすために、キーワードに沿った情報量を増やしましょう。身も蓋もないことを言えば、ボリュームがある記事はインデックスされます。（もちろん、自動生成は論外ですが）
特にサイドバーやフッターがあるブログは、情報量が少ないほど重複率が上がり、独自性(オリジナリティ)が失われます。これを回避するためにも、十分な文字数を書くようにしましょう。
さらに詳しく知りたい方は、こちらの記事を参考にしてください。あわせて読みたい
Search Consoleで「クロール済み-インデックス未登録」と表示される原因と解決法「クロール済み-インデックス未登録」が出た時はとにかくリライト！ そう思っていませんか？ 本当の原因は他にあるかもしれません。また、やみくもなリライトは時間の無駄になっていしまいます。ポイントを抑えた改善でサーチコンソールの汚点を消去しましょう！
「検出 – インデックス未登録」の対処法
「検出 – インデックス未登録」はクロールが来ていないという状態です。
そのため、クローラビリティを向上させることが、最も効果的な対処法となります。不必要なクロールを削り、絶対的なクロール数を増やすようにしましょう。
※クローラビリティ：クロールのしやすさ、クローラーに優しい設計
具体的には、以下のような施策が有効です。
- 不要なページを削除・noindexにする
- 内部リンクを貼り、巡回しやすいサイト設計を行う
- 被リンクを獲得してクロールの絶対数を増やす
上記に加えて、URLの変更やIndexing APIの使用(悪用)も効果がありますが、あくまで一時しのぎの対処法に過ぎません。クローラーの回りやすいサイトを設計することこそが、根本的な解決につながります。
また、2021年現在はクロールが来なくて悩む人は多くいます。あまり気に病まず、やることをやったらどっしりと構えてクロールを待ちましょう。
「検出 – インデックス未登録」についてはこちらで詳しく解説しています。あわせてご覧ください。あわせて読みたい
「検出-インデックス未登録」が頻出する時の対処法サーチコンソールで「検出-インデックス未登録」のページが増えて悩んでいる、そんな方は必見！ あなたは誤解しているかもしれません。本当の理由はクロールが遅いからです。 本当の原因を理解して対処できるように、検証結果も交えて知りうる限りの情報を公開します！
「重複しています。」の対処法
「重複しています。」から始まるステータスは、サイト内にURLの違う類似したページがあるという忠告です。
主に複製したページ、ページネーション(ページ分割)されたアーカイブページ、wwwや暗号化の有無などによって発生します。記事内容が多少似ていても、タイトルタグなどが違うページは該当しません。
正規ページが存在しないとSEOの評価が分散してしまうので、以下の方法を参考に正規化(正規URLの指定)を行いましょう。
※正規ページ：インデックス・評価してほしいメインのページ
canonicalタグを設定する
canonicalタグを使用して正規化を行う方法です。
正規ページを指定することで、どのページをインデックスしてほしいかをクローラーに伝えることができます。
canonicalタグの設定は、All in One SEO PackやSEO SIMPLE PACKなどのプラグインを使えば、簡単に設定できますよ。
指定するページ(URL)は個人の判断にゆだねられますが、ページが多数存在するアーカイブページ(記事一覧)の場合は、1ページ目のURLを正規ページに指定するのが一般的です。
ちなみに、ページの前後関係を表す“rel=next,prev”のタグはサポートが終了しています。特別な理由がない限り、使用するのは控えましょう。
正規化したいページへリンクを送る
「重複しています。Google により、ユーザーがマークしたページとは異なるページが正規ページとして選択されました」の場合は、canonicalタグが無視されて他のページが正規ページに指定されています。
Googleは被リンクなどの要素も加味して正規ページを判断するため、正規化したいページへリンクを送るようにしましょう。もちろん、外部からのリンクが一番望ましいのですが、内部リンクでも十分に効果はあります。
301リダイレクトを行う
wwwのサブドメインや暗号化前のhttpに同じページがある場合は、正規化したいURLへリダイレクトを行いましょう。
現在はhttp~のURLだとブラウザが警告を出すこともあるため、httpはhttpsへのリダイレクト(暗号化)を確実に行いましょう。(wwwの有無はどちらでも構いません)
プラグインのRedirectionであれば、サイト全体のwwwやhttpページを一括でリダイレクトできるので、WordPressユーザーは有効活用しましょう。
その他のステータスの対処法
その他のステータスについては、そのページがインデックスさせたいページかどうかで対応が異なります。
- インデックスさせたいページ：robots.txtやmetaタグ、.htaccessなどの記入ミスを修正
- インデックスさせたくないページ：サイトマップに記述がないか確認
インデックスさせたいページの場合
・metaタグなどの記述ミスがないか確認
最も多いのがmetaタグの設定ミスやrobots.txt、.htaccessの記述ミスです。
エラーが出ている場合は、noindexが付いていないか、クロールをブロックする記述がないかを確認しましょう。ステータス毎にどの記述を修正するかは、こちらを参考にしてください。
・サイト全体にnoindexが付いていないか確認
WordPressの表示設定には「検索エンジンでの表示」という項目があり、ここにチェックが入っているとサイト全体にnoindexが付与されてしまいます。
意外とやってしまいがちなミスなので、思い当たる方は確認しておきましょう。
ブログ立ち上げ初期の人は特に注意！
インデックスさせたくないページの場合
前提として、インデックスの拒否はrobots.txtによるクロール制御よりも、noindexのタグを設置した方が確実です。noindexが付与した上で、以下の対処を行いましょう。
・除外ステータスなら問題なし
インデックスさせたくないページ、noindexを付与したページが除外ステータスである場合は、特に対応する必要はありません。
・サイトマップから該当ページを除外する
エラーステータスの場合は、該当ページがサイトマップに記載されていないか確認しましょう。サイトマップにURLの記載があると、自動的にインデックスが申請されてエラーになってしまいます。
確認方法は、ブラウザの検索窓に「https://example.com/サイトマップ名」と入力するだけです。サイト名はXMLサイトマップなら”sitemap.xml”、RSSフィードなら”feed”などになっていると思います。
また、XML Sitemaps(旧：Google XML Sitemaps)を使用している方は、プラグインの設定を確認してみましょう。あわせて読みたい
XMLサイトマップは検索エンジンに「サイトにどんなページがあるか」を伝える大事なものです。 しかし、サイトを更新する度に毎回サイトマップを作るなんて、とてもじゃ…
まとめ
SEOでアクセスを稼ぐ上では、インデックスというのは第一の壁となります。
ブログ立ち上げ初期はなかなかインデックスされず焦ることも多いかと思いますが、原因をひとつずつ潰していけば必ずインデックスされる日が来るはずです。
インデックスされなくても腐らず、時間をかけてでも確実に対処をしていきましょう。
