WordPressのSEO「robots.txt」の書き方
WordPressブログのSEO効果を高めるために設置するべき「robots.txt」の基本や書き方、設置場所を解説します。
robots.txtとは
クローラ(ロボットとも言う)にブログのクロールを指示するファイルです。
■クローラとは
クローラはブログを始め、世界中のWebサイトを巡回しています。
そして巡回して取得したWebサイトのデータをプログラムに従って整理し、検索結果にします。
robots.txtの役割
読者にとって意味のないページやSEO的に良くないページをクローラが巡回すると、当然悪い評価が付き、Googleの検索結果で順位が下がってしまいます。
そこで自分のブログに「robots.txt」を設置し、自分のブログのアクセスして欲しくないページや場所をクローラに伝えます。
そうする事でクローラが巡回しなくなるので、自分のブログに悪い評価が付く事を防ぐ事ができます。
ブログは誠実に運営していても管理画面やカテゴリーページ等、クローラが悪い評価を付けかねないページが存在します。
「robots.txt」を設置して「悪意の無い低品質なページ」を巡回されないようにしましょう。
WordPressに何故「robots.txt」が必要か
WordPressは重複コンテンツがいっぱい出来るからです。
まず、WordPressの管理系ファイル(管理画面を構成するファイルとか)はロボットに認識してもらう必要はありません。
そして特に重要なのはWordPressではカテゴリ、アーカイブ、タグなど複数のページで同じページが表示されることです。
Googleはそうしたコンテンツの複製・重複が好きではないため(*)、こういったものも阻止することが大切です。
そのためには「robots.txt」の設置が一番です
*ただしGoogleは悪評価はつけないと言われています。そこまで神経質になる必要はありません。
WordPress向けの「robots.txt」の書き方
WordPress向け「robots.txt」の書き方です
テキストファイルで作成し、「robots.txt」の名前で保存しましょう。
1.robots.txtの例
このサイトのrobots.txtです(一部省略しています)。
User-agent: * Disallow: /wp-admin Disallow: /wp-includes Disallow: /trackback Disallow: /comments Disallow: */trackback Disallow: */comments Disallow: /*?* Disallow: /*? Disallow: /*.inc$ Disallow: /*.gz$ Disallow: /*.wmv$ Disallow: /*.cgi$ Disallow: /*.xhtml$ # allow google image bot to search all images User-agent: Googlebot-Image Allow: /* # allow Google adsense bot on entire site User-agent: Mediapartners-Google* Allow: /* # BEGIN XML-SITEMAP-PLUGIN Sitemap: http://gagaakito.com/sitemap.xml # END XML-SITEMAP-PLUGIN
2.Disallow
「Disallow」でロボットのクロールを阻止できます。
「Disallow」の隣にクロールを阻止したいファイルを記述しています。
ちなみに「Allow」でクロールを促すこともできますが、クロールは放置していてもかってにやってくれるので特別記述する必要はありません。
3.管理系をブロック
Disallow: /wp-admin Disallow: /wp-includes
これらでWordPressの管理画面やプラグインファイルなどの管理系のファイルをブロックしています。
4.重複コンテンツと不要なコンテンツもブロック!
Disallow: /trackback Disallow: /comments Disallow: */trackback Disallow: */comments
検索エンジンに認識してもらう必要の無いコメント等をブロックしています。
自分のサイトに合わせて適宜項目を追加 or 削除してください。
ちなみにあんまりブロックさせない方がいいと思います。この記事を否定するような話ですけど。
あと画像ファイルはクロールさせた方がいいですよ
5.「?」のURLもブロック
Disallow: /*?* Disallow: /*?
URLに「?」が付くページをブロックします。
私のサイトでは通常の記事のURLに「?」が付く事はありません。
なので「?」がつくURLをブロックしています。
クロールさせたいページに「?」が付いている方はこれを記述するとクロールされなくなるので注意ノ
6.ファイル形式でブロック
Disallow: /*.inc$ Disallow: /*.gz$ Disallow: /*.wmv$ Disallow: /*.cgi$
それぞれファイルの形式で指定し、ブロックします。
ただし、CSSやJavaScriptといったサイトの見た目を構成するファイルはクロールさせたほうがいいです。
7.Google imageとAdSenseのアクセスを許可
# allow google image bot to search all images User-agent: Googlebot-Image Allow: /* # allow Google adsense bot on entire site User-agent: Mediapartners-Google* Allow: /*
Google imageとGoogle AdSenseのロボットは全てのファイルへのアクセスを許可します。
ちなみにGoogle imageとGoogle AdSenseのロボットはWeb検索の検索結果を作るロボット「Google bot」とは別物です。
8.サイトマップを指定
# BEGIN XML-SITEMAP-PLUGIN Sitemap: [サイトマップのURL] # END XML-SITEMAP-PLUGIN
またクロールして欲しいページを的確に伝えるため、サイトマップを検索エンジンに教えています。
robots.txtを設置する
こんな感じで記述したrobots.txtファイルをWordPressに設置します。
1.ルートにおく
「WordPressではrobots.txtをどこに置くのか?」「設置する場所はどこか?」といった声も聞きますが、robots.txtファイルはWordPressでも他のウェブサイトでもサイト直下(ルート、トップフォルダ)に置きます。
2.「s」が付く
またファイル名は「robots.txt」です。
「robot」の後に「s」が付くんですよ。コレ間違えている方もいますが注意です。
あと全部半角小文字です。
ヒント
WordPressを使っている方なら最後に解説したサイトマップさえ書き換えてくれれば私の「robots.txt」をコピペしても(多分)問題ないと思いますd( ̄  ̄)
もちろんクロールさせたい場所、ブロックさせたい場所が私と異なる場合は書き換えが必要です。
まとめ
これが当サイトに設置した「robots.txt」の解説です。
これを設置した後、Googleウェブマスターツールで確認すると、「HTMLの問題」が減っているので効果はめちゃくちゃあります((()))♪
ただし、GoogleのSEOのためには可能な限り自分のブログをクロールさせることが大事です。
Google がサイトのコンテンツを完全に把握できるように、サイトのアセット(CSS や JavaScript ファイル)がすべてクロールされるようにしてください。Google インデックス登録システムは、ページの HTML やそのアセット(画像、CSS、Javascript ファイル)を使用してウェブページをレンダリングします。Googlebot がクロールできないページアセットを確認し、robots.txt ファイルのディレクティブをデバッグするには、ウェブマスター ツールの Fetch as Google ツールと robots.txt テスターツールを使用します。
(Source ウェブマスター向けガイドライン – ウェブマスター ツール ヘルプ)
また、記述を間違えるとウェブサイトがアクセスされなくなることもあるので「robots.txt」は正確にしっかり設置しましょう。
設置したらGoogleウェブマスターツールで確認するといいですよ。