Googleがrobots.txtに対し、新たな実験を行っているという情報が
海外のSEO記事に書かれていたので紹介いたします
もし、これが事実だった場合、robots.txtに記載されているコマンドが
Googleへのインデックスの妨げになる場合があるかもしれませんので
一度robots.txtのチェックをお勧めします
まずrobots.txtについて簡単に説明します
robots.txtとはあなたのページのディレクトリにあるファイルの事です
例えば(http://www.example.com/robots.txt)という感じです
このファイルは検索エンジンクロウラーに対し
どのページをインデックスさせ、どのページをインデックスさせないかを指示できます
一般的にこのファイルは２つの文の記述で構成されています
User-agentとDisallowです
-------------------------------------
User-agent: googlebot
Disallow: /cgi-bin/
-------------------------------------
"User-agent:"の部分は受け入れる物を指定する文、
"Disallow:"の部分は拒否する物を指定する文と考えてください
上記の例の場合ですと、このrobots.txtは"googlebot"だけが
"cgi-bin"以外のフォルダの全ページをサーチする事を受け入れるというコマンドです
特に何もこだわりが無い場合には以下のように記述します
-------------------------------------
User-agent: *
Disallow: /
-------------------------------------
これは全てを受け入れる形です
あなたのrobots.txtに何が記述されているかを確認する場合は
www.yourdomain.com/robots.txt
のyourdomeinの部分をあなたのドメイン名に変更してアクセスして下さい
それでは本題に入ります
Googleは最近、robots.txtに記述されるコメント”Noindex”を”Disallow”と同じように
認識するようになったようです
意図的ではなく、このようなコメントがrobots.txtに含まれている事は殆ど無いでしょうが
万が一、一般的ではないコメントがtobots.txtに含まれている場合、注意が必要です
他にもGoogleは色々なコメントを受け入れているようです
例えば”Noarchive” や ”Nofollow”と言った物です
ですのでrobots.txtなんか見たこともないという人は
余計な記述が無いかどうか一応チェックした方が良いかもしれません
一般的なrobots.txtは以下になります
（Disallowの列は省略可）
-------------------------------------
User-agent: *
Disallow: /
-------------------------------------
これ以外の記述がある場合、それらがどういう意味を持つのか
よくチェックしてみて下さい
SEO対策について議論するフォーラム
あなたのご意見を以下のSEO議論板に投稿しませんか？