jobjob様、B様、はじめまして。
jobjob様がご指摘のrobots.txtファイルに付きましては、WEBページの公開環境詳細がわからないので、誠に申し訳ないですが、的確なお
返事は出来ない旨ご了承の程お願い致します。
このトラブルに関しましては、、上手く動作してくれるかはわかりませんがmetaタグでクロール許可を入れる事である程度改善される可能性があるかもし
れません。(確認をとる事が出来ないため、推論で申し訳ありません。)
通常のHTMLでWEBページを公開されているのであれば、以下の記述に
<META name="robots" content="index,follow" >を加える事で、改善できるかもしれません。
この記述は、巡回ロボットにページ参照許可とリンク参照許可を宣言する記述になるので、キャッシュ化されたページでも拒否されなくなる場合もありま
す。
サンプル(WEBページの一番上の方にあります。)
<html>
<head>
<title>jobjob様のサイトタイトル</title>
<META name="robots" content="index,follow" > ←この記述です。
</head>
<body>
少しわかりにくいかもしれませんが、<head>〜〜〜から〜〜〜</head>までの間であれば何処に記述しても構いません。
もしも万が一ブログ関連のトラブルであれば、、やや難しいですがテンプレートに上記のmetaコードを挿入する事も出来る場合があるので、該当ブログ
サービス名(例:ライブドアブログ)を教えて頂けましたら、わかる範囲でお調べする事は出来る場合もあります。
的を得ていないお返事かもしれませんが、速く解決される事を願います。