Google Search Consoleでモバイル表示についてerrorを吐いてる場合、モバイルフレンドリーテストで実際のGoogle botがどのようにサイトを認識しているか見ることが出来る。
でそーだいさんは今、オミカレってサイトのCTOをしてるのだけど直近でERRORが出てて、調べるとCSSを読み込めてないことがわかった。 自分で下記のサイトにアクセスすると普通に見えるし、開発者ツールで見ても特に問題がなくて四苦八苦。 で上部のツイートになってる。
それでもう少し調べるとCDNのコンテンツ全てをGoogle botが認識できてなかった。 ということで表題のとおり、結論としてrobots.txtを置いてアクセスできるようにしてやると解決した。 CDNがなぜGoogle botを弾いているかわかったかと言うと、CDNのドメイン自体もGoogle Search Consoleに登録したところ、robots.txtを取得できてないerrorが出てたことから判明した。
調べても何も情報が出てこなかったので当たり前の事かもしれないけど他に困った人が居た時のためにメモとして残す。