AppleがSiriやSpotlightのWebサイト検索候補に使用する情報を集めるWebクローラー「Applebot」のカスタムルールを公開しています。詳細は以下から。
Appleは2015年05月、SiriやSpotlightなどApple OSの機能で使用するWebサイト情報を集めるWebクローラー「Applebot」の存在を認め、Web管理者に対しこのクローラーのUser-agent情報を公開しましたが、現地時間2018年06月23日、AppleはApplebotのサポートページを更新し、robots.txtで設定できるカスタムルールの情報を追加公開しています。
ApplebotのUser-agent
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
追加されたカスタムルールの記載によると、Applebotはこれまで通りGooglebotと同様にrobots.txt規則とmetaタグを尊重し、metaタグでは以下のタグが利用できるそうで、複数のタグを利用する場合は[,]カンマで区切るか2つのmetaタグで記述すればいいそうなので、Web管理者の方はチェックしてみて下さい。
<meta name="robots" content="nosnippet, noindex”>
Applebotの動きを制御するタグ
- noindex: Applebot won’t index this page, and it won’t appear in Spotlight or Siri Suggestions.
- nosnippet: Appletbot won’t generate a description for the page. Any suggestions to visit this URL include only the page’s title.
- nofollow: Applebot won’t follow any links on the page.
- none: Applebot won’t index, snippet or follow links on the page, as described above.
- all: Applebot provides the document for suggestions and snippets the contents so that a short description of the page can appear next to a representative image. Applebot may follow links on the page to provide more suggestions.
- About Applebot – Apple Support