Applebot は、Apple の Web クローラーです。Siri や Spotlight 検索候補などの製品は、Applebot を利用しています。慣習的な「robots.txt」のルールと robots meta タグを遵守し、アクセス元は 17.0.0.0 ネットワークブロックです。
Applebot を確認する
user-agent 文字列に、“Applebot” と、補足のエージェント情報が記載されています。下記は、その例です。
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1)
Applebot のルールをカスタマイズする
Applebot は、Applebot を対象とした「robots.txt」の標準的なディレクティブに従います。以下の例では、Applebot は「/private/」や「/not-allowed/」の下位にある書類はクローリングしません。
User-agent: Applebot # apple Disallow: /private/ # disallow this directory
User-agent: * # any robot Disallow: /not-allowed/ # disallow this directory
Applebot は、HTML 書類の robots meta タグに対応しています。メタタグに robots のルールを指定するには、以下のように、書類の <head> セクションにタグを追加します。
<html><head> <meta name="robots" content="noindex"/> ... </head> <body>...</body> </html>
Applebot は以下のディレクティブにも対応しています。
- noindex：このページは、Applebot でインデックスされないため、Spotlight や Siri の検索候補にも表示されません。
- nosnippet：Applebot は、このページの説明 (スニペット) や Web 回答を生成しません。この URL が閲覧候補として提示される際も、ページのタイトルしか表示されません。
- nofollow：Applebot は、このページ上のリンクをたどりません。
- none：Applebot は、上記の通り、ページをインデックスせず、スニペットを生成せず、ページ上のリンクをたどりません。
- all：Applebot はこの書類を提案に使い、コンテンツのスニペットを生成するため、ページの簡単な説明が、ページを表す画像の横に表示されます。Applebot はページ上のリンクをたどり、さらに候補を提示する場合があります。
1 つのメタタグに複数のディレクティブを指定するには、カンマ区切りのリスト形式で指定するか、メタタグを複数使います。以下は一例です。
<meta name="robots" content="nosnippet, noindex”>
または、以下の書き方でも指定できます。
<meta name="robots" content=“noindex"> <meta name="robots" content=“nosnippet">
お問い合わせ
ご質問やご不明な点がございましたら、applebot@apple.com までお問い合わせください。