AIボットによるウェブサイトのクロール許可方法：robots.txt＆llms.txt完全ガイド
GPTBot、PerplexityBot、ClaudeBotなどのAIボットによるサイトクロールの許可方法を解説します。robots.txt・llms.txtの設定やAI向け最適化の方法もわかります。...
2 分で読める
Amazonbot
Alexa、Rufusショッピングアシスタント、AmazonのAI搭載検索機能を含む製品とサービスを改善するために使用されるAmazonのウェブクローラー。Robots Exclusion Protocolを尊重し、robots.txtディレクティブを通じて制御できます。AIモデルトレーニングに使用される可能性があります。
Amazonbotとは何か、その目的
Amazonbotは、ウェブコンテンツを収集・分析することで会社の製品とサービスを改善するために設計されたAmazonの公式ウェブクローラーです。この高度なクローラーは、Alexaボイスアシスタント、Rufus AIショッピングアシスタント、AmazonのAI搭載検索体験を含む重要なAmazon機能を動かしています。Amazonbotはユーザーエージェント文字列Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36を使用して動作し、ウェブサーバーに自身を識別します。Amazonbotによって収集されたデータはAmazonの人工知能モデルのトレーニングに使用される可能性があり、Amazonのより広いAIインフラストラクチャと製品開発戦略の重要なコンポーネントとなっています。
Amazonbotの仕組みと関連クローラー
Amazonはエコシステム内で特定の目的を果たす3つの異なるウェブクローラーを運用しています。Amazonbotは一般的な製品とサービスの改善に使用される主要クローラーであり、AIモデルトレーニングに使用される可能性があります。Amzn-SearchBotはAlexaやRufusなどのAmazon製品での検索体験を改善するために特別に設計されていますが、重要なことに、生成AIモデルトレーニングのためにコンテンツをクロールしません。Amzn-Userは、顧客が最新のウェブデータを必要とする質問をAlexaに尋ねたときなど、ユーザーが開始したアクションをサポートし、AIトレーニング目的でクロールしません。3つのクローラーすべてがRobots Exclusion Protocolを尊重し、robots.txtディレクティブに従うため、ウェブサイト所有者はアクセスを制御できます。
| クローラー名 | 主な目的 | AIモデルトレーニング | ユーザーエージェント | 主なユースケース |
|---|---|---|---|---|
| Amazonbot | 一般的な製品/サービス改善 | はい | Amazonbot/0.1 | 全体的なAmazonサービス強化、AIトレーニング |
| Amzn-SearchBot | 検索体験の改善 | いいえ | Amzn-SearchBot/0.1 | Alexa検索、Rufusショッピングアシスタントインデックス |
| Amzn-User | ユーザー開始のライブデータ取得 | いいえ | Amzn-User/0.1 | リアルタイムAlexaクエリ、現在の情報リクエスト |
Ready to Monitor Your AI Visibility?
Track how AI chatbots mention your brand across ChatGPT, Perplexity, and other platforms.
robots.txtとアクセス制御
Amazonは業界標準のRobots Exclusion Protocol（RFC 9309）を尊重しており、ウェブサイト所有者はrobots.txtファイルを通じてAmazonbotアクセスを制御できます。Amazonはドメインのルート（例：example.com/robots.txt）からホストレベルのrobots.txtファイルを取得し、ファイルを取得できない場合は過去30日間のキャッシュコピーを使用します。robots.txtファイルへの変更は、Amazonのシステムに反映されるまで通常約24時間かかります。
Amazonbotアクセスを制御する方法の例：
# サイト全体からAmazonbotをブロック
User-agent: Amazonbot
Disallow: /
# 検索可視性のためにAmzn-SearchBotを許可
User-agent: Amzn-SearchBot
Allow: /
# Amazonbotから特定のディレクトリをブロック
User-agent: Amazonbot
Disallow: /private/
# 他のすべてのクローラーを許可
User-agent: *
Disallow: /admin/
Amazonbotの識別と検証
ボットトラフィックを懸念するウェブサイト所有者は、Amazonbotを主張するクローラーが実際に正当なAmazonクローラーであることを確認すべきです。Amazonは、本物のAmazonbotトラフィックを確認するためのDNSルックアップを使用した検証プロセスを提供しています。
検証プロセスの例：
$ host 12.34.56.789
789.56.34.12.in-addr.arpa domain name pointer 12-34-56-789.crawl.amazonbot.amazon.
$ host 12-34-56-789.crawl.amazonbot.amazon
12-34-56-789.crawl.amazonbot.amazon has address 12.34.56.789
Stay Updated on AI Visibility Trends
Get the latest insights on AI mentions, brand monitoring, and optimization strategies.
AmazonbotとAIモデルトレーニング
AIモデルトレーニングに関してAmazonのクローラー間に重要な区別が存在します。Amazonbotは Amazonの人工知能モデルのトレーニングに使用される可能性があります。これは、AIトレーニング目的で作品が使用されることを懸念するコンテンツクリエイターに関連します。対照的に、Amzn-SearchBotとAmzn-Userは生成AIモデルトレーニングのためにコンテンツをクロールしないことを明示的に宣言しており、検索体験の改善とユーザークエリのサポートにのみ焦点を当てています。
Rufusショッピングアシスタントとamazonbot
RufusはAmazonの高度なAIショッピングアシスタントであり、ウェブクローリングとAI技術を活用してパーソナライズされたショッピング推奨と支援を提供します。Amazonbotが Amazonの全体的なAIインフラストラクチャに貢献する一方、Rufusは特にショッピングクエリに関連する製品情報とウェブコンテンツのインデックスにAmzn-SearchBotを使用します。
ウェブサイト所有者のためのベストプラクティス
ウェブサイト所有者は、特定のビジネス目標とコンテンツポリシーに基づいてAmazonのクローラーを管理するための戦略的アプローチを開発すべきです：
- 製品と情報をAmazon検索結果、Alexaの回答、Rufusショッピング推奨に表示したい場合はAmzn-SearchBotを許可—このクローラーはAIモデルをトレーニングせず、価値ある可視性を提供
- コンテンツがAIモデルトレーニングに潜在的に使用されることに快適かどうかに基づいてAmazonbotに対するスタンスを検討；そうでない場合は、
noarchiverobotsメタタグを使用するか、robots.txtで完全にブロック - クローラートラフィックパターンを理解し、正当なクローラーになりすます可能性のある悪意のあるボットを示す可能性のある異常な活動を特定するためにサーバーログを定期的にモニタリング
- 疑わしいトラフィックに対してアクションを取る前に、常にDNSルックアップを使用してクローラーの正当性を検証
- 特定の懸念や質問がある場合は、ドメイン情報を添えて
amazonbot@amazon.comでAmazonのサポートチームに連絡
