AmICitedでrobots.txtとサイトマップのカバレッジを確認する方法

AIクローラーがサイトを読み取れなければ、他の最適化はすべて無意味になります。

robots.txtとは何か、そしてなぜそれがAIから見えるかどうかを左右するのか

Robots.txt は、あなたのドメインのルートに置かれるプレーンテキストファイル（yoursite.com/robots.txt）で、クローラーにサイトのどの部分をリクエストしてよいかを伝えます。これはAIブームより何十年も前から存在するもので、もともとはGooglebotのような検索エンジンのボットが、管理画面のページやステージング環境、重複コンテンツをクロールして時間を無駄にしないようにするために作られました。しかし同じ仕組みが今では、はるかに大きな意味を持つ判断を左右しています。それは、GPTBot、ClaudeBot、PerplexityBot、Google-Extendedなど、今日の回答エンジンを支えるAIクローラーが、そもそもあなたのページを取得することを許されているかどうかです。

行儀の良いクローラーは、何かをリクエストする前に必ずrobots.txtを確認します。このファイルはブロック単位で構成されており、各ブロックは特定のボット（または全ボットを表す*）を指定するUser-agent行から始まり、そのボットが取得してよいパス・してはいけないパスを指定するAllowルールとDisallowルールが続きます。User-agent: GPTBotの下にDisallow: /という包括的なルールが1つあるだけで、そのクローラーをサイト全体から締め出すには十分です。そしてそのクローラーは、コンテンツの質がどれだけ良くても、ChatGPTの引用には一切登場しません。だからこそ、ボットが技術的にサイトへ到達できるという一般的な性質であるクロール可能性 は、後回しにできる項目ではなく、AI検索での可視性を支える土台として扱われています。

Robots.txtにはもう一つの役割があります。多くの場合、クローラーはSitemap:ディレクティブを通じてサイトマップへのポインタをここで探します。XMLサイトマップ は、クローラーに知らせたいサイト内URLの構造化リストで、最終更新日などのメタデータが含まれることも多くあります。robots.txtが許可を制御するのに対し、サイトマップは発見を制御します。つまりサイトマップは、クローラーがリンクをたどるだけですべてのページを見つけ出さなくて済むように、何が存在するかを示す地図なのです。robots.txtのルールが完全に許容的であっても、サイトマップが存在しなかったり、どこからも参照されていなかったり、不完全だったりするだけで、サイトはAIシステムから十分にインデックスされない場合があります。

この2つのファイルは、従来のSEOにおいて重要だった以上に、AIにおける可視性にとって重要です。検索エンジンは25年以上にわたってウェブをクロールし、サイトマップがなくてもGooglebotがページを発見できるほど巨大なリンクグラフを構築してきました。一方AIクローラーはより新しく、サイトのどこまでを取得するかについてより保守的な傾向があり、Googlebotだけを想定して書かれたrobots.txtのルールによって、そのまま締め出されてしまう可能性も高くなります。「未知の」ボットや、攻撃的に見えるボットをひっそりと除外するルールは、意図せずGPTBotやClaudeBotを巻き添えにしてしまうことがあります。これこそがまさに「Robots.txt & サイトマップ」チェックが検出しようとしている特定の失敗パターンであり、コンテンツやスキーマなど他の要素に時間をかける前に、AIアクセシビリティ監査 がまず最初に検証すべき項目の一つである理由です。

確認場所

監査 → エージェントアクセシビリティ 内の Robots.txt & サイトマップ セクションです。エージェントアクセシビリティは、AmICitedの監査の中でも、コンテンツの品質や引用トラッキングを扱う部分とは区別して、AIシステムが技術的にコンテンツへ到達し解析できるかどうかに特化した部分です。Robots.txt & サイトマップは通常このセクションの最初のチェックです。なぜなら、監査が測定する他のすべての項目は、そもそもクローラーが入り口を通れることを前提としているからです。

チェック内容

セクションの説明にあるとおり、「主要なAIおよび検索クローラーがサイトを読み取り可能かどうか、robots.txt にサイトマップが宣言されているかどうか、そしてそれらのサイトマップにリストされているURLの総数」 を確認します。具体的には以下のとおりです。

• クローラーアクセス — 主要なAIおよび検索ボットがrobots.txtで許可されているか（拒否されていないか）。AmICitedは、あなたの実際のrobots.txtルールを、AI検索での可視性にとって重要なクローラーのユーザーエージェント文字列と照合して評価します。そのため、ボットごとに、許可されているか、ブロックされているか、あるいはどのルールにも該当せず単に扱われていない（多くの場合、ワイルドカードのブロックによって暗黙的に許可される）かが確認できます。
• サイトマップ宣言 — クローラーが発見できるよう、サイトマップがrobots.txtから参照されているか。存在はするがrobots.txtからリンクされておらず（かつ他の場所にも送信されていない）サイトマップは、自動的に検出される可能性がずっと低くなります。
• サイトマップカバレッジ — サイトマップにリストされているURLの総数。公開しているページが実際にクローラーへ向けて告知されているかどうかを、素早く確認できます。

これら3つのチェックを合わせることで、AIシステムがそもそもあなたのコンテンツを評価し始められるかどうかを決める、2つの問いに答えられます。すなわち「このクローラーは入ることを許されているか」と「入ってきた後、何を取得すればよいか分かっているか」です。ブランドがコンテンツ面ではすべて正しく行っている — 明確な回答、強力なエンティティシグナル、よく構造化されたページ — としても、この2つの条件のどちらかが背後でひっそりと満たされていないだけで、AIの回答の中では見えなくなってしまうことがあります。

使用方法

1. クローラーが許可されていることを確認する。 重要なAIボットがブロックされている場合は、robots.txtのルールを修正してください。これがページ上で最も優先度の高い課題です。ブロックされている各クローラーについて、自分の意図と照らし合わせて確認しましょう。GPTBotをブロックするルールは、OpenAIのモデル学習にコンテンツを使われたくない場合には意図的に書かれたものかもしれません。しかしそれが、実際にライブの引用を生み出しているクローラーであるOAI-SearchBotやPerplexityBot（モデル学習用クローラーとは異なります）まで一緒にブロックしてしまっているなら、戦略的な理由もなく可視性を失っていることになります。すべてを無差別にブロックするデフォルト設定を引き継ぐのではなく、どのクローラーにAIボットのサイトクロールを許可する かを意図的に決めておく価値があります。
2. サイトマップを宣言する。 エージェントがすべてのページを発見できるよう、robots.txtがサイトマップを指すようにしてください。これはSitemap: https://yoursite.com/sitemap.xmlというたった1行のことですが、他の点ではよく作り込まれたサイトでも、最もよく見落とされている項目の一つです。特に、CMSによって自動生成されたサイトマップが、robots.txtに一度も組み込まれていないサイトでよく見られます。
3. URL数を確認する。 公開しているページ数よりもサイトマップのURL数が大幅に少ない場合、ページがクローラーに通知されていないことを意味します。これは通常、古いままのサイトマップ（一度生成されたきり再生成されていない）、子サイトマップをすべてリンクできていないサイトマップインデックス、あるいは特定のコンテンツタイプをひっそりと除外しているCMSプラグインが原因です。最近公開されたブログ記事や動的に生成されるページが、その典型的な被害者になりがちです。
4. 編集後に再確認し、 準備状況サマリーの クローラーアクセス と サイトマップURL のタイルが正常に変わることを確認します。

クローラーアクセスが基本です。まずこれを正しく設定しましょう。なぜなら、その他のすべてはボットが実際にコンテンツに到達できることを前提としているからです。アクセスと発見の両方が健全であると確認できて初めて、エージェントアクセシビリティ監査の残りの項目 — レンダリング、構造化データ、応答時間 — が意味を持ち始めます。これらのチェックは、そもそもクローラーがページへ到達することを許されていた場合にのみ、成果につながるからです。

また、robots.txtとサイトマップのカバレッジは一度直せば終わりというものではないことも覚えておく価値があります。新しいセクションが公開されたり、CMSの移行によって異なるデフォルト設定でサイトマップが再生成されたり、元のrobots.txtが書かれてからずっと後にCDNやWAFのルールが追加されたりすることがあり、そのいずれもがクローラーのブロックやサイトマップの不完全さをひっそりと再び引き起こす可能性があります。一部のチームは、このチェックをサーバーログ分析と組み合わせて、許可されているクローラーが実際にそのページを訪問しているかを確認したり、生のサイトマップに加えて、AIシステムに最も重要なコンテンツの厳選された要約を提供する専用のllms.txt ファイルを併用したりしています。robots.txtとサイトマップのカバレッジが、他の技術的な作業と比べてどのような位置づけにあるのか分からない場合は、より広範なAI可視性監査 がアクセシビリティチェックの全体像を順を追って説明しています。さらに、AmICited自体のAI visibility ツールは、これらの問題を修正することが実際に引用数の増加につながっているかどうかを長期的に追跡します。つまり「クローラーが許可された」ことをゴールとして扱うのではなく、技術的な修正とそれがもたらすべき成果とを対応づけて確認できるのです。数十のクライアントサイトを横断してこれを管理しているチームにとっては、同じアクセスとサイトマップのチェックが代理店向けAmICited で繰り返し扱われる定番項目の一つになっています。設定を誤ったrobots.txtのルールはテンプレート間で繰り返されがちで、クライアントから「なぜうちのブランドはChatGPTに一度も出てこないのか」と聞かれた後ではなく、オンボーディングの早い段階で発見しておく必要があるためです。