AmICitedでrobots.txtとサイトマップのカバレッジを確認する方法

AIクローラーがサイトを読み取れなければ、他の最適化はすべて無意味になります。Robots.txt & サイトマップ チェックでは、対象とするクローラーが許可されていること、そしてサイトマップが実際にクローラーをコンテンツへ正しく導いていることを確認します。

確認場所

監査 → エージェントアクセシビリティ 内の Robots.txt & サイトマップ セクションです。

チェック内容

セクションの説明にあるとおり、「主要なAIおよび検索クローラーがサイトを読み取り可能かどうか、robots.txt にサイトマップが宣言されているかどうか、そしてそれらのサイトマップにリストされているURLの総数」 を確認します。具体的には以下のとおりです。

• クローラーアクセス — 主要なAIおよび検索ボットが robots.txt で許可されているか（拒否されていないか）
• サイトマップ宣言 — クローラーが発見できるよう、robots.txt からサイトマップが参照されているか
• サイトマップカバレッジ — サイトマップにリストされているURLの総数

使用方法

1. クローラーが許可されていることを確認する。 重要なAIボットがブロックされている場合は、robots.txt のルールを修正してください。これがページ上で最も優先度の高い課題です。
2. サイトマップを宣言する。 robots.txt がサイトマップを指すように設定し、エージェントがすべてのページを発見できるようにします。
3. URL数を確認する。 公開しているページ数よりもサイトマップのURL数が大幅に少ない場合、ページがクローラーに通知されていないことを意味します。
4. 編集後に再確認し、 準備状況サマリーの クローラーアクセス と サイトマップURL のタイルが正常に変わることを確認します。

クローラーアクセスが基本です。まずこれを正しく設定しましょう。なぜなら、その他のすべてはボットが実際にコンテンツに到達できることを前提としているからです。