ドキュメント

可視性を改善する

ドメイン監査とAIアクセシビリティ

AIクローラーやエージェントがサイトに到達し、読み取り、操作できるかを確認します。robots.txt、サイトマップ、llms.txt、アクセシビリティツリー、WebMCP、エージェンティックコマース、Common Crawl、そしてサイト全体の監査クロールが対象です。

ChatGPTで開く Claudeで開く

エンジンは取得できないページを引用できず、エージェントは読み取れないページを利用できません。Domain audit ページ(Audit → Domain audit)には、ドメインがAIクローラーやエージェントに発見され、信頼され、読み取られるかどうかを左右するチェックがまとまっています。Site audit ページ(Audit → Site audit)はさらに踏み込み、サイトマップ内のすべてのURLをクロールして、技術的な問題と内部リンクによる権威の分配状況を報告します。

ドメインの可視性がゼロの場合や、引用されるはずのページがまったく引用されない場合は、まずドメイン監査を実行してください。GPTBotに対する Disallow の1行や、クローラーをブロックするCDNのルールは、どんなコンテンツの問題よりも多くの引用欠落を説明します。

エージェント対応状況のサマリー#

ページ上部には、各セクションの結果が1行にまとめて表示されます。llms.txtスコア、アクセシビリティスコア、クローラーのアクセス、サイトマップURL数、サイトマップとrobotsの整合性、WebMCP、エージェンティックコマース、ドメインの有効期限です。追跡中の競合も比較テーブルに並んで表示されるため、競合が単にエージェントにとって読み取りやすいだけなのかを確認できます。

robots.txtとサイトマップ#

主要な検索クローラーとAIクローラーがサイトの読み取りを許可されているか、サイトマップがrobots.txtに宣言されているか、そのサイトマップに何件のURLが掲載されているかを表示します。チェック対象のクローラーは次のとおりです。

GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-User、Claude-SearchBot、PerplexityBot、Google-Extended、Googlebot、Bingbot、Applebot、Amazonbot、Meta-ExternalAgent、CCBot。

また、サイトマップとrobots.txtの間の矛盾も指摘します。自社のrobots.txtがブロックしているサイトマップ上のURL、サイトマップに掲載されたURLからブロックされているクローラー、それ自体がDisallowされているサイトマップファイル、別のホストを指す Sitemap: ディレクティブ、そして5万URLまたは50 MBの上限を超えたサイトマップファイルです。robots.txtがまったくない場合は、デフォルトですべてのクローラーが許可されます。

llms.txtのレビュー#

/llms.txt は、言語モデルにサイトの厳選された概要を提供するMarkdownファイルです。AmICitedはお客様のファイルを取得し、llmstxt.orgの提案に照らして検証します。対象は、配信(HTTPSでルートに配置され、HTTP 200を返し、テキストのコンテンツタイプで、アプリのHTMLシェルではなく、UTF-8で、128 KB未満)、構造(先頭に1つのH1、その直後に要約のブロック引用、リスト形式のリンクを持つH2セクション、それより深い見出しなし)、リンクの品質(- [Title](URL): description 形式の絶対URL、生のHTMLなし、プレースホルダーのテキストなし)です。

llms.txtスコア
合格した重み付きチェック ÷ 重み付きチェックの合計 × 100
  • Required(必須)チェックの重みは1、recommended(推奨)チェックの重みは0.5、参考のヒントの重みは0です(ガイダンスとして表示され、減点されることはありません)。
  • 各チェックには、合格したかどうか、期待される内容、例が表示されます。
  • Re-check now はファイルを再取得します(0.005クレジット)。Re-check competitors は競合のファイルを再採点します。

具体例#

完全なレビューでは、必須5件と推奨19件のチェック(加えて参考のヒント4件)が実行され、合計は 5 + 9.5 = 14.5ポイントです。すべての必須チェックと推奨チェックのうち15件に合格したファイルのスコアは (5 + 7.5) ÷ 14.5 × 100 = 86 です。

アクセシビリティツリー#

AIエージェントは、ピクセルではなくアクセシビリティツリー(ロール、名前、構造)を通じてページを操作します。AmICitedはホームページのHTMLをチェックし、他のページは Check URL で確認できます(1回のレビューにつき0.005クレジット)。チェック項目は、ページに到達できるか、操作要素に名前があるか、非表示の操作要素がないか、画像に代替テキストがあるか、フォームコントロールにラベルがあるか、H1が1つだけか、見出しの順序、mainランドマーク、ページの言語の宣言、ドキュメントタイトルです。

WebMCP、エージェンティックコマース、Common Crawl#

  • WebMCP。 ホームページが、ページから推測させるのではなく、エージェントが直接呼び出せるツール(検索、カートに追加、予約など)を公開しているかを検出します。宣言型のツールは読み取りまたは書き込みのフラグ付きで一覧表示されます。JavaScriptから登録されたツールは記載されますが、静的HTMLからは一覧化できません。
  • エージェンティックコマース。 ホームページが、エージェントによる閲覧、チェックアウト、支払いを可能にするプロトコル(ACP、UCP)を公開しているかを、マニフェストへのリンクとともに検出します。
  • Common Crawl。 CCBotがサイトを取得できるか(許可、robots.txtで禁止、CDNのエッジでブロックのいずれか)、ドメインが最新のインデックスに含まれているか、取得されたURL数、そして競合と比較した時系列での自社の存在感を示します。Common Crawlは、多くのオープンな学習データセットの元になっているコーパスです。GPTBot、OAI-SearchBot、PerplexityBotが取得するものとは別なので、ライブのAI検索とは切り離して読み取ってください。
  • ドメイン登録と証明書。 ドメイン登録とTLS証明書の有効期限までの日数、およびレジストラを表示します。

サイト監査#

サイト監査は、ドメインのサイトマップ内のすべてのURLをクロールし、各ページの技術的な情報とリンクを記録して、内部リンクグラフを算出します。

  1. スキャンを設定する

    Audit → Site audit に移動し、Schedule scan をクリックします。ペース(1秒あたりのリクエスト数、同時リクエスト数、リクエストごとの最大待機時間)、停止条件(最大URL数、最大所要時間、エラー率)、含める、または除外するURL(それぞれ正規表現を最大20件)、外部サイトへのリンクを保存するかどうか、そして Repeat scan をN日ごとに行うかどうかを設定します。

  2. 料金を確認して確定する

    Get price をクリックします。見積もりでは、サイトマップのURLを数え、フィルターとプランの上限を適用し、URLあたり0.002クレジット(1,000 URL = 2クレジット)でスキャンの料金を算出します。見積もりの有効期間は1時間で、残高が全額をカバーしていない場合はスキャンを開始できません。

  3. レポートを読む

    タブは Issues、Pages & links、Outbound domains、Runs、Server response、Crawl log です。実行が完了すると通知が届きます。

クローラーは、サイトに負荷をかけないように設計されています。サイトが429または503を返した場合は速度を半分にして一時停止し、応答時間が2倍になると速度を落とします。停止したスキャンは、それまでに取得した内容をすべて保持し、その分のみが課金されます。各ページには、オーガニッククリック数と有料クリック数とともに、PageRank(通常のもの、およびリンクの位置で重み付けしたもの。メインコンテンツはナビゲーションやフッターより重視されます)が付与されます。トラフィックの列には、Search Consoleまたは広告プラットフォームの接続が必要です。

関連ページ#