AIエージェント向けAIアクセシビリティ

AIクローラーのアクセス証拠

Common Crawlの存在は一般的にAIコーパス到達性の有用な証拠ですが、1つの合格/不合格ではなく、3つの個別で正直に報告された事実として扱われます：robotsがCCBotを許可しているか、実際のCCBotスタイルのリクエストが成功するか、ホストが公開インデックスで確認されているか。フットプリントチャートは、クロールウィンドウの日付をホストごとのキャプチャURL数に対してプロットします——確認済みの不存在はゼロとして描画されますが、未チェックまたはエラーのポイントは線から除外され、推測されることはありません。2つ目のチャートは、キャプチャ総数をAI引用数と照合し、少なくとも5つのドメインが比較された場合にのみスピアマン相関を報告し、一方が他方の原因であると主張することは決してありません。

• 1つではなく3つのチェック — robotsの許可、実際のボットリクエスト、確認済みのインデックスエントリが独立して報告されます。
• 不明なものは不明のまま — 「未チェック」とインデックスエラーは、不存在や不合格スコアとしてレンダリングされることはありません。
• 確認済みの不存在は本当のゼロ — 意図的にプロットされ、単に測定されなかったポイントとは区別されます。
• 相関関係、因果関係ではない — キャプチャ対引用のビューは、5つ以上のドメインが必要になってからスピアマン値を報告し、その関係を観察的なものとして示します。