AIボットがサイトにアクセスしているのに引用されない。クロールの問題をどうやってデバッグする？

デバッグをお手伝いします。クロールと引用はイコールではありません。診断フレームワークは以下の通りです。

ステップ1：クローラーが実際に何を見ているか確認

AIユーザーエージェントでcurlを使います：

curl -A "GPTBot" -s https://yoursite.com/page | head -100

チェックポイント：

• コンテンツ全文が表示されるか
• meta robotsやX-Robots-Tagヘッダーはあるか
• HTML内にコンテンツがあり、JS実行を必要としないか

ステップ2：隠れたブロッカーを確認

よくある問題：

• noindexメタタグ（インデックスをブロック）
• X-Robots-Tag: noindexヘッダー
• カノニカルが他のURLを指す
• コンテンツがページロード後にJavaScriptで読み込まれる
• ログインやペイウォール検知でボットに異なる内容を返している

ステップ3：コンテンツ品質をチェック

クロールが問題ないなら、問題はコンテンツ側です：

• 本当に独自性があるか、それともよくある情報のバリエーションか
• AIが情報を抽出しやすい構造か
• 権威性のシグナル（著者、引用など）はあるか
• 十分に網羅的で、そのテーマの「決定版」になっているか

よくある最大の問題：

技術的にはクロールできているが、コンテンツが引用に値しません。クローラーは来ても、AIはより良い情報源を選びます。

「アクセス可能」と「引用に値する」のギャップは、技術的なアクセスではなくコンテンツの質と構造にあります。

AIクローラーのログ解析方法を紹介します。

AIクローラーのログ分析：

# AIクローラーのアクセスを全て抽出
grep -E "(GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended)" access.log

# ステータスコードをチェック
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c

# よくアクセスされるページを確認
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn

確認ポイント：

1. ステータスコード

   • 200: 正常にコンテンツ取得
   • 301/302: リダイレクト - 適切に着地しているか確認
   • 403/404: 問題 - すぐに修正
   • 500: サーバーエラー - 要調査

2. クロールパターン

   • どのページが多くクロールされているか
   • 重要なページが訪問されているか
   • 一度もクロールされていないページはないか

3. クロール頻度

   • GPTBot: 通常は1日に複数回
   • PerplexityBot: 非常に頻繁（リアルタイム検索）
   • 数週間ヒットがない場合はrobots.txtを確認

よくあるログの問題：

• CDNが本来のユーザーエージェントを隠している
• ロードバランサーがヘッダーを削除している
• ログローテーションでクローラーヒットが見逃される

生でフィルタされていないログを必ず確認しましょう。

技術的なアクセスを確認済みとのことなので、コンテンツ面についてコメントします。

AIがクロールするのに引用しない理由：

1. コンテンツが汎用的 「メールマーケティングのコツ5選」― こんな内容は1万件以上あります。AIはベストなものだけを引用します。

2. 抽出可能な答えがない 物語形式で要点が明確でないとAIは引用しにくいです。

3. 情報が古い 「2023年のトレンド」など古い内容だとAIは新しい情報源を選ぶことがあります。

4. 権威性のシグナルが弱い 著者情報や引用元、資格の表示がない。

5. 構造が悪い AIはパースしやすい明確なセクションを求めます。流れるような文章は抽出しづらいです。

診断テスト：

自問してみてください。もし自分がAIで、このテーマの引用元を1つ選ぶなら自分のコンテンツを選ぶか、競合を選ぶか？

正直に。競合にあって自分にないものは？

多くの場合：

• より網羅的なカバー範囲
• 抽出しやすい構造
• 権威性の強いシグナル
• より新しい情報

これらを強化すれば引用も増えます。

JavaScriptレンダリングに関する技術的な深掘りです：

サーバーレンダリングメインでも、以下を確認してください：

1. 遅延読み込みされるコンテンツセクション 重要な内容がファーストビュー以降で後から読み込まれる場合。

// この内容はクローラーに見えない可能性があります
<div data-lazy="true">重要なコンテンツ</div>

2. インタラクティブ要素で隠れるコンテンツ タブ、アコーディオン、展開セクションなど、AIがアクセスできない領域があるかも。

3. JavaScriptで生成される構造化データ スキーマがJSで挿入されている場合、クローラーは認識できないことがあります。

テストツール：

GoogleのモバイルフレンドリーテストでレンダリングされたHTMLが確認できます： https://search.google.com/test/mobile-friendly

表示される内容と実際のページを比較し、差分があれば可視性の問題の原因となります。

簡易チェック：

JavaScriptを無効でページを閲覧。そこで表示されるものがクローラーに確実に見えている内容です。主要なコンテンツが見えないなら、それが問題です。

引用を妨げるスキーマの問題：

コンテンツが見えていても、スキーマが悪いと損します：

1. 無効なスキーママークアップ Googleのリッチリザルトテストで検証を。無効なスキーマは無視されることも。

2. スキーマがない Organization, Article, FAQなどのスキーマがなければAIは内容タイプを推測する必要が出てきます。

3. 矛盾するスキーマ 複数のOrganizationスキーマで情報が異なる場合、AIはどちらを信じるべきかわかりません。

テスト方法：

# スキーマの有無を確認
curl -s https://yoursite.com | grep -o 'application/ld+json' | wc -l

それぞれのスキーマブロックは https://validator.schema.org/ で検証してください。

よくあるスキーマエラー：

• @contextの欠如
• 間違った@type
• 無効な日付形式
• http/httpsなしのURLフィールド
• 必須プロパティの欠如

スキーマエラーを修正しましょう。AIシステムはスキーマを解析して内容を理解します。無効なスキーマ＝内容が不明瞭です。

このスレッドで気付きました：うちの問題は技術的なものではありませんでした。

テストしたこと：

• AIユーザーエージェントでcurl：コンテンツは正しく表示
• noindexタグなし
• スキーマも正しく検証済み
• JavaScriptで重要な内容が隠れていない
• ログにもクローラーの200アクセスが定期的に記録

引用される競合と比較して分かったこと：

競合は

• 最初の段落で直接的な答え（うちは答えが埋もれている）
• FAQセクション＋スキーマ（うちにはなし）
• 資格付き著者プロフィール（うちは汎用的）
• 比較表（うちは物語形式の段落）
• 更新日が新しい（うちは18ヶ月放置）

今後のアクションプラン：

1. 技術的なデバッグはやめる（問題はそこではない）
2. コンテンツの品質と構造に注力
3. FAQセクションとスキーマを追加
4. 直接的な答えを構造化
5. 著者資格を明記
6. 古い内容を更新

最大の気付き：

クロールしているのに引用されない＝コンテンツの品質・構造の問題であり、技術的問題ではない。

間違ったレイヤーをデバッグしていました。皆さんありがとう！