Prístup pre crawlery je nevyhnutný.
Skontrolujte svoj robots.txt na:
# AI Crawlers - Povoliť prístup
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
Ak chcete blokovať (pre opt-out):
User-agent: GPTBot
Disallow: /
Naše zistenie:
Pôvodný robots.txt blokoval GPTBot kvôli zástupným pravidlám z roku 2019.
Opravením tohto jediného problému sa prvé návštevy AI crawlera objavili do 48 hodín.
Najskôr skontrolujte robots.txt.