Crawleråtkomsten är icke-förhandlingsbar.
Kontrollera din robots.txt för:
# AI Crawlers - Tillåt åtkomst
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: Google-Extended
Allow: /
Om du vill blockera (för opt-out):
User-agent: GPTBot
Disallow: /
Vår upptäckt:
Gammal robots.txt blockerade GPTBot på grund av wildcard-regler från 2019.
Att fixa denna enda sak ledde till första AI-crawlerbesöken inom 48 timmar.
Kolla robots.txt före allt annat.