Her er hvordan du tjekker om AI-crawlere besøger dine sider:
Serverlog-mønstre at kigge efter:
User-Agent mønstre:
- GPTBot/1.0
- PerplexityBot
- ChatGPT-User (browsing mode)
- Google-Extended (Gemini training)
- ClaudeBot
Hvad jeg fandt i vores logs:
- PerplexityBot: Besøger 2-3 dage efter Google crawl
- GPTBot: Mindre hyppig, mere omfattende crawls
- ChatGPT-User: Udløses af faktiske brugerforespørgsler
Indsigter fra loganalyse:
- Sider med meget trafik bliver crawlet oftere
- Nye sider opdages via interne links
- Sider med stærk Google-rangering prioriteres
Hvis du ikke ser AI-crawlere:
- Tjek at robots.txt ikke blokerer dem
- Verificer at siderne er godt internt linket
- Overvej din sides overordnede autoritet
Pro tip:
Hvis PerplexityBot har besøgt men indholdet ikke vises i svar, er problemet relevans/autoritet, ikke opdagelse.