Zo check je of AI-crawlers je pagina’s bezoeken:
Serverlog-patronen om op te letten:
User-Agent-patronen:
- GPTBot/1.0
- PerplexityBot
- ChatGPT-User (browsing mode)
- Google-Extended (Gemini training)
- ClaudeBot
Wat ik in onze logs vond:
- PerplexityBot: Bezoekt 2-3 dagen na Google-crawl
- GPTBot: Minder frequent, maar grondigere crawls
- ChatGPT-User: Wordt geactiveerd door echte gebruikersvragen
Inzichten uit loganalyse:
- Pagina’s met veel verkeer worden vaker gecrawld
- Nieuwe pagina’s worden ontdekt via interne links
- Pagina’s met hoge Google-ranking krijgen voorrang
Als je geen AI-crawlers ziet:
- Controleer of robots.txt ze niet blokkeert
- Zorg dat pagina’s goed intern gelinkt zijn
- Kijk naar de algehele autoriteit van je site
Pro tip:
Als PerplexityBot is geweest, maar je content niet in antwoorden verschijnt, ligt het aan relevantie/autoriteit, niet aan vindbaarheid.