Controleer eerst de toegang voordat je je zorgen maakt over snelheid.
Controleer je robots.txt op:
User-agent: GPTBot
User-agent: PerplexityBot
User-agent: ClaudeBot
User-agent: Anthropic-AI
User-agent: Google-Extended
Als er een is geblokkeerd, heb je het probleem gevonden.
Controleer serverlogs op:
- GPTBot bezoeken
- PerplexityBot bezoeken
- ClaudeBot bezoeken
- Frequentie van crawls
- Succesvolle versus fout-responses
Wat wij ontdekten:
Nieuw contentgedeelte stond in een /resources/ submap die per ongeluk werd geblokkeerd door een oude robots.txt-regel. Content werd nooit gecrawld.
Regel gefixt. Content verscheen binnen 3 weken.
Andere toegangsproblemen:
- Login-walls
- JavaScript rendering benodigd
- Zeer trage paginasnelheid
- Serverfouten bij crawler-bezoeken
Controleer toegang voordat je aanneemt dat ontdekking het probleem is.