Før du bekymrer dig om hastighed, så verificer adgang.
Tjek din robots.txt for:
User-agent: GPTBot
User-agent: PerplexityBot
User-agent: ClaudeBot
User-agent: Anthropic-AI
User-agent: Google-Extended
Hvis nogen er blokeret, har du fundet problemet.
Tjek serverlogs for:
- GPTBot-besøg
- PerplexityBot-besøg
- ClaudeBot-besøg
- Crawl-frekvens
- Succesfulde vs. fejlsvar
Hvad vi opdagede:
Nyt indhold lå i en /resources/-undermappe, som ved en fejl var blokeret af en gammel robots.txt-regel. Indholdet blev aldrig crawlet.
Fikset reglen. Indhold begyndte at dukke op inden for 3 uger.
Andre adgangsproblemer:
- Login-mure
- JavaScript-rendering krav
- Meget langsom sidehastighed
- Serverfejl ved crawlerbesøg
Tjek adgang før du antager, at opdagelsen er problemet.