Før du bekymrer deg for hastighet, sjekk tilgang.
Sjekk robots.txt for:
User-agent: GPTBot
User-agent: PerplexityBot
User-agent: ClaudeBot
User-agent: Anthropic-AI
User-agent: Google-Extended
Hvis noen av disse er blokkert, har du funnet problemet.
Sjekk serverlogger for:
- GPTBot-besøk
- PerplexityBot-besøk
- ClaudeBot-besøk
- Crawl-frekvens
- Vellykkede vs. feilede forespørsler
Hva vi oppdaget:
Nytt innhold lå i en /resources/-undermappe som ved en feil var blokkert av en gammel robots.txt-regel. Innholdet ble aldri crawlet.
Rettet regelen. Innholdet begynte å vises innen 3 uker.
Andre tilgangsproblemer:
- Innloggingsmurer
- JavaScript-krav for rendering
- Veldig treg sidehastighet
- Serverfeil ved crawler-besøk
Sjekk tilgang før du antar at oppdagelse er problemet.