Jak ověřit, že AI crawlery vidí váš obsah:
Zkontrolujte serverové logy na:
GPTBot - OpenAI
PerplexityBot - Perplexity
ClaudeBot - Anthropic
ChatGPT-User - ChatGPT browsing
Simulace pohledu crawleru:
- Vypněte JavaScript v prohlížeči
- Prohlédněte si své stránky
- To je to, co crawlery vidí
Po nasazení prerenderingu:
- Ověřte, že crawlery dostávají odpověď 200
- Zkontrolujte, že HTML obsahuje skutečný obsah
- Testujte pomocí curl:
curl -H "User-Agent: GPTBot" https://yoursite.com/page
Sledujte frekvenci crawlů:
- Kontrolujte, jak často AI boti navštěvují web
- Dobrý prerendering = častější crawlery
- Ověřte, že všechny důležité stránky jsou cachované
Ověření crawlů ukáže, zda oprava fungovala.