Jak sprawdzić, czy crawlerzy AI widzą Twoje treści:
Sprawdź logi serwera pod kątem:
GPTBot - OpenAI
PerplexityBot - Perplexity
ClaudeBot - Anthropic
ChatGPT-User - ChatGPT browsing
Symuluj, co widzą crawlerzy:
- Wyłącz JavaScript w przeglądarce
- Otwórz swoje strony
- To właśnie widzą crawlerzy
Po wdrożeniu prerenderingu:
- Sprawdź, czy crawlerzy dostają odpowiedzi 200
- Zweryfikuj, czy HTML zawiera właściwą treść
- Test przy pomocy curl:
curl -H "User-Agent: GPTBot" https://yoursite.com/page
Śledź częstotliwość crawlów:
- Monitoruj, jak często boty AI odwiedzają stronę
- Dobry prerendering = częstsze crawlery
- Upewnij się, że wszystkie ważne strony są cache’owane
Weryfikacja crawlów pokaże Ci, czy poprawka zadziałała.