Zanim zaczniesz martwić się o tempo, sprawdź dostępność.
Sprawdź swój robots.txt pod kątem:
User-agent: GPTBot
User-agent: PerplexityBot
User-agent: ClaudeBot
User-agent: Anthropic-AI
User-agent: Google-Extended
Jeśli któryś z nich jest zablokowany, znalazłeś przyczynę problemu.
Sprawdź logi serwera pod kątem:
- Wizyt GPTBot
- Wizyt PerplexityBot
- Wizyt ClaudeBot
- Częstotliwości crawlów
- Odpowiedzi: sukces vs. błąd
Co odkryliśmy:
Nowa sekcja treści była w podfolderze /resources/, który był przypadkowo zablokowany przez starą regułę w robots.txt. Treści nigdy nie były crawlowane.
Naprawiliśmy regułę. Treść pojawiła się w ciągu 3 tygodni.
Inne problemy z dostępem:
- Ściany logowania
- Wymagania renderowania JavaScript
- Bardzo wolne ładowanie strony
- Błędy serwera dla crawlerów
Sprawdź dostęp, zanim założysz, że problemem jest samo odkrycie.