Jeśli chodzi o analizę logów – oto dokładnie, na co patrzeć:
Przed zmianą robots.txt:
Żądania GPTBot: 0
Żądania PerplexityBot: 0
Po zmianie robots.txt (jeśli działa):
Żądania GPTBot: 50–200+ w pierwszym tygodniu
Żądania PerplexityBot: 30–100+ w pierwszym tygodniu
Jeśli nie widzisz aktywności crawlerów AI w ciągu 48–72 godzin od zmiany robots.txt, coś jest nie tak:
- Sprawdź, czy zmiana faktycznie działa
- Zweryfikuj brak innych blokad (meta tagi itd.)
- Upewnij się, że crawl jest technicznie możliwy (brak błędów serwera)
Nasze dane po dopuszczeniu AI crawlerów:
- Dzień 1–2: Pierwsza wizyta GPTBot
- Dzień 3–7: 150 żądań od botów AI
- Tydzień 2: Ustabilizowany wzorzec crawl (codzienne wizyty)
To Twój pierwszy punkt walidacji.