Legat de analiza logurilor - iată concret la ce să te uiți:
Înainte de modificarea robots.txt:
Cereri GPTBot: 0
Cereri PerplexityBot: 0
După modificarea robots.txt (dacă funcționează):
Cereri GPTBot: 50-200+ în prima săptămână
Cereri PerplexityBot: 30-100+ în prima săptămână
Dacă nu vezi activitate crawler AI în 48-72 de ore de la schimbarea robots.txt, ceva nu e în regulă:
- Verifică dacă schimbarea e live
- Confirmă că nu există alte blocări (meta tag-uri etc.)
- Asigură crawlabilitatea tehnică (fără erori de server)
Datele noastre după permiterea crawlerelor AI:
- Ziua 1-2: Prima vizită GPTBot
- Ziua 3-7: 150 cereri de la boti AI
- Săptămâna 2: Model de crawl stabilit (vizite zilnice)
Acesta e primul punct de validare.