Sull’analisi dei log - ecco esattamente cosa cercare:
Prima della modifica a robots.txt:
Richieste GPTBot: 0
Richieste PerplexityBot: 0
Dopo la modifica a robots.txt (se funziona):
Richieste GPTBot: 50-200+ nella prima settimana
Richieste PerplexityBot: 30-100+ nella prima settimana
Se non vedi attività dei crawler AI entro 48-72 ore dalla modifica di robots.txt, qualcosa non va:
- Verifica che la modifica sia effettivamente attiva
- Verifica che non ci siano altri blocchi (meta tag, ecc.)
- Assicurati della crawlabilità tecnica (nessun errore server)
I nostri dati dopo aver consentito i crawler AI:
- Giorno 1-2: Prima visita GPTBot
- Giorno 3-7: 150 richieste tra i bot AI
- Settimana 2: Modello di crawling stabilito (visite giornaliere)
Questo è il tuo primo punto di validazione.