Come faccio a sapere se i crawler AI possono effettivamente accedere al mio sito? Guida ai test necessaria

Guida completa ai test:

Passo 1: Controllo robots.txt

Controlla il tuo robots.txt su tuodominio.com/robots.txt

Cerca:

# Buono - Consente esplicitamente i crawler AI
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

Attenzione a:

# Cattivo - Blocco wildcard di tutti i bot non specificati
User-agent: *
Disallow: /

# Cattivo - Blocco esplicito dei crawler AI
User-agent: GPTBot
Disallow: /

Passo 2: Tester robots.txt

Usa il tester robots.txt di Google o strumenti online. Testa con questi user agent:

• GPTBot
• PerplexityBot
• ClaudeBot
• anthropic-ai

Inserisci i tuoi URL chiave e verifica se sono consentiti.

Passo 3: Analisi dei log del server

Cerca firme dei bot AI nei log. Dettagli nella prossima risposta.

Problemi comuni che bloccano i crawler AI:

1. Wildcard robots.txt

User-agent: *
Disallow: /

Questo blocca TUTTI i bot non specificati, inclusi i crawler AI.

Correzione:

User-agent: Googlebot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /

2. Rate Limiting Limitazioni eccessive possono bloccare gli IP dei crawler. Verifica se il tuo WAF o CDN sta bloccando.

3. Blocchi IP Alcuni plugin di sicurezza bloccano IP “sospetti”. Gli IP dei crawler AI potrebbero essere segnalati.

4. Richiesta di autenticazione Qualsiasi richiesta di login blocca i crawler. Assicurati che i contenuti pubblici siano davvero pubblici.

5. Rendering JavaScript I contenuti visibili solo tramite JS potrebbero non essere accessibili. I crawler AI potrebbero non eseguire completamente JavaScript.

6. Risposta lenta Pagine che impiegano più di 5-10 secondi potrebbero andare in timeout. I crawler potrebbero interrompere la scansione.

Test di ciascuno:

• robots.txt: Controllo diretto via URL
• Rate limiting: Verifica log WAF/CDN
• Blocco IP: Test da IP differenti
• Autenticazione: Navigazione anonima
• JS: Confronta sorgente pagina vs. renderizzata
• Velocità: GTmetrix o simili

Lista completa user agent crawler AI:

OpenAI:

GPTBot

Usato per training e navigazione ChatGPT.

Perplexity:

PerplexityBot

Usato per la ricerca Perplexity AI.

Anthropic:

ClaudeBot
anthropic-ai

Usato per Claude AI.

Google:

Google-Extended

Usato per il training Google AI/Gemini.

Common Crawl:

CCBot

Usato da molti sistemi AI per dati di training.

Il tuo robots.txt dovrebbe includere:

# Crawler AI
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

Se vuoi bloccarne qualcuno in particolare, usa Disallow. La maggior parte delle aziende vuole consentire tutti.

Strumenti online per il testing:

1. Tester robots.txt di Google (Nella Search Console)

• Inserisci user agent personalizzati
• Testa URL specifici
• Visualizza risultato consentito/bloccato

2. SEO Spider Tools

• Screaming Frog
• Sitebulb
• DeepCrawl Possono effettuare crawling come user agent specifici.

3. Test manuale

# Test con curl come GPTBot
curl -A "GPTBot" https://iltuosito.com/pagina

# Verifica codice di risposta
curl -I -A "GPTBot" https://iltuosito.com/pagina

4. Validator robots.txt

• Tester robots.txt di Google
• robots.txt Validator (diversi online)
• Strumenti di controllo sintassi

Cosa testare:

• Homepage
• Pagine principali di contenuto
• Articoli blog
• Pagine prodotto
• FAQ

Testa esplicitamente le tue pagine più importanti.

Se non ti senti a tuo agio con la riga di comando:

Analisi log via GUI:

• GoAccess (gratuito, analizzatore log visuale)
• AWStats (analizzatore classico)
• Matomo (analytics self-hosted)

Analisi log in cloud:

• Cloudflare Analytics (se usi CF)
• AWS CloudWatch (se su AWS)
• Google Cloud Logging

Servizi terzi:

• Loggly
• Papertrail
• Datadog

Cosa cercare: Crea un filtro/ricerca per user agent dei bot AI. Imposta alert per risposte 403/500 ai bot AI. Monitora l’andamento nel tempo.

Metriche dashboard semplici:

• Visite bot AI al giorno
• Pagine più scansionate
• Tasso di errore
• Trend delle scansioni

Se vedi traffico bot AI pari a zero per oltre 2 settimane, c’è qualcosa che non va.

CDN e WAF spesso bloccano i crawler AI:

Cloudflare:

• Bot Fight Mode può bloccare i bot AI
• Controlla Security > Bots
• Aggiungi eccezioni per gli IP dei crawler AI se necessario

AWS CloudFront/WAF:

• Le regole AWS WAF possono bloccare
• Controlla i log WAF per richieste bloccate
• Crea regole di allow per i bot AI

Akamai:

• Impostazioni Bot Manager
• Potrebbe richiedere l’inserimento in allowlist

Come controllare:

1. Controlla i log CDN/WAF, non solo quelli di origine
2. Cerca richieste bloccate/challenged
3. Cerca user agent specifici dei bot AI

La nostra scoperta: Il Bot Fight Mode di Cloudflare bloccava GPTBot. Disattivato specificamente per i crawler AI. Abbiamo visto le prime visite GPTBot entro 24 ore.

Controlla il layer edge, non solo quello di origine.

Routine mensile health check crawler AI:

Controllo rapido settimanale (5 min):

1. Rapida ricerca log per bot AI
2. Nota eventuali errori
3. Controlla andamento visite

Controllo approfondito mensile (30 min):

1. Audit robots.txt

   • Consente ancora i crawler AI?
   • Aggiunte nuove regole che possono bloccare?

2. Analisi log

   • Quali bot AI stanno visitando?
   • Quali pagine sono più scansionate?
   • Pattern di errori?

3. Controllo velocità pagina

   • Pagine chiave ancora veloci?
   • Nuovi problemi di performance?

4. Accessibilità contenuti

   • Nuove barriere di login?
   • Nuovi contenuti JS-only?
   • Nuovi redirect?

5. Revisione CDN/WAF

   • Nuove regole di sicurezza?
   • Pattern di richieste bloccate?

Documenta i risultati: Crea un semplice foglio di calcolo con:

• Data
• Bot AI rilevati
• Numero visite
• Problemi trovati
• Azioni intraprese

Così intercetti i problemi prima che diventino invisibili.

Se non vedi visite dei crawler AI:

Checklist di troubleshooting:

1. Verifica che robots.txt consenta l’accesso ✓ Nessun Disallow per i bot AI ✓ Nessun blocco wildcard

2. Controlla accessibilità server ✓ Il sito si carica da IP diversi ✓ Nessun blocco geografico

3. Verifica CDN/WAF ✓ La protezione bot non blocca ✓ Nessun blocco IP bot AI

4. Controlla velocità pagina ✓ Le pagine si caricano in meno di 3 secondi ✓ Nessun problema di timeout

5. Verifica accessibilità HTML ✓ Contenuti visibili senza JS ✓ Nessuna richiesta di login

6. Controlla sitemap ✓ La sitemap esiste ed è valida ✓ Le pagine importanti sono incluse

7. Segnali esterni ✓ Il sito ha link esterni ✓ Un po’ di presenza web oltre il proprio dominio

Se tutto OK ma ancora nessuna visita: Il tuo sito potrebbe non essere ancora scoperto. Costruisci segnali esterni per attirare attenzione.

Tempi tipici per la prima visita:

• Nuovo sito: 2-4 settimane dopo menzione esterna
• Sito esistente con correzione: 1-2 settimane dopo la correzione
• Sito ben linkato: Visite quotidiane

Perfetto. Ora ho un framework di test adeguato.

Il mio piano di test:

Oggi:

1. Controllo robots.txt su /robots.txt
2. Verifica che i crawler AI siano esplicitamente consentiti
3. Test con comando curl

Questa settimana:

1. Analisi log server per visite bot AI
2. Controllo CDN/WAF per blocchi
3. Configurazione monitoraggio log per bot AI

Mensile:

1. Revisione trend visite crawler AI
2. Controllo risposte di errore
3. Verifica che la velocità delle pagine sia mantenuta
4. Audit di eventuali modifiche robots.txt

Azioni trovate:

• Aggiungere regole Allow esplicite per i crawler AI
• Verifica gestione bot Cloudflare
• Impostazione alert log automatizzati

Insight chiave: I test di accesso non sono una tantum. Nuove regole, nuove misure di sicurezza possono bloccare l’accesso. Un monitoraggio regolare intercetta i problemi in anticipo.

Grazie a tutti - ora ho il framework di test che mi serviva.