Come Verificare la Copertura di Robots.txt e Sitemap in AmICited

Se i crawler AI non possono leggere il tuo sito, nessun’altra ottimizzazione conta. Il controllo Robots.txt e Sitemap conferma che i crawler a cui tieni siano autorizzati — e che le tue sitemap li indirizzino effettivamente ai tuoi contenuti.

Dove trovarlo

È la sezione Robots.txt e Sitemap di Audit → Agent Accessibility.

Cosa controlla

Come spiega la sezione, verifica “se i principali crawler AI e di ricerca sono autorizzati a leggere il sito, se le sitemap sono dichiarate in robots.txt e quante URL quelle sitemap elencano in totale.” In sintesi:

• Accesso crawler — i principali bot AI e di ricerca sono permessi (non bloccati) in robots.txt?
• Dichiarazione sitemap — una sitemap è referenziata da robots.txt in modo che i crawler possano trovarla?
• Copertura sitemap — quante URL le tue sitemap elencano in totale.

Come usarlo

1. Conferma che i crawler siano autorizzati. Se un importante bot AI è bloccato, correggi la regola in robots.txt — questo è il problema con la massima priorità nella pagina.
2. Dichiara la tua sitemap. Assicurati che robots.txt punti alla tua sitemap in modo che gli agenti possano scoprire tutte le tue pagine.
3. Controlla il conteggio delle URL. Una sitemap che elenca molte meno URL di quante ne hai pubblicate significa che le pagine non vengono pubblicizzate ai crawler.
4. Ricontrolla dopo le modifiche e verifica che i riquadri Accesso crawler e URL sitemap nel riepilogo di prontezza diventino verdi.

L’accesso dei crawler è il fondamento: sistemalo prima di tutto, perché tutto il resto presuppone che i bot possano effettivamente raggiungere i tuoi contenuti.