Come Verificare la Copertura di Robots.txt e Sitemap in AmICited

Se i crawler AI non possono leggere il tuo sito, nessun’altra ottimizzazione conta.

Cos’è robots.txt, e perché decide se l’AI può vederti?

Robots.txt è un file di testo semplice che si trova alla radice del tuo dominio (iltuosito.com/robots.txt) e indica ai crawler quali parti del tuo sito sono autorizzati a richiedere. Precede il boom dell’AI di decenni — è stato originariamente creato affinché bot dei motori di ricerca come Googlebot non perdessero tempo a scansionare pagine di amministrazione, ambienti di staging o contenuti duplicati. Ma lo stesso meccanismo governa oggi una decisione dalla posta in gioco molto più alta: se GPTBot, ClaudeBot, PerplexityBot, Google-Extended e gli altri crawler AI che alimentano i moderni motori di risposta sono autorizzati a recuperare le tue pagine.

Ogni crawler ben educato controlla robots.txt prima di richiedere qualsiasi altra cosa. Il file è organizzato in blocchi, ciascuno che inizia con una riga User-agent che nomina un bot specifico (o * per tutti i bot), seguita da regole Allow e Disallow che specificano quali percorsi quel bot può o non può recuperare. Una singola regola generica come Disallow: / sotto User-agent: GPTBot è sufficiente per escludere quel crawler dall’intero sito — e non comparirà nelle citazioni di ChatGPT, per quanto buono sia il tuo contenuto. Ecco perché la crawlability — la proprietà generale di un sito di essere tecnicamente raggiungibile dai bot — è considerata il livello fondamentale della visibilità AI search, piuttosto che un ripensamento.

Robots.txt ha anche un secondo compito: è tipicamente il punto in cui i crawler cercano un riferimento alla tua sitemap, tramite una direttiva Sitemap:. Una sitemap XML è un elenco strutturato degli URL del tuo sito che vuoi che i crawler conoscano, spesso includendo metadati come le date di ultima modifica. Dove robots.txt controlla il permesso, la sitemap controlla la scoperta — è la mappa che indica ai crawler cosa esiste, così non devono trovare ogni pagina esclusivamente seguendo i link. Un sito può avere regole robots.txt perfettamente permissive ed essere comunque sotto-indicizzato dai sistemi AI semplicemente perché la sua sitemap è assente, non referenziata o incompleta.

Questi due file contano più per la visibilità AI di quanto abbiano mai contato per la SEO tradizionale. I motori di ricerca hanno scansionato il web per oltre 25 anni e costruito enormi grafi di link che permettono a Googlebot di scoprire pagine anche senza una sitemap. I crawler AI sono più recenti, spesso più conservativi su quanta parte di un sito recuperano, e più propensi a essere bloccati del tutto da regole robots.txt scritte pensando solo a Googlebot. Una regola che esclude silenziosamente bot “sconosciuti” o dall’aspetto aggressivo può colpire GPTBot o ClaudeBot come danno collaterale. Questa è la specifica modalità di fallimento che il controllo Robots.txt e Sitemap esiste per individuare — ed è per questo che è una delle prime cose che qualsiasi audit di accessibilità AI dovrebbe verificare, prima di dedicare tempo a contenuti, schema o altro.

Dove trovarlo

È la sezione Robots.txt e Sitemap di Audit → Agent Accessibility. Agent Accessibility è la parte dell’audit di AmICited focalizzata specificamente sul fatto che i sistemi AI possano tecnicamente raggiungere e interpretare i tuoi contenuti, distinta dalle parti del prodotto dedicate alla qualità dei contenuti e al tracciamento delle citazioni. Robots.txt e Sitemap è tipicamente il primo controllo di quella sezione, perché tutto il resto che l’audit misura presuppone che i crawler possano entrare dalla porta principale.

Cosa controlla

Come spiega la sezione, verifica “se i principali crawler AI e di ricerca sono autorizzati a leggere il sito, se le sitemap sono dichiarate in robots.txt e quante URL quelle sitemap elencano in totale.” In sintesi:

• Accesso crawler — i principali bot AI e di ricerca sono permessi (non bloccati) in robots.txt? AmICited valuta le tue regole robots.txt effettive rispetto alle stringhe user-agent dei crawler che contano per la visibilità AI search, così vedi, bot per bot, se è consentito, bloccato o semplicemente non affrontato da alcuna regola (il che di solito ricade nel permesso predefinito sotto il blocco wildcard).
• Dichiarazione sitemap — una sitemap è referenziata da robots.txt in modo che i crawler possano trovarla? Una sitemap che esiste ma non è collegata da robots.txt (e non è stata inviata altrove) ha molte meno probabilità di essere rilevata automaticamente.
• Copertura sitemap — quante URL le tue sitemap elencano in totale, offrendoti un rapido controllo di coerenza su se le tue pagine pubblicate vengono effettivamente pubblicizzate ai crawler.

Insieme, questi tre controlli rispondono alle due domande che determinano se un sistema AI può anche solo iniziare a valutare il tuo contenuto: questo crawler è ammesso, e sa cosa recuperare una volta qui. Un brand può fare tutto correttamente sul fronte dei contenuti — risposte chiare, forti segnali di entità, pagine ben strutturate — ed essere comunque invisibile nelle risposte AI semplicemente perché una di queste due condizioni fallisce silenziosamente sullo sfondo.

Come usarlo

1. Conferma che i crawler siano autorizzati. Se un importante bot AI è bloccato, correggi la regola in robots.txt — questo è il problema con la massima priorità nella pagina. Verifica ogni crawler bloccato rispetto alla tua intenzione: una regola che blocca GPTBot è stata probabilmente scritta di proposito se non vuoi che il tuo contenuto venga usato per l’addestramento del modello di OpenAI, ma se sta bloccando silenziosamente anche OAI-SearchBot o PerplexityBot — i crawler che effettivamente alimentano le citazioni live, a differenza dell’addestramento dei modelli — stai perdendo visibilità senza alcuna ragione strategica. Vale la pena decidere deliberatamente quali crawler vuoi autorizzare a scansionare il tuo sito piuttosto che ereditare un’impostazione predefinita che blocca tutto indiscriminatamente.
2. Dichiara la tua sitemap. Assicurati che robots.txt punti alla tua sitemap in modo che gli agenti possano scoprire tutte le tue pagine. Si tratta di una singola riga — Sitemap: https://iltuosito.com/sitemap.xml — ma è uno dei dettagli più comunemente mancanti su siti altrimenti ben costruiti, specialmente su siti dove la sitemap è stata generata automaticamente da un CMS ma non è mai stata ricollegata a robots.txt.
3. Controlla il conteggio delle URL. Una sitemap che elenca molte meno URL di quante ne hai pubblicate significa che le pagine non vengono pubblicizzate ai crawler. Questo è di solito un segno di una sitemap obsoleta (generata una volta e mai rigenerata), di un indice di sitemap che non collega tutte le sue sitemap figlie, o di un plugin CMS che esclude silenziosamente un tipo di contenuto — i post del blog pubblicati di recente e le pagine generate dinamicamente sono vittime comuni.
4. Ricontrolla dopo le modifiche e verifica che i riquadri Accesso crawler e URL sitemap nel riepilogo di prontezza diventino verdi.

L’accesso dei crawler è il fondamento: sistemalo prima di tutto, perché tutto il resto presuppone che i bot possano effettivamente raggiungere i tuoi contenuti. Una volta che accesso e scoperta sono entrambi confermati in salute, il resto dell’audit Agent Accessibility — rendering, dati strutturati, tempi di risposta — inizia a contare, perché quei controlli danno frutto solo se al crawler è stato permesso di raggiungere la pagina in primo luogo.

Vale anche la pena ricordare che robots.txt e copertura sitemap non sono una correzione una tantum. Nascono nuove sezioni, le migrazioni CMS rigenerano le sitemap con impostazioni predefinite diverse, e regole CDN o WAF vengono aggiunte molto dopo la stesura del robots.txt originale — ognuna di queste può silenziosamente reintrodurre un crawler bloccato o una sitemap incompleta. Alcuni team abbinano questo controllo all’analisi dei log del server per confermare che i crawler stiano effettivamente visitando le pagine che sono autorizzati a visitare, e a un file dedicato llms.txt che offre ai sistemi AI un riepilogo curato dei tuoi contenuti più importanti accanto alla sitemap grezza. Se non sei sicuro di dove si collochino robots.txt e copertura sitemap rispetto al resto del tuo lavoro tecnico, un più ampio audit di visibilità AI percorre l’intero insieme di controlli di accessibilità in sequenza, e lo strumento AI visibility di AmICited traccia se la correzione di questi problemi si traduca effettivamente in più citazioni nel tempo — abbinando la correzione tecnica al risultato che dovrebbe produrre, invece di trattare “crawler autorizzati” come il traguardo finale. Per i team che gestiscono questo aspetto su decine di siti clienti, gli stessi controlli di accesso e sitemap sono una delle voci ricorrenti coperte da AmICited per le agenzie , dato che una singola regola robots.txt mal configurata tende a ripetersi tra i template e deve essere individuata precocemente durante l’onboarding, non dopo che un cliente chiede perché il suo brand non compare mai in ChatGPT.