I bot AI visitano il nostro sito ma non veniamo citati. Come posso diagnosticare problemi di crawling?

Lascia che ti aiuti a diagnosticare. Crawling ≠ citazione. Ecco un framework di diagnosi:

Passo 1: Verifica cosa vedono effettivamente i crawler

Usa curl con lo user-agent AI:

curl -A "GPTBot" -s https://yoursite.com/page | head -100

Controlla:

• Il contenuto completo appare?
• Ci sono meta robots o header X-Robots-Tag?
• Il contenuto è nell’HTML, senza bisogno di esecuzione JS?

Passo 2: Controlla per blocchi nascosti

Problemi comuni:

• Tag meta noindex (blocca l’indicizzazione)
• Header X-Robots-Tag: noindex
• Canonical che punta altrove
• Contenuto caricato via JavaScript dopo il caricamento della pagina
• Rilevamento login/paywall che mostra contenuti diversi ai bot

Passo 3: Controllo qualità contenuto

Se il crawling va bene, il problema è il contenuto:

• È veramente unico, o una variante di contenuti comuni?
• È strutturato per l’estrazione AI?
• Ha segnali di autorevolezza (autore, citazioni)?
• È abbastanza completo da essere LA fonte?

Il problema più comune che vedo:

Il crawling tecnico funziona. Il contenuto semplicemente non merita la citazione. I crawler visitano, ma i sistemi AI scelgono fonti migliori.

Il divario tra “accessibile” e “citatile” riguarda la qualità e la struttura del contenuto, non solo l’accesso tecnico.

Ecco come analizzo il comportamento dei crawler AI nei log:

Analisi log per crawler AI:

# Trova tutti gli accessi dei crawler AI
grep -E "(GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended)" access.log

# Controlla i codici di stato
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c

# Vedi quali pagine vengono visitate di più
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn

Cosa cercare:

1. Codici di stato

   • 200: Bene, hanno ottenuto il contenuto
   • 301/302: Redirect - verifica che arrivino su pagine utili
   • 403/404: Problemi - da correggere subito
   • 500: Errori server - indaga

2. Pattern di crawling

   • Quali pagine vengono più spesso visitate?
   • Le tue migliori pagine vengono visitate?
   • Alcune pagine mai visitate?

3. Frequenza di crawling

   • GPTBot: Di solito più volte al giorno
   • PerplexityBot: Molto frequente (ricerca in tempo reale)
   • Se nessun accesso da settimane, controlla robots.txt

Problemi comuni nei log:

• CDN che nascondono i veri user agent
• Load balancer che elimina header
• Rotazione log che fa perdere accessi dei crawler

Assicurati di vedere i log grezzi, non filtrati.

Dato che hai verificato l’accesso tecnico, ti rispondo dal lato contenuti:

Perché l’AI può fare crawling ma non citare:

1. Contenuto generico “5 consigli per migliorare l’email marketing” – ce ne sono 10.000. L’AI cita il migliore, non tutti.

2. Nessuna risposta estraibile Contenuti narrativi senza punti chiari sono difficili da quotare per l’AI.

3. Informazioni obsolete Se il tuo contenuto parla di “trend 2023”, l’AI potrebbe preferire fonti più attuali.

4. Segnali di autorevolezza deboli Nessun autore, nessuna fonte citata, nessuna credenziale in evidenza.

5. Struttura scadente L’AI ha bisogno di sezioni chiare da analizzare. Testo fluido è più difficile da estrarre.

Test diagnostico:

Chiediti: Se fossi un’AI e dovessi citare UNA fonte su questo argomento, sceglierei il mio contenuto o quello di un concorrente?

Sii onesto. Cosa ha il concorrente che tu non hai?

Di solito è:

• Copertura più completa
• Struttura migliore per l’estrazione
• Segnali di autorevolezza più forti
• Informazioni più attuali

Migliora questi aspetti, e le citazioni arriveranno.

Approfondimento tecnico sul rendering JavaScript:

Anche se il tuo contenuto principale è server-side, verifica:

1. Sezioni di contenuto caricate in lazy Contenuto importante sotto la piega potrebbe essere caricato dopo il rendering iniziale.

// Questo contenuto potrebbe non apparire ai crawler
<div data-lazy="true">Contenuto importante qui</div>

2. Elementi interattivi che nascondono contenuto Tab, accordion, sezioni espandibili potrebbero avere contenuti che l’AI non può accedere.

3. Dati strutturati generati via JavaScript Se il tuo schema è inserito tramite JS, i crawler potrebbero non vederlo.

Strumento di test:

Il Test di compatibilità mobile di Google mostra l’HTML renderizzato: https://search.google.com/test/mobile-friendly

Confronta ciò che vedi lì con la tua pagina reale. Eventuali differenze potrebbero spiegare problemi di visibilità.

Correzione rapida:

Visualizza la tua pagina con JavaScript disabilitato. Tutto ciò che è visibile in quel modo è sicuramente visto dai crawler. Se manca contenuto chiave, ecco il problema.

Problemi di schema che impediscono le citazioni:

Anche se il contenuto è visibile, uno schema errato può danneggiarti:

1. Markup schema non valido Usa il Test dei risultati avanzati di Google per la validazione. Schema non valido potrebbe essere ignorato del tutto.

2. Schema mancante Nessun schema Organization, Article o FAQ significa che l’AI deve indovinare il tipo di contenuto.

3. Schema in conflitto Più schemi Organization con info diverse. L’AI non sa quale fidarsi.

Come testare:

# Recupera e controlla la presenza di schema
curl -s https://yoursite.com | grep -o 'application/ld+json' | wc -l

Poi valida ogni blocco di schema qui: https://validator.schema.org/

Errori comuni di schema:

• Manca @context
• @type errato
• Formati data non validi
• Campi URL senza http/https
• Proprietà obbligatorie mancanti

Correggi gli errori di schema. I sistemi AI analizzano lo schema per capire il contenuto. Schema non valido = contenuto poco chiaro.

Questo thread mi ha fatto capire: il nostro problema non è tecnico.

Cosa ho testato:

• curl con user-agent AI: il contenuto viene visualizzato correttamente
• Nessun tag noindex da nessuna parte
• Lo schema valida correttamente
• JavaScript non nasconde contenuti chiave
• I log mostrano visite regolari dei crawler con 200

Cosa ho trovato confrontando con i concorrenti che vengono citati:

I loro contenuti hanno:

• Risposta diretta nel primo paragrafo (noi nascondiamo la risposta)
• Sezioni FAQ con schema (noi non abbiamo nessuna delle due)
• Biografie autore con credenziali (le nostre sono generiche)
• Tabelle di confronto (noi usiamo paragrafi narrativi)
• Date aggiornate (le nostre non sono state toccate da 18 mesi)

Il mio piano d’azione:

1. Smettere di diagnosticare problemi tecnici (non sono questi il problema)
2. Concentrarmi su qualità e struttura dei contenuti
3. Aggiungere sezioni FAQ con schema
4. Ristrutturare per risposte dirette
5. Aggiungere credenziali autore
6. Aggiornare i contenuti vecchi

Insight chiave:

Crawling funzionante + nessuna citazione = problema di qualità/struttura dei contenuti, non problema tecnico.

Stavo diagnosticando il livello sbagliato. Grazie a tutti!