Come posso verificare che i crawler AI vedano davvero tutti i miei contenuti? Alcune pagine sembrano invisibili

Ti aiuto a fare debug in modo sistematico.

Step 1: Analisi dei log

Controlla i log del server per le visite dei crawler AI alle pagine “invisibili”:

# Controlla se GPTBot visita pagine specifiche
grep "GPTBot" access.log | grep "/invisible-page-path/"

Se non ci sono visite: non stanno scoprendo queste pagine. Se ci sono visite ma nessuna citazione: problema di qualità del contenuto, non di accesso.

Step 2: Test di accesso diretto

Verifica cosa vedono i crawler quando accedono alla pagina:

curl -A "GPTBot" -s https://yoursite.com/page-path/ | head -200

Controlla:

• Il contenuto completo appare nell’HTML
• Nessun redirect a login/paywall
• Nessun messaggio “bot rilevato”
• I contenuti chiave non sono solo in JavaScript

Step 3: Test di rendering

I crawler AI variano nella capacità di eseguire JS. Prova con JS disabilitato:

• Apri la pagina nel browser
• Disabilita JavaScript (Strumenti per sviluppatori)
• Il contenuto principale appare ancora?

Se il contenuto sparisce senza JS, hai trovato il problema.

Step 4: Controllo rate limiting

Applichi limitazioni di frequenza troppo aggressive ai bot? Verifica se WAF o CDN bloccano dopo X richieste. I crawler AI potrebbero essere bloccati a metà scansione.

Problemi più comuni che trovo:

1. Pagine non collegate internamente (orfane)
2. Contenuto reso tramite JavaScript
3. Protezione bot troppo aggressiva
4. Pagine non presenti nella sitemap

Probabilmente il problema è il linking interno se 300 pagine non vengono scoperte.

Fai un audit della struttura dei link interni:

Strumenti come Screaming Frog possono mostrarti:

• Quali pagine hanno meno link interni
• Pagine orfane (0 link interni)
• Profondità di clic dalla homepage

Schemi comuni che vedo:

1. Post del blog collegati solo da pagine di archivio La tua pagina di archivio blog 15 linka a vecchi post. I crawler non arrivano così in profondità.

2. Pagine prodotto collegate solo da categorie La categoria 8 linka ai prodotti. Troppo in profondità.

3. Pagine risorsa senza cross-link Ottimi contenuti ma nessuno li collega.

Soluzioni:

1. Pagine hub Crea pagine “Risorse” o “Guide” che linkano a più contenuti correlati.

2. Link a contenuti correlati Alla fine di ogni articolo, linka a 3-5 altri contenuti.

3. Breadcrumb Aiuta i crawler a capire la gerarchia e trovare pagine.

4. Aggiornamenti alla navigazione Puoi aggiungere pagine profonde popolari nel menu principale o nel footer?

Il linking interno non è solo best practice SEO: è come i crawler scoprono i tuoi contenuti.

Vado a fondo sulle problematiche di rendering JavaScript:

Cosa possono gestire i crawler AI:

Assunto sicuro: La maggior parte dei crawler AI vede quello che vedi con JS disabilitato.

Problemi JS comuni:

1. Contenuto renderizzato lato client App React/Vue/Angular che mostrano il contenuto solo nel browser. I crawler vedono contenitori vuoti.

2. Lazy loading senza fallback Immagini e contenuti sotto la piega non vengono caricati dai crawler.

3. Componenti interattivi che nascondono contenuti Tab, accordion, caroselli: contenuti in stati inattivi potrebbero non essere nell’HTML iniziale.

4. Schema iniettato via JS Schema aggiunto con JavaScript potrebbe non essere letto.

Test:

# Vedi HTML grezzo (ciò che vedono i crawler)
curl -s https://yoursite.com/page/

# Confronta con HTML renderizzato (Dev Tools browser > Visualizza sorgente)

Se i contenuti chiave mancano nell’output di curl, hai un problema JS.

Soluzioni:

• Rendering lato server (SSR)
• Pre-rendering per contenuti statici
• Fallback HTML per lazy-loading
• Assicurati che i contenuti critici siano nell’HTML iniziale

La protezione dai bot può bloccare silenziosamente i crawler AI.

Sistemi di protezione bot che causano problemi:

1. Cloudflare Bot Fight Mode Può sfidare o bloccare i crawler AI. Verifica: Sicurezza > Bot > Bot Fight Mode

2. Rate limiting Se limiti le richieste/IP/minuto, i crawler AI potrebbero raggiungere i limiti.

3. Challenge JavaScript Se mostri challenge JS ai bot, i crawler AI potrebbero fallire.

4. Blocco User Agent Alcuni WAF bloccano user agent sconosciuti o sospetti.

Come verificare:

1. Controlla i log CDN/WAF per richieste bloccate da user agent AI
2. Cerca richieste sfidate (pagine captcha)
3. Prova da IP diversi per vedere se si applicano rate limit

Impostazioni consigliate per i crawler AI:

Quasi tutte le piattaforme CDN/WAF permettono di inserire whitelist per user agent:

• Whitelist GPTBot, ClaudeBot, PerplexityBot
• Limiti di frequenza più permissivi
• Salta le challenge JavaScript

Vuoi protezione dai bot malevoli, non dai crawler AI che vogliono indicizzare i tuoi contenuti.

Ottimizzazione della sitemap per la scoperta da parte dei crawler AI:

Best practice per la sitemap:

1. Includi TUTTE le pagine importanti Non solo i contenuti nuovi. Tutte le pagine che vuoi siano scoperte.

2. Segnali di aggiornamento Usa <lastmod> per mostrare quando il contenuto è stato aggiornato. Gli aggiornamenti recenti possono avere priorità di scansione.

3. Sitemap in robots.txt

Sitemap: https://yoursite.com/sitemap.xml

Così tutti i crawler sanno dove trovarla.

4. Limiti di dimensione Sitemap oltre 50k URL o 50MB vanno suddivise. Le sitemap grandi potrebbero non essere lette per intero.

Verifica:

# Controlla accessibilità sitemap
curl -I https://yoursite.com/sitemap.xml
# Deve restituire 200

# Conta le pagine nella sitemap
curl -s https://yoursite.com/sitemap.xml | grep -c "<url>"

Se le pagine invisibili non sono nella sitemap, aggiungile.

Consiglio prioritario:

Puoi usare il tag <priority>, ma la maggior parte dei crawler lo ignora. Meglio puntare su linking interno e segnali di freschezza.

Trovati i problemi! Ecco cosa è emerso dal debugging:

Problema 1: Scoperta (principale)

• 280 delle pagine “invisibili” avevano scarso linking interno
• Collegate solo da pagine archivio profonde (click depth 5+)
• Non nella sitemap principale (avevamo più sitemap, alcune orfane)

Problema 2: Protezione bot (secondario)

• Cloudflare Bot Fight Mode sfidava alcuni crawler AI
• Il 15% delle richieste dei crawler riceveva challenge JS

Problema 3: Contenuto JS (minore)

• 12 pagine avevano contenuti in componenti React non renderizzati lato server

Fix implementati:

1. Revisione linking interno

   • Aggiunte sezioni “Contenuti correlati” a tutti i post
   • Create pagine hub che linkano a cluster tematici
   • Ridotta profondità massima di clic a 3

2. Consolidamento sitemap

   • Unificate tutte le sitemap in una sola
   • Verificato che tutte le 500 pagine siano incluse
   • Aggiunta la sitemap al robots.txt

3. Regolazione protezione bot

   • Whitelist per GPTBot, ClaudeBot, PerplexityBot
   • Limiti di frequenza ridotti per user agent AI

4. Implementazione SSR

   • Abilitato server-side rendering per le pagine interessate

Insight chiave:

Le pagine non erano bloccate: semplicemente non venivano scoperte. Linking interno e copertura della sitemap sono fondamentali per l’accesso dei crawler AI.

Grazie a tutti per il framework di debug!