Ho appena effettuato un audit sul sito di un cliente e ho scoperto qualcosa di interessante.
La scoperta:
Il loro robots.txt bloccava i crawler AI da oltre 2 anni:
User-agent: *
Disallow: /private/
# Questo è stato aggiunto da un plugin di sicurezza nel 2023
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
Impatto:
Ora mi chiedo:
Domande per la community:
Cerco configurazioni pratiche, non solo teoria.
Questo è più comune di quanto si pensi. Ecco una panoramica dei crawler:
Tipi di Crawler AI:
| Crawler | Azienda | Scopo | Raccomandazione |
|---|---|---|---|
| GPTBot | OpenAI | Training del modello | A tua scelta |
| ChatGPT-User | OpenAI | Ricerca in tempo reale | Permetti |
| ClaudeBot | Anthropic | Citazioni in tempo reale | Permetti |
| Claude-Web | Anthropic | Navigazione web | Permetti |
| PerplexityBot | Perplexity | Indice di ricerca | Permetti |
| Perplexity-User | Perplexity | Richieste utente | Permetti |
| Google-Extended | Funzionalità Gemini/AI | Permetti |
La distinzione chiave:
La maggior parte delle aziende:
Permettono i crawler di ricerca (vuoi le citazioni) e prendono una decisione aziendale sui crawler di training.
Robots.txt consigliato:
# Permetti i crawler di ricerca AI
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
Allow: /
# Blocca il training se desiderato (opzionale)
User-agent: GPTBot
Disallow: /
Sitemap: https://yoursite.com/sitemap.xml
Aggiunta importante: verifica che i crawler siano effettivamente bloccati e non semplicemente che non visitino il sito.
Come controllare:
Cosa abbiamo trovato da un cliente:
robots.txt permetteva GPTBot, ma le regole di sicurezza di Cloudflare lo bloccavano come “bot sospetto”.
Configurazione del firewall per i bot AI:
Se usi Cloudflare:
robots.txt è necessario ma non sufficiente.
Controlla tutti i livelli del tuo stack.
Spiego llms.txt visto che lo hai chiesto:
Cos’è llms.txt:
Uno standard nuovo (proposto nel 2024) che offre ai sistemi AI una panoramica strutturata del tuo sito. Pensalo come un indice appositamente per i modelli linguistici.
Posizione: yoursite.com/llms.txt
Struttura base:
# Nome della tua azienda
> Breve descrizione della tua azienda
## Pagine principali
- [Home](https://yoursite.com/): Pagina di ingresso principale
- [Prodotti](https://yoursite.com/products): Catalogo prodotti
- [Prezzi](https://yoursite.com/pricing): Informazioni sui prezzi
## Risorse
- [Blog](https://yoursite.com/blog): Approfondimenti di settore
- [Documentazione](https://yoursite.com/docs): Documentazione tecnica
- [FAQ](https://yoursite.com/faq): Domande frequenti
## Supporto
- [Contatti](https://yoursite.com/contact): Contatta il supporto
Perché aiuta:
I sistemi AI hanno finestre di contesto limitate. Non possono fare crawling su tutto il sito e comprenderlo. llms.txt offre loro una mappa curata.
I nostri risultati dopo l’implementazione:
La distinzione tra training e ricerca merita più attenzione.
La questione filosofica:
Vuoi che i tuoi contenuti addestrino i modelli AI?
Argomenti a favore del training:
Argomenti contro:
Cosa fanno gli editori:
| Tipo editore | Training | Ricerca |
|---|---|---|
| Siti news | Blocca | Permetti |
| Aziende SaaS | Permetti | Permetti |
| E-commerce | Variabile | Permetti |
| Agenzie | Permetti | Permetti |
La mia raccomandazione:
La maggior parte delle aziende B2B dovrebbe permettere entrambi. Il beneficio delle citazioni supera la preoccupazione per il training.
Se sei un editore di contenuti con valore di licensing, considera di bloccare il training ma permettere la ricerca.
Condivido risultati reali dopo aver sbloccato i crawler AI:
Cliente A (SaaS):
Prima: GPTBot bloccato, 0 citazioni AI Dopo: GPTBot + tutti i crawler permessi
| Metrica | Prima | 30 giorni | 90 giorni |
|---|---|---|---|
| Citazioni AI | 0 | 12 | 47 |
| Traffico da AI | 0 | 0,8% | 2,3% |
| Ricerche brand | baseline | +8% | +22% |
Cliente B (E-commerce):
Prima: Tutti gli AI bloccati Dopo: Crawler di ricerca permessi, training bloccato
| Metrica | Prima | 30 giorni | 90 giorni |
|---|---|---|---|
| Citazioni prodotto | 0 | 34 | 89 |
| Traffico da AI | 0 | 1,2% | 3,1% |
| Ricerche prodotto | baseline | +15% | +28% |
La tempistica:
Insight chiave:
Sbloccare non dà risultati immediati. Ci vogliono 4-8 settimane per vedere impatti significativi.
Prospettiva di sicurezza sui crawler AI:
Preoccupazioni legittime:
Come mitigare:
Verifica l’identità del crawler:
Rate limiting (per crawler):
GPTBot: 100 richieste/minuto
ClaudeBot: 100 richieste/minuto
PerplexityBot: 100 richieste/minuto
Monitora anomalie:
Intervalli IP ufficiali:
Ogni azienda AI pubblica gli IP dei propri crawler:
Verifica su questi prima di aggiungere in whitelist.
Per utenti WordPress - blocchi comuni che ho visto:
Plugin di sicurezza che bloccano l’AI:
Come controllare:
robots.txt di WordPress:
WordPress genera robots.txt dinamicamente. Per personalizzare:
Opzione 1: Usa Yoast SEO → Strumenti → Editor file Opzione 2: Crea un file robots.txt fisico nella root (ha la precedenza) Opzione 3: Usa un plugin come “Robots.txt Editor”
La nostra configurazione standard per WordPress:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
Sitemap: https://yoursite.com/sitemap.xml
Ottima panoramica su WordPress. Aggiungo: come creare llms.txt per WordPress.
Opzione 1: File statico
Crea llms.txt nella root del tema e caricalo in public_html/
Opzione 2: Plugin
Diversi plugin ora supportano la generazione di llms.txt:
Opzione 3: Snippet di codice
// In functions.php
add_action('init', function() {
if ($_SERVER['REQUEST_URI'] == '/llms.txt') {
header('Content-Type: text/plain');
// Output del tuo contenuto llms.txt
exit;
}
});
Best practice:
Aggiorna llms.txt quando:
Il file statico è il più semplice ma richiede aggiornamenti manuali.
Dopo aver sbloccato, ecco come monitorare l’attività dei crawler AI:
Cosa tracciare:
| Metrica | Dove trovarla | Cosa ti dice |
|---|---|---|
| Frequenza crawling | Log del server | Quanto spesso i bot visitano |
| Pagine crawl | Log del server | Quali contenuti indicizzano |
| Errori crawling | Log del server | Problemi di blocco |
| Citazioni AI | Am I Cited | Se il crawling porta a visibilità |
Analisi log server:
Cerca questi pattern user-agent:
Comando grep semplice:
grep -E "GPTBot|ClaudeBot|PerplexityBot|Google-Extended" access.log
Come appare un’attività sana:
Red flags:
Questa discussione mi ha dato tutto ciò che mi serviva. Ecco il nostro piano di implementazione:
robots.txt aggiornato:
# Permetti i crawler di ricerca AI (citazioni)
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
Allow: /
# Crawler di training - permesso per ora
User-agent: GPTBot
Allow: /
# Regole standard
User-agent: *
Disallow: /private/
Disallow: /admin/
Sitemap: https://clientsite.com/sitemap.xml
Implementazione llms.txt:
Creata una panoramica strutturata del sito cliente con:
Aggiornamenti firewall:
Configurazione monitoraggio:
Tempistiche attese:
Metriche di successo:
Grazie a tutti per i dettagli tecnici e le configurazioni reali condivise.
Get personalized help from our team. We'll respond within 24 hours.
Traccia quali bot AI stanno eseguendo crawling sul tuo sito e come i tuoi contenuti appaiono nelle risposte generate dall'AI. Scopri l'impatto della tua configurazione dei crawler.
Discussione della community sulla configurazione di robots.txt per i crawler AI come GPTBot, ClaudeBot e PerplexityBot. Esperienze reali di webmaster e speciali...
Discussione della community su quali crawler AI permettere o bloccare. Decisioni reali dei webmaster su accesso a GPTBot, PerplexityBot e altri crawler AI per v...
Discussione della community sul consentire o meno l’accesso a GPTBot e ad altri crawler AI. I proprietari di siti condividono esperienze, impatti sulla visibili...