Har någon faktiskt konfigurerat robots.txt för AI-crawlers? Råd online är väldigt spretiga

Jag hanterar robots.txt för cirka 40 företagswebbplatser. Här är uppdelningen som faktiskt spelar roll:

Nivå 1 – Måste konfigureras:

• GPTBot – OpenAIs träningscrawler
• ChatGPT-User – ChatGPTs surfläge
• ClaudeBot – Anthropics crawler
• Google-Extended – Google Gemini-träning
• PerplexityBot – Perplexitys index

Nivå 2 – Överväg:

• anthropic-ai – Sekundär Anthropic-crawler
• OAI-SearchBot – OpenAIs sökindexerare
• CCBot – Common Crawl (används av många AI-bolag)

Vad vi gör:

User-agent: GPTBot
Allow: /blog/
Allow: /resources/
Disallow: /pricing/
Disallow: /admin/

User-agent: PerplexityBot
Allow: /

Viktig insikt: PerplexityBot är den jag alltid tillåter fullt ut eftersom den faktiskt citerar dina sidor med länkar. Att blockera den är att skjuta sig själv i foten utan någon vinst.

Vi gjorde ett stort misstag och blockerade alla AI-crawlers förra året baserat på råd om “innehållsskydd”.

Vad som hände:

• Organisk trafik var oförändrad (Google bryr sig inte om AI-crawlerblockering)
• Men våra kunder började fråga “varför syns vi inte när jag frågar ChatGPT om vår bransch?”
• Konkurrenter som tillät crawlers omnämndes hela tiden

Vi har nu ändrat oss och tillåter alla stora AI-crawlers. “Skydds”-argumentet föll när vi insåg att:

1. Träningsdata redan var insamlade
2. Blockering av realtidsåtkomst gör oss bara osynliga
3. Det finns inga bevis på att blockering förhindrar någon verklig skada

Enda undantaget är riktigt skyddat innehåll bakom inloggning – och de sidorna var redan blockerade.

Annat perspektiv från starkt reglerad bransch (hälso- och sjukvårdsteknik).

Vi har legitima skäl att kontrollera AI-åtkomst till visst innehåll:

• Patientrelaterad dokumentation
• Interna processdokument som råkat indexeras
• Prissättning och avtalsvillkor

Vårt upplägg:

Vi skapade ett nivåsystem:

1. Offentligt marknadsinnehåll – Tillåt alla AI-crawlers
2. Produktdokumentation – Tillåt, men övervaka via Am I Cited vad som citeras
3. Känsligt affärsinnehåll – Blockera alla crawlers
4. Interna sidor – Blockera samt kräva inloggning

Nyckeln är att vara avsiktlig. “Blockera allt” och “tillåt allt” är båda lata tillvägagångssätt. Karta ditt innehåll, förstå vad varje typ ska göra för dig, och konfigurera därefter.

Proffstips som tog mig alldeles för lång tid att lista ut:

Testa din robots.txt med riktiga crawler-user-agents.

Jag trodde allt var korrekt konfigurerat tills jag kollade serverloggar och såg att vissa AI-crawlers inte matchade våra regler eftersom jag hade stavfel i user-agent-namnen.

“GPT-Bot” är inte samma som “GPTBot” – gissa vilken jag hade fel på i tre månader?

Använd Googles robots.txt-tester eller kommandoradsverktyg för att verifiera att varje regel matchar som du tänkt.

Här är min standardrekommendation för de flesta företag:

Tillåt som standard, begränsa strategiskt.

Företag som tjänar på blockering är sällsynta undantag:

• Premiuminnehållspublicister som oroar sig för summering
• Bolag med verkligt skyddad teknisk information
• Organisationer i juridiska tvister om AI-träning

För alla andra är kalkylen enkel: AI-synlighet är en växande trafik­källa. Bara Perplexity står för 200M+ sökningar/månad. Att vara osynlig där är en strategisk nackdel.

Min standardkonfig för kunder:

# Tillåt alla AI-crawlers till offentligt innehåll
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
Allow: /

# Begränsa känsliga områden
Disallow: /admin/
Disallow: /internal/
Disallow: /api/

En sak som ingen nämner: övervaka vad som faktiskt händer efter din konfiguration.

Jag satte upp aviseringar för AI-bot-trafik i vår analys. Såg några intressanta mönster:

• GPTBot besöker oss ~500 gånger/dag
• PerplexityBot cirka ~200 gånger/dag
• ClaudeBot oväntat mindre frekvent, kanske ~50/dag

Den här datan hjälper mig förstå vilka AI-plattformar som faktiskt indexerar vårt innehåll. I kombination med verktyg som spårar AI-citeringar ser jag hela kedjan från robots.txt > AI-crawling > AI-citeringar.

Utan denna övervakning gissar du bara om effekten.

Publicistperspektiv här. Vi driver en nyhets-/analys­sajt med 10 000+ artiklar.

Vad vi lärde oss den hårda vägen:

Blockering av AI-crawlers skadade oss på oväntade sätt:

1. Våra artiklar slutade dyka upp i AI-genererade sammanfattningar för branschämnen
2. Konkurrenter som tillät crawlers blev “auktoritativa källan”
3. När folk frågade ChatGPT om vår bevakning svarade den att den inte kunde komma åt vårt innehåll

“Skydds”-argumentet utgår från att AI stjäl ditt innehåll. I verkligheten citerar och driver AI trafik till innehåll den har tillgång till. Blockering betyder bara att du inte är med i samtalet.

Vi tillåter nu alla AI-crawlers och använder Am I Cited för att övervaka hur vi citeras. Vår AI-hänvisningstrafik har ökat med 340% sedan vi bytte strategi.

Den här tråden har varit otroligt hjälpsam. Sammanfattning av vad jag implementerar baserat på allas feedback:

Omedelbara ändringar:

1. Tillåt alla större AI-crawlers (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) till offentligt innehåll
2. Blockera uttryckligen känsliga sökvägar (/admin, /internal, /pricing för tillfället)
3. Rätta till stavfel i vår nuvarande konfiguration (pinsamt men nödvändigt)

Övervakningssetup: 4. Lägg till serverloggspårning för AI-bot-trafik 5. Sätt upp Am I Cited för att spåra faktiska citeringar 6. Följ upp om 30 dagar för att se effekt

Den viktigaste insikten för mig var att blockering inte skyddar innehåll som redan finns i träningsdata – det begränsar bara framtida synlighet. Och eftersom AI-sök växer snabbt betyder synlighet mer än “skydd”.

Tack alla för riktiga konfigurationer och erfarenheter.