Er der nogen, der faktisk har konfigureret robots.txt til AI-crawlere? Rådene online er meget forskellige

Jeg administrerer robots.txt for omkring 40 virksomhedssites. Her er opdelingen, der faktisk betyder noget:

Niveau 1 – Skal konfigureres:

• GPTBot – OpenAI’s trænings-crawler
• ChatGPT-User – ChatGPT’s browsertilstand
• ClaudeBot – Anthropics crawler
• Google-Extended – Google Gemini træning
• PerplexityBot – Perplexitys indeks

Niveau 2 – Værd at overveje:

• anthropic-ai – Sekundær Anthropic-crawler
• OAI-SearchBot – OpenAIs søgeindeksering
• CCBot – Common Crawl (brugt af mange AI-virksomheder)

Det vi gør:

User-agent: GPTBot
Allow: /blog/
Allow: /resources/
Disallow: /pricing/
Disallow: /admin/

User-agent: PerplexityBot
Allow: /

Vigtig indsigt: PerplexityBot er den, jeg altid tillader fuldt ud, fordi den faktisk citerer dine sider med links. At blokere den svarer til at skyde sig selv i foden uden nogen fordel overhovedet.

Vi lavede en kæmpe fejl ved at blokere alle AI-crawlere sidste år på baggrund af “indholdsbeskyttelses”-råd.

Hvad der skete:

• Organisk trafik forblev den samme (Google er ligeglad med AI-crawler-blokeringer)
• Men vores kunder begyndte at spørge “hvorfor dukker vi ikke op, når jeg spørger ChatGPT om vores branche?”
• Konkurrenter, der tillod crawlere, blev nævnt hele tiden

Vi har nu ændret kurs og tillader alle større AI-crawlere. “Beskyttelses”-argumentet gav ingen mening, da vi indså:

1. Træningsdata var allerede indsamlet
2. Blokering af realtidsadgang gør os bare usynlige
3. Der er ingen beviser for, at blokering forhindrer egentlig skade

Den eneste undtagelse er reelt fortroligt indhold bag login – og de sider var allerede disallowed.

Andet perspektiv fra tungt reguleret branche (sundhedsteknologi).

Vi har legitime grunde til at styre AI-adgang til visse typer indhold:

• Patientrelateret dokumentation
• Interne procesdokumenter, der utilsigtet blev indekseret
• Priser og kontraktvilkår

Vores tilgang:

Vi har lavet et trinvist system:

1. Offentligt marketingindhold – Tillad alle AI-crawlere
2. Produktdokumentation – Tillad, men overvåg med Am I Cited, hvad der bliver citeret
3. Følsomt forretningsindhold – Disallow alle crawlere
4. Interne sider – Disallow plus login

Nøglen er at være bevidst. “Bloker alt” og “tillad alt” er begge dovne tilgange. Kortlæg dit indhold, forstå hvad hver type skal gøre for dig, og konfigurer derefter.

Pro tip, som tog mig alt for lang tid at finde ud af:

Test din robots.txt med faktiske crawler-user-agents.

Jeg troede, jeg havde konfigureret alt korrekt, indtil jeg tjekkede vores serverlogs og så, at nogle AI-crawlere ikke matchede vores regler, fordi jeg havde stavefejl i user-agent-navnene.

“GPT-Bot” er ikke det samme som “GPTBot” – gæt hvem der havde den forkerte i 3 måneder?

Brug Googles robots.txt-tester eller kommandolinjeværktøjer til at verificere, at hver regel faktisk matcher det, du forventer.

Her er min standardanbefaling til de fleste virksomheder:

Tillad som udgangspunkt, begræns strategisk.

Virksomheder, der har fordel af at blokere, er sjældne undtagelser:

• Premium-indholdsudgivere, der bekymrer sig om opsummering
• Virksomheder med reelt proprietær teknisk viden
• Organisationer i juridiske tvister om AI-træning

For alle andre er regnestykket enkelt: AI-synlighed er en voksende trafikkilde. Perplexity alene står for 200 mio.+ månedlige forespørgsler. At være usynlig der er en strategisk ulempe.

Min standardkonfiguration for kunder:

# Tillad alle AI-crawlere til offentligt indhold
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
Allow: /

# Begræns følsomme områder
Disallow: /admin/
Disallow: /internal/
Disallow: /api/

En ting, ingen nævner: overvåg hvad der faktisk sker efter konfigurationen.

Jeg opsatte alerts for AI-bottrafik i vores analytics. Lagde mærke til nogle interessante mønstre:

• GPTBot besøger os ~500 gange/dag
• PerplexityBot omkring ~200 gange/dag
• ClaudeBot overraskende mindre hyppigt, måske ~50/dag

Disse data hjælper mig til at forstå, hvilke AI-platforme der faktisk indekserer vores indhold. Sammen med værktøjer, der tracker AI-citater, kan jeg se hele kæden fra allow robots.txt > AI-crawling > AI-citater.

Uden denne overvågning gætter man bare på effekten.

Forlæggerperspektiv her. Vi driver et nyheds-/analysesite med 10.000+ artikler.

Det vi lærte på den hårde måde:

At blokere AI-crawlere skadede os på uventede måder:

1. Vores artikler stoppede med at optræde i AI-genererede opsummeringer for brancheemner
2. Konkurrenter, der tillod crawlere, blev “den autoritative kilde”
3. Når folk spurgte ChatGPT om vores dækning, sagde den, at den ikke kunne tilgå vores indhold

“Beskyttelses”-argumentet antager, at AI stjæler dit indhold. I virkeligheden citerer og driver AI trafik til det indhold, den kan tilgå. At blokere betyder bare, at du ikke er med i samtalen.

Vi tillader nu alle AI-crawlere og bruger Am I Cited til at overvåge, hvordan vi bliver citeret. Vores AI-henvisningstrafik er steget med 340 % siden vi skiftede tilgang.

Denne tråd har været utroligt hjælpsom. Opsummering af, hvad jeg implementerer baseret på alles feedback:

Umiddelbare ændringer:

1. Tillad alle større AI-crawlere (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) til offentligt indhold
2. Disallow eksplicit følsomme stier (/admin, /internal, /pricing for nu)
3. Ret stavefejl i vores nuværende konfiguration (pinligt, men nødvendigt)

Overvågningsopsætning: 4. Tilføj serverlog-tracking for AI-bottrafik 5. Opsæt Am I Cited til at spore faktiske citater 6. Gennemgå om 30 dage for at se effekt

Den vigtigste indsigt for mig var, at blokering ikke beskytter indhold, der allerede er i træningsdata – det begrænser bare fremtidig synlighed. Og fordi AI-søgning vokser hurtigt, betyder synlighed mere end “beskyttelse.”

Tak til alle for de virkelige konfigurationer og erfaringer.