Heeft iemand robots.txt daadwerkelijk geconfigureerd voor AI-crawlers? De adviezen online zijn erg verschillend

Ik beheer robots.txt voor zo’n 40 enterprise-sites. Dit is de indeling die er echt toe doet:

Tier 1 - Moet je instellen:

• GPTBot - OpenAI’s trainingscrawler
• ChatGPT-User - ChatGPT’s browse-modus
• ClaudeBot - Anthropic’s crawler
• Google-Extended - Google Gemini training
• PerplexityBot - Perplexity’s index

Tier 2 - De moeite waard om te overwegen:

• anthropic-ai - Secundaire Anthropic crawler
• OAI-SearchBot - OpenAI’s zoekindexer
• CCBot - Common Crawl (gebruikt door veel AI-bedrijven)

Wat wij doen:

User-agent: GPTBot
Allow: /blog/
Allow: /resources/
Disallow: /pricing/
Disallow: /admin/

User-agent: PerplexityBot
Allow: /

Belangrijk inzicht: PerplexityBot laat ik altijd volledig toe omdat deze je pagina’s met links citeert. Blokkeren is jezelf onnodig benadelen zonder enig voordeel.

Wij hebben vorig jaar een grote fout gemaakt door alle AI-crawlers te blokkeren op basis van “contentbescherming”-advies.

Wat er gebeurde:

• Organisch verkeer bleef gelijk (Google trekt zich niets aan van AI-crawler blokkades)
• Maar onze klanten vroegen ineens “waarom komen we niet voor als ik ChatGPT naar onze branche vraag?”
• Concurrenten die crawlers toestonden werden voortdurend genoemd

We zijn nu omgedraaid en staan alle grote AI-crawlers toe. Het “beschermings”-argument sloeg nergens op toen we beseften:

1. Trainingsdata was al verzameld
2. Blokkeren van real-time toegang maakt ons gewoon onzichtbaar
3. Er is geen bewijs dat blokkeren enig werkelijk kwaad voorkomt

Uitzondering is echt vertrouwelijke content achter authenticatie – en die pagina’s waren sowieso al uitgesloten.

Een ander perspectief vanuit een sterk gereguleerde industrie (healthcare tech).

Wij hebben legitieme redenen om AI-toegang tot bepaalde content te beperken:

• Patiëntgerelateerde documentatie
• Interne procesdocumenten die per ongeluk zijn geïndexeerd
• Prijs- en contractvoorwaarden

Onze aanpak:

We hebben een gelaagd systeem gemaakt:

1. Publieke marketingcontent – Alle AI-crawlers toestaan
2. Productdocumentatie – Toestaan, maar monitoren via Am I Cited wat er wordt geciteerd
3. Gevoelige zakelijke content – Alle crawlers blokkeren
4. Interne pagina’s – Blokkeren én authenticatie vereisen

Het belangrijkste is om bewust te zijn. “Alles blokkeren” of “alles toestaan” zijn beide gemakzuchtig. Breng je content in kaart, bepaal wat elk type voor je moet doen en configureer dat vervolgens.

Pro-tip waar ik veel te lang over heb gedaan:

Test je robots.txt met daadwerkelijke crawler user-agents.

Ik dacht dat alles goed stond totdat ik in de serverlogs zag dat sommige AI-crawlers onze regels niet volgden omdat ik tikfouten had in de user-agent namen.

“GPT-Bot” is niet hetzelfde als “GPTBot” – raad eens welke ik drie maanden lang fout had?

Gebruik Google’s robots.txt-tester of commandoregeltools om te controleren of elke regel doet wat je verwacht.

Dit is mijn standaardadvies voor de meeste bedrijven:

Sta standaard toe, beperk strategisch.

Bedrijven die voordeel hebben bij blokkeren zijn zeldzame uitzonderingen:

• Premium content-uitgevers die zich zorgen maken over samenvattingen
• Organisaties met echt vertrouwelijke technische kennis
• Bedrijven in juridische geschillen over AI-training

Voor alle anderen is het simpel: AI-zichtbaarheid is een groeiende verkeersbron. Alleen Perplexity al zorgt voor 200M+ maandelijkse zoekopdrachten. Onzichtbaar zijn is een strategisch nadeel.

Mijn standaardconfiguratie voor klanten:

# Sta alle AI-crawlers toe op publieke content
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
Allow: /

# Beperk gevoelige gebieden
Disallow: /admin/
Disallow: /internal/
Disallow: /api/

Wat niemand noemt: monitor wat er daadwerkelijk gebeurt nadat je hebt geconfigureerd.

Ik heb meldingen ingesteld voor AI-botverkeer in onze analytics. Zag interessante patronen:

• GPTBot bezoekt ons ~500 keer per dag
• PerplexityBot ongeveer ~200 keer per dag
• ClaudeBot verrassend weinig, misschien ~50 keer per dag

Met deze data zie ik welke AI-platforms onze content echt indexeren. In combinatie met tools die AI-citaties volgen, krijg ik het volledige plaatje van toestaan in robots.txt > AI-crawlen > AI-citaties.

Zonder monitoring ben je alleen maar aan het gokken over het effect.

Perspectief van een uitgever. Wij runnen een nieuws-/analysesite met 10.000+ artikelen.

Wat we op de harde manier leerden:

Blokkeren van AI-crawlers heeft ons op onverwachte manieren geschaad:

1. Onze artikelen verdwenen uit AI-gegenereerde samenvattingen van brancheonderwerpen
2. Concurrenten die crawlers toestonden werden de “autoritatieve bron”
3. Wanneer mensen ChatGPT vroegen naar onze berichtgeving, werd gezegd dat onze content niet toegankelijk was

Het “beschermings”-argument gaat ervan uit dat AI je content steelt. In werkelijkheid citeert en stuurt AI verkeer naar content die toegankelijk is. Blokkeren betekent gewoon dat je niet meedoet.

We staan nu alle AI-crawlers toe en gebruiken Am I Cited om te monitoren hoe we worden geciteerd. Ons AI-verwijzingsverkeer is met 340% gestegen sinds deze wijziging.

Deze thread was ontzettend behulpzaam. Samenvatting van wat ik ga implementeren op basis van alle feedback:

Directe wijzigingen:

1. Sta alle grote AI-crawlers toe (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) op publieke content
2. Blokkeer expliciet gevoelige paden (/admin, /internal, /pricing voorlopig)
3. Corrigeer de typefouten in onze huidige configuratie (pijnlijk maar nodig)

Monitoring: 4. Serverlogtracking voor AI-botverkeer toevoegen 5. Am I Cited instellen om citaties te volgen 6. Over 30 dagen evalueren wat het effect is

Het belangrijkste inzicht voor mij was dat blokkeren geen bescherming biedt voor content die al in trainingsdata zit – het beperkt alleen toekomstige zichtbaarheid. En nu AI-zoek snel groeit, is zichtbaarheid belangrijker dan “bescherming”.

Bedankt allemaal voor de praktijkvoorbeelden en ervaringen.