Má niekto naozaj nakonfigurovaný robots.txt pre AI crawlerov? Návody online sú veľmi nejednotné

Spravujem robots.txt pre asi 40 veľkých firemných webov. Tu je rozdelenie, na ktorom naozaj záleží:

1. úroveň – určite nakonfigurovať:

• GPTBot – crawler OpenAI na tréning
• ChatGPT-User – režim prehliadania ChatGPT
• ClaudeBot – crawler Anthropic
• Google-Extended – tréning Google Gemini
• PerplexityBot – index Perplexity

2. úroveň – stojí za zváženie:

• anthropic-ai – sekundárny crawler Anthropic
• OAI-SearchBot – indexér vyhľadávania OpenAI
• CCBot – Common Crawl (využívaný viacerými AI firmami)

Čo robíme my:

User-agent: GPTBot
Allow: /blog/
Allow: /resources/
Disallow: /pricing/
Disallow: /admin/

User-agent: PerplexityBot
Allow: /

Kľúčové zistenie: PerplexityBot vždy plne povoľujem, pretože naozaj cituje vaše stránky s odkazmi. Blokovať ho je kontraproduktívne a neprináša žiadny úžitok.

Urobili sme veľkú chybu, keď sme minulý rok na základe rád o „ochrane obsahu“ zablokovali všetkých AI crawlerov.

Čo sa stalo:

• Organická návštevnosť zostala rovnaká (Google blokovanie AI crawlerov nerieši)
• No klienti sa začali pýtať „prečo sa nezobrazujeme, keď sa pýtam ChatGPT na náš odbor?“
• Konkurenti, ktorí crawlery povolili, sa spomínali neustále

Teraz už povoľujeme všetkých hlavných AI crawlerov. Argument o „ochrane“ nám prestal dávať zmysel, keď sme si uvedomili:

1. Tréningové dáta už boli pozbierané
2. Blokovanie reálneho prístupu nás robilo neviditeľnými
3. Nie je žiadny dôkaz, že blokovanie pred niečím reálne chráni

Výnimkou je len naozaj dôverný obsah za prihlásením – a tie stránky už boli zablokované.

Pohľad z regulovaného odvetvia (zdravotnícke technológie).

Máme legitímne dôvody kontrolovať prístup AI k určitému obsahu:

• Dokumentácia týkajúca sa pacientov
• Interné procesné dokumenty, ktoré sa omylom indexovali
• Cenníky a zmluvné podmienky

Náš prístup:

Vytvorili sme viacúrovňový systém:

1. Verejný marketingový obsah – Povoliť všetkých AI crawlerov
2. Produktová dokumentácia – Povoliť, ale monitorovať cez Am I Cited, čo je citované
3. Citlivý firemný obsah – Zakázať všetky crawlery
4. Interné stránky – Zakázať + vyžadovať prihlásenie

Kľúč je byť zámerný. „Všetko zablokovať“ a „všetko povoliť“ sú lenivé prístupy. Roztrieďte si obsah, pochopte, čo má každý typ pre vás robiť, a až potom konfigurujte.

Tip, na ktorý som prišiel až po čase:

Otestujte svoj robots.txt s reálnymi user-agentmi crawlerov.

Myslel som si, že mám všetko správne nastavené, kým som v serverových logoch nezistil, že niektoré AI crawlery pravidlá neberú, lebo som mal preklepy v názvoch user-agentov.

„GPT-Bot“ nie je to isté ako „GPTBot“ – hádajte, ktorý z nich som mal zle 3 mesiace?

Použite Google robots.txt tester alebo nástroje v príkazovom riadku a overte si, že každé pravidlo naozaj platí.

Tu je moja štandardná rada pre väčšinu firiem:

Povoľte všetko, obmedzujte strategicky.

Firmy, ktorým sa oplatí blokovať, sú skôr výnimky:

• Prémioví vydavatelia s obavou zo sumarizácie obsahu
• Spoločnosti s naozaj proprietárnym technickým obsahom
• Organizácie v právnych sporoch o AI tréning

Pre všetkých ostatných je to jednoduché: Viditeľnosť v AI je rastúci zdroj návštevnosti. Len Perplexity má vyše 200 miliónov dotazov mesačne. Byť tam neviditeľný je strategická nevýhoda.

Moja štandardná konfigurácia pre klientov:

# Povoliť všetkým AI crawlerom prístup k verejnému obsahu
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
Allow: /

# Obmedziť citlivé oblasti
Disallow: /admin/
Disallow: /internal/
Disallow: /api/

Jedna vec, ktorú nikto nespomína: monitorujte, čo sa naozaj deje po konfigurácii.

Ja som si nastavil upozornenia na AI bot traffic v analytike. Objavili sa zaujímavé trendy:

• GPTBot nás navštívi asi 500-krát denne
• PerplexityBot okolo 200-krát denne
• ClaudeBot prekvapivo menej, asi 50-krát denne

Tieto dáta mi ukazujú, ktoré AI platformy náš obsah naozaj indexujú. V kombinácii s nástrojmi na sledovanie AI citácií mám jasný prehľad o celom procese allow robots.txt > AI crawling > AI citácie.

Bez monitoringu len hádate, aký to má dopad.

Perspektíva vydavateľa. Prevádzkujeme spravodajský/analytický web s viac ako 10 000 článkami.

Čo sme sa naučili tvrdou skúsenosťou:

Blokovanie AI crawlerov nás poškodilo nečakanými spôsobmi:

1. Naše články prestali byť v AI-generovaných zhrnutiach na tému odvetvia
2. Konkurenti, ktorí crawlery povolili, sa stali „autoritou“
3. Keď sa ľudia pýtali ChatGPT na naše správy, odpovedal, že k obsahu nemá prístup

Argument „ochrany“ predpokladá, že AI vám kradne obsah. V skutočnosti AI cituje a prináša návštevnosť na obsah, ktorý môže čítať. Blokovanie znamená, že nie ste súčasťou tejto konverzácie.

Teraz povoľujeme všetkých AI crawlerov a používame Am I Cited na sledovanie citácií. Návštevnosť z AI nám odvtedy narástla o 340 %.

Toto vlákno mi veľmi pomohlo. Súhrn zmien, ktoré na základe vašich rád zavádzam:

Okamžité zmeny:

1. Povoliť všetkým hlavným AI crawlerom (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) prístup k verejnému obsahu
2. Výslovne zablokovať citlivé cesty (/admin, /internal, /pricing zatiaľ)
3. Opraviť preklepy v aktuálnom nastavení (trápne, ale nutné)

Monitoring: 4. Pridať sledovanie AI bot trafficu v serverových logoch 5. Nastaviť Am I Cited na sledovanie reálnych citácií 6. Po 30 dňoch skontrolovať výsledky

Kľúčové zistenie: blokovanie nechráni obsah, ktorý už je v tréningových dátach – len obmedzuje budúcu viditeľnosť. A keďže AI vyhľadávanie rýchlo rastie, viditeľnosť je dôležitejšia než „ochrana“.

Vďaka všetkým za reálne konfigurácie a skúsenosti.