Ničia AI boti váš crawl budget? Ako spravovať GPTBot a jeho kamarátov

AI crawl budget je dnes reálny problém. Rozoberiem to.

V čom sa AI crawlery líšia od Google:

Problém pomeru crawl/referral:

ClaudeBot prehľadá desaťtisíce stránok na každého návštevníka, ktorého pošle.

GPTBot je podobný – masívny crawl, minimálna okamžitá návštevnosť.

Prečo ich neblokovať:

Ak zablokujete AI crawlery, váš obsah sa neobjaví v AI odpovediach. Konkurencia, ktorá crawling povolí, získa túto viditeľnosť namiesto vás.

Stratégia: Selektívna správa, nie blokovanie.

Pohľad na záťaž AI crawlerov z pohľadu infraštruktúry.

Čo sme namerali (14 dní):

AI boti vykonali menej požiadaviek, ale spotrebovali takmer rovnakú šírku pásma.

Matematika zdrojov:

AI crawlery si pýtajú 2,5x viac dát na požiadavku. Sťahujú celý HTML na trénovanie modelov, nie efektívne inkrementálne crawling ako Google.

Vplyv na server:

• Špičky CPU na origin serveri počas AI crawl vĺn
• Pamäťové zaťaženie z paralelných požiadaviek
• Dotazy na databázu pri dynamickom obsahu
• Potenciálny vplyv na reálnych užívateľov

Naše riešenie:

1. Cachingová vrstva – CDN obsluhuje AI botov, chráni origin
2. Rate limiting – 2 požiadavky/sekundu pre každý AI crawler
3. Priorita v rade – Prví reálni užívatelia, potom boti
4. Monitoring – Upozornenia na špičky AI crawl-u

Zdravie servera sa po zavedení opatrení zlepšilo o 40 %.

Pohľad z hľadiska viditeľnosti.

Dilema:

Blokovať AI crawlery = Žiadne preťaženie servera, žiadna AI viditeľnosť Povoliť AI crawlery = Preťaženie servera, potenciálna AI viditeľnosť

Čo sa stane pri blokovaní:

Testovali sme blokovanie GPTBot na stránke klienta 3 mesiace:

• Záťaž servera klesla o 22 %
• AI citácie klesli o 85 %
• Nárast zmienok konkurencie v ChatGPT
• Rozhodnutie sme do 2 mesiacov zvrátili

Lepší prístup:

Nezablokovať. Spravovať.

Hierarchia správy:

1. CDN/caching – Nech edge rieši bot traffic
2. Rate limiting – Spomaliť, nie zastaviť
3. Selektívne blokovanie – Blokovať iba nízko-hodnotné sekcie
4. Optimalizácia obsahu – Nech má zmysel, čo prehľadávajú

Prepočet návratnosti:

Ak AI traffic konvertuje 5x lepšie než organický, aj malý nárast AI návštevnosti ospravedlní investíciu do servera.

Náklady na server: +200 $/mesiac Hodnota AI trafficu: 2000 $/mesiac Rozhodnutie: Povoliť crawling

Dôležitý bod k renderovaniu JavaScriptu.

Problém:

Väčšina AI crawlerov nespúšťa JavaScript.

Čo to znamená:

Ak je váš obsah renderovaný cez JavaScript (React, Vue, Angular SPA), AI crawlery nevidia nič.

Naše zistenie:

AI crawlery prichádzali tisíce krát, ale dostali prázdne stránky. Všetok obsah sa načítaval na strane klienta.

Riešenie:

Server-side rendering (SSR) pre kľúčový obsah.

Výsledky:

Rovnaký crawl budget, 23x viac citácií.

Ak máte JavaScript framework, implementujte SSR pre stránky, ktoré chcete, aby AI citoval. Inak plytváte crawl budgetom na prázdne stránky.

Tipy na analýzu serverových logov.

Ako identifikovať AI crawlery:

User-agent stringy, ktoré treba sledovať:

• GPTBot
• ChatGPT-User (dotazy v reálnom čase)
• OAI-SearchBot
• ClaudeBot
• PerplexityBot
• Amazonbot
• anthropic-ai

Postup analýzy:

1. Exportujte logy za 30 dní
2. Filtrovajte podľa AI user-agentov
3. Analyzujte vzory URL
4. Spočítajte plytvanie crawl-om

Čo sme zistili:

60 % AI crawl budgetu sa míňalo na:

• Výsledky interného vyhľadávania
• Stránkovanie za stránkou 5
• Archívne stránky z roku 2018
• Testovacie/staging URL

Riešenie:

robots.txt disallow pre tieto sekcie.

Efektivita AI crawl-ovania sa zvýšila zo 40 % na 85 % užitočného crawl-u.

Priebežný monitoring:

Nastavte dashboardy na sledovanie:

• Objem AI crawlerov podľa bota
• Najčastejšie prehľadávané URL
• Časy odozvy počas crawl-u
• Percento plytvania crawl-om

Kedy má blokovanie naozaj zmysel.

Oprávnené dôvody na blokovanie AI crawlerov:

1. Právny obsah – Zastarané právne informácie, ktoré by sa nemali citovať
2. Compliance obsah – Regulovaný obsah s rizikom zodpovednosti
3. Dôverné údaje – Obchodné tajomstvá, výskum
4. Citlivý obsah – Užívateľsky generovaný, osobné údaje

Príklad:

Advokátska kancelária s archívom legislatívy z roku 2019. Ak AI cituje toto ako platný zákon, klienti môžu byť poškodení. Blokujte AI z /archive/legislation/.

Selektívny prístup:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
Disallow: /archived-legal/
Disallow: /user-generated/
Disallow: /internal/
Allow: /

Čo neblokovať:

Váš hodnotný obsah, blog, produktové stránky, popisy služieb. To chcete, aby AI citoval.

Predvolené nastavenie:

Povoliť, ak nie je konkrétny dôvod blokovať.

Emergujúci štandard llms.txt.

Čo je llms.txt?

Podobné ako robots.txt, ale špeciálne pre AI crawlery. Určuje LLM, aký obsah je vhodný na použitie.

Aktuálny stav:

Začiatok adopcie. Nie všetci AI poskytovatelia ho zatiaľ rešpektujú.

Príklad llms.txt:

# llms.txt
name: Názov spoločnosti
description: Čomu sa venujeme
contact: ai@company.com

allow: /products/
allow: /services/
allow: /blog/

disallow: /internal/
disallow: /user-content/

Má zmysel implementovať už teraz?

Áno – je to signál, že myslíte dopredu, a AI systémy to čoskoro môžu rešpektovať.

Budúcnosť:

Ako bude AI crawling vyzrievať, pribudnú sofistikovanejšie nástroje. Pripravte sa vopred.

Aktuálne nástroje: robots.txt Emergujúce: llms.txt Budúcnosť: Jemnejšie ovládanie AI crawlerov

Výborná diskusia. Môj plán správy AI crawl budgetu:

Okamžite (tento týždeň):

1. Analyzovať serverové logy na AI crawler vzory
2. Identifikovať plytvanie crawl-om (archív, stránkovanie, interné vyhľadávanie)
3. Aktualizovať robots.txt so selektívnymi blokmi
4. Zaviesť rate limiting na úrovni CDN

Krátkodobo (tento mesiac):

1. Nastaviť CDN caching pre AI bot traffic
2. Zaviesť monitoring dashboardy
3. Otestovať SSR pre JavaScript obsah
4. Vytvoriť súbor llms.txt

Dlhodobo:

1. Týždenná kontrola efektivity crawl-u
2. Sledovať mieru AI citácií
3. Prispôsobovať rate limity podľa kapacity servera
4. Porovnávať AI referral traffic s objemom crawl-u

Kľúčové rozhodnutia:

• NEblokovať AI crawlery úplne – viditeľnosť je dôležitá
• Rate limiting na 2 požiadavky/sekundu
• Selektívne blokovanie nízko-hodnotných sekcií
• Ochrana origin servera cez CDN

Rovnováha:

Zdravie servera je dôležité, ale aj AI viditeľnosť. Spravovať, neblokovať.

Ďakujem všetkým – toto je použiteľné.