Ničí AI boti váš crawl budget? Jak spravovat GPTBot a další

AI crawl budget je teď skutečný problém. Rozeberu to.

Jak se AI crawleři liší od Google:

Problém poměru crawl/referral:

ClaudeBot prochází desítky tisíc stránek na každého návštěvníka, kterého pošle.

GPTBot je podobný – masivní crawl, minimální okamžitý traffic.

Proč byste je neměli prostě blokovat:

Pokud AI crawlery zablokujete, váš obsah se v AI odpovědích neobjeví. Vaši konkurenti, kteří crawling povolí, tu viditelnost získají místo vás.

Strategie: Selektivní správa, ne blokace.

Pohled infrastruktury na zátěž AI crawlerů.

Co jsme naměřili (14denní období):

AI boti poslali méně požadavků, ale spotřebovali téměř stejné množství dat.

Výpočet zdrojů:

AI crawleři žádají 2,5× více dat na požadavek. Stahují celý HTML kvůli tréninku modelů, nedělají efektivní inkrementální crawling jako Google.

Dopad na server:

• Špičky CPU na origin serveru během vln AI crawlů
• Zátěž paměti z paralelních požadavků
• Dotazy na databázi u dynamického obsahu
• Možný dopad na skutečné uživatele

Naše řešení:

1. Cachingová vrstva – CDN obsluhuje AI boty, chrání origin
2. Rate limiting – 2 požadavky/s na každého AI crawlera
3. Priorita fronty – Skuteční uživatelé mají přednost, boti až potom
4. Monitoring – Upozornění při špičkách AI crawlů

Zdraví serveru se po nasazení opatření zlepšilo o 40 %.

Pohled na kompromis ohledně viditelnosti.

Dilema:

Blokovat AI crawlery = Žádná zátěž serveru, žádná AI viditelnost Povolit AI crawlery = Zátěž serveru, potenciální AI viditelnost

Co se stane, když blokujete:

Testovali jsme blokování GPTBot u klienta po dobu 3 měsíců:

• Zátěž serveru klesla o 22 %
• AI citace klesly o 85 %
• Vzrostl počet zmínek konkurence v ChatGPT
• Rozhodnutí jsme zvrátili během 2 měsíců

Lepší přístup:

Ne blokovat. Spravovat.

Hierarchie správy:

1. CDN/caching – Nechat edge obsluhovat boty
2. Rate limiting – Zpomalit, ne zastavit
3. Selektivní blokace – Blokovat jen nízkohodnotové sekce
4. Optimalizace obsahu – Zajistit, že procházený obsah je hodnotný

Výpočet návratnosti:

Pokud AI traffic konvertuje 5× lépe než organický, i malý nárůst AI trafficu díky crawlingu ospravedlňuje investici do serveru.

Náklady na server: zvýšení o 200 $/měsíc Hodnota AI trafficu: 2 000 $/měsíc Rozhodnutí: Povolit crawling

Důležitý bod ohledně vykreslování JavaScriptu.

Problém:

Většina AI crawlerů nevykonává JavaScript.

Co to znamená:

Pokud je váš obsah vykreslován JavaScriptem (React, Vue, Angular SPA), AI crawleři nevidí nic.

Naše zjištění:

AI crawleři zasahovali náš web tisíckrát, ale dostávali prázdné stránky. Veškerý obsah se načítal client-side.

Řešení:

Server-side rendering (SSR) pro klíčový obsah.

Výsledky:

Stejný crawl budget, 23× více citací.

Pokud používáte JavaScriptový framework, implementujte SSR pro stránky, které chcete, aby AI citovalo. Jinak plýtváte crawl budgetem na prázdné stránky.

Tipy pro analýzu serverových logů.

Jak identifikovat AI crawlery:

User-agent řetězce, na které si dát pozor:

• GPTBot
• ChatGPT-User (dotazy v reálném čase)
• OAI-SearchBot
• ClaudeBot
• PerplexityBot
• Amazonbot
• anthropic-ai

Analytický postup:

1. Export logů za 30 dní
2. Filtrovat podle AI user-agentů
3. Analyzovat vzory URL
4. Spočítat crawl waste

Co jsme zjistili:

60 % AI crawl budgetu bylo promrháno na:

• Výsledky interního hledání
• Stránkování nad stránku 5
• Archivní stránky z roku 2018
• Testovací/staging URL

Řešení:

robots.txt disallow pro tyto sekce.

Efektivita AI crawlerů vzrostla z 40 % na 85 % užitečného crawlu.

Průběžné sledování:

Nastavte dashboardy pro sledování:

• Objemu AI crawlerů podle bota
• Nejčastěji crawlovených URL
• Doby odezvy při crawlování
• Procenta zbytečného crawlu

Kdy má blokování skutečně smysl.

Oprávněné důvody pro blokaci AI crawlerů:

1. Právní obsah – Zastaralé právní informace, které by neměly být citovány
2. Regulovaný obsah – Obsah podléhající regulaci s odpovědností
3. Proprietární data – Obchodní tajemství, výzkum
4. Citlivý obsah – Uživatelský, osobní obsah

Příklad:

Advokátní kancelář s archivovanými zákony z roku 2019. Pokud AI cituje toto jako platné právo, klientům to může uškodit. Blokujte AI přístup na /archive/legislation/.

Selektivní přístup:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
Disallow: /archived-legal/
Disallow: /user-generated/
Disallow: /internal/
Allow: /

Co neblokovat:

Váš hodnotný obsah, blog, produktové stránky, popisy služeb. To chcete, aby AI citovalo.

Výchozí stav:

Povolte, pokud není konkrétní důvod blokovat.

Nový standard llms.txt.

Co je llms.txt?

Podobné jako robots.txt, ale specificky pro AI crawlery. Říká LLM, jaký obsah je vhodné použít.

Aktuální stav:

Počáteční adopce. Ne všichni AI poskytovatelé jej zatím respektují.

Příklad llms.txt:

# llms.txt
name: Název společnosti
description: Čím se zabýváme
contact: ai@company.com

allow: /products/
allow: /services/
allow: /blog/

disallow: /internal/
disallow: /user-content/

Má smysl implementovat už teď?

Ano – signalizuje to moderní přístup a brzy to AI systémy mohou respektovat.

Budoucnost:

S vývojem AI crawlů budeme mít propracovanější možnosti řízení. Připravte se včas.

Aktuální nástroj: robots.txt Nově vznikající: llms.txt Budoucnost: Jemnější řízení AI crawlerů

Skvělá diskuze. Můj plán správy AI crawl budgetu:

Ihned (tento týden):

1. Analyzovat serverové logy pro vzory AI crawlerů
2. Identifikovat crawl waste (archivy, stránkování, interní hledání)
3. Aktualizovat robots.txt se selektivní blokací
4. Zavést rate limiting na CDN

Krátkodobě (tento měsíc):

1. Nastavit CDN caching pro AI bot traffic
2. Spustit monitorovací dashboardy
3. Otestovat SSR pro JavaScriptový obsah
4. Vytvořit llms.txt soubor

Průběžně:

1. Týdenní kontrola efektivity crawlu
2. Sledovat míru AI citací
3. Upravovat limity podle kapacity serveru
4. Porovnávat referral traffic z AI vs crawl objem

Klíčová rozhodnutí:

• NE blokovat AI crawlery kompletně – viditelnost je důležitá
• Rate limit na 2 požadavky/s
• Selektivní blokace nízkohodnotových sekcí
• Ochrana origin serveru přes CDN

Rovnováha:

Zdraví serveru je důležité, ale stejně tak AI viditelnost. Spravujte, neblokujte.

Díky všem – tohle je použitelné.