Které AI crawlery povolit? Kompletní průvodce pro rok 2025

Porozumění AI crawlerům a jejich účelu

AI crawlery jsou automatizovaní roboti, kteří žádají a sbírají obsah z webových stránek pro různé účely v ekosystému umělé inteligence. Na rozdíl od tradičních vyhledávacích crawlerů, které primárně indexují obsah pro vyhledávání, AI crawlery fungují ve třech odlišných kategoriích, každá s jinými dopady na viditelnost vašeho webu i ochranu obsahu. Porozumění těmto kategoriím je klíčové pro informované rozhodnutí, které crawlery povolit nebo blokovat v souboru robots.txt.

První kategorií jsou trénovací crawlery, které sbírají webový obsah pro vytváření datových sad k trénování velkých jazykových modelů. Tito crawlery, jako je GPTBot a ClaudeBot, systematicky sbírají informace, které se stávají součástí znalostní báze AI modelu. Jakmile se váš obsah dostane do trénovací datové sady, může být použit k generování odpovědí, aniž by uživatelé navštívili váš původní web. Podle nedávných údajů tvoří trénovací crawlery přibližně 80 % veškerého AI crawler provozu, což z nich činí nejagresivnější kategorii z hlediska spotřeby šířky pásma a sběru obsahu.

Druhou kategorií jsou vyhledávací a citační crawlery, které indexují obsah pro AI vyhledávání a generování odpovědí. Tito crawlery, jako OAI-SearchBot a PerplexityBot, pomáhají zobrazovat relevantní zdroje, když uživatelé kladou dotazy v ChatGPT nebo Perplexity. Na rozdíl od trénovacích crawlerů mohou vyhledávací crawlery skutečně přivádět návštěvnost zpět vydavatelům prostřednictvím citací a odkazů v AI odpovědích. Tato kategorie představuje potenciální příležitost ke zvýšení viditelnosti v nově vznikajících AI vyhledávacích kanálech, které jsou pro webovou návštěvnost stále důležitější.

Třetí kategorií jsou fetchery spouštěné uživatelem, které se aktivují pouze tehdy, když uživatelé explicitně požádají o konkrétní obsah prostřednictvím AI asistentů. Když někdo vloží URL do ChatGPT nebo požádá Perplexity o analýzu konkrétní stránky, tyto fetchery získají obsah na vyžádání. Tito crawlery pracují v mnohem menších objemech a nejsou používány pro trénink modelů, což z nich činí menší hrozbu pro ochranu obsahu a zároveň přinášejí hodnotu pro uživatelské interakce.

Hlavní AI crawlery a jejich user agenti

OpenAI provozuje tři hlavní crawlery s odlišnými funkcemi v rámci ekosystému ChatGPT. GPTBot je hlavní trénovací crawler, který sbírá data specificky pro trénink modelů; jeho blokováním zabráníte začlenění vašeho obsahu do budoucích verzí modelů GPT. OAI-SearchBot zajišťuje real-time vyhledávání pro funkce ChatGPT a neshromažďuje tréninková data, což je cenné pro udržení viditelnosti ve výsledcích ChatGPT. ChatGPT-User se aktivuje pouze při explicitním požadavku uživatele, takže jde o jednorázové návštěvy, nikoliv systematické crawlování, a OpenAI potvrzuje, že takto získaný obsah není využit pro trénink.

Strategie crawlerů společnosti Anthropic zahrnuje ClaudeBot jako hlavního sběrače trénovacích dat a Claude-User pro fetchování na vyžádání uživatele. Společnost čelila kritice za poměr crawl-to-refer, který podle dat Cloudflare dosahuje od 38 000:1 až přes 70 000:1 v závislosti na období. To znamená, že Anthropic crawluje výrazně více obsahu, než kolik odkazuje zpět vydavatelům, což z něj dělá hlavní cíl k blokování, pokud je vaší prioritou ochrana obsahu.

Google používá Google-Extended jako speciální token určující, zda Googlebot-crawlovaný obsah může být využit pro trénink Gemini AI. Je důležité vědět, že blokování Google-Extended může ovlivnit vaši viditelnost ve funkci “Grounding with Google Search” v Gemini, což může snížit počet citací v AI odpovědích. AI Overviews ve vyhledávání Google se však řídí standardními pravidly pro Googlebot, takže blokování Google-Extended nemá vliv na běžné indexování.

Perplexity má duální systém crawlerů: PerplexityBot pro budování databáze vyhledávače a Perplexity-User pro návštěvy na vyžádání. Perplexity zveřejňuje oficiální IP rozsahy pro oba crawlery, což umožňuje webmasterům ověřovat legitimní požadavky a zabránit obcházení omezení falešnými user agenty.

Konfigurace vašeho souboru robots.txt

Nejjednodušší způsob, jak spravovat přístup AI crawlerů, je prostřednictvím souboru robots.txt, který obsahuje direktivy určující, co crawlery smějí a nesmějí procházet. Každý řádek User-agent identifikuje crawler, kterého se pravidla týkají, a následující direktivy Allow nebo Disallow určují, jaký obsah má bot povolen či zakázán. Pokud za deklarací User-agent nenásleduje direktiva, bot neví, jak se má chovat, a může výchozí nastavení znamenat povolení přístupu.

Pro vydavatele, kteří chtějí blokovat všechny trénovací crawlery a zároveň povolit vyhledávací a citační crawlery, se osvědčuje vyvážený přístup. Tato konfigurace blokuje GPTBot, ClaudeBot, anthropic-ai, Google-Extended, Meta-ExternalAgent a další trénovací crawlery, zatímco povoluje OAI-SearchBot, PerplexityBot a fetchery spouštěné uživatelem. Tato strategie chrání váš obsah před začleněním do AI modelů a zároveň zachovává viditelnost v AI vyhledávacích a objevovacích platformách.

# Blokovat AI trénovací crawlery
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Meta-ExternalAgent
Disallow: /

# Povolit AI vyhledávací crawlery
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Perplexity-User
Allow: /

Pro vydavatele hledající maximální ochranu blokuje komplexní konfigurace všechny známé AI crawlery. Tento přístup zabrání jakékoliv AI platformě v přístupu k vašemu obsahu, ať už pro trénink nebo vyhledávání. Tato strategie má však svá úskalí: přicházíte o viditelnost v nových AI vyhledávacích kanálech a můžete přijít o návštěvnost z AI výsledků.

Lze také použít pravidla pro specifické cesty, která umožňují různé úrovně přístupu pro různé sekce webu. Například můžete povolit trénovacím crawlerům přístup k veřejnému blogu, ale blokovat je v soukromých sekcích nebo u citlivých informací. Tento podrobný přístup dává vydavatelům flexibilitu při hledání rovnováhy mezi ochranou obsahu a viditelností v AI.

Nad rámec robots.txt: Silnější ochranné metody

Soubor robots.txt je pouze výchozím bodem pro správu přístupu AI crawlerů, protože spoléhá na to, že crawlery vaše pokyny dobrovolně respektují. Některé crawlery robots.txt nerespektují a útočníci mohou falšovat user agenty, aby omezení obešli. Vydavatelé, kteří chtějí silnější ochranu, by měli zvážit další technická opatření nezávislá na ochotě crawlerů spolupracovat.

Ověřování IP adres a firewallová pravidla představují nejspolehlivější způsob kontroly přístupu AI crawlerů. Hlavní AI firmy zveřejňují oficiální IP rozsahy, které můžete použít k ověření legitimních crawlerů. OpenAI zveřejňuje IP rozsahy pro GPTBot, OAI-SearchBot a ChatGPT-User na openai.com/gptbot.json, openai.com/searchbot.json a openai.com/chatgpt-user.json. Amazon poskytuje IP adresy Amazonbotu na developer.amazon.com/amazonbot/ip-addresses/. Povolením ověřených IP adres ve firewallu a blokováním žádostí z neověřených zdrojů předstírajících, že jsou AI crawlery, zabráníte obcházení omezení falešnými user agenty.

Blokování na úrovni serveru pomocí .htaccess zajišťuje další vrstvu ochrany nezávislou na robots.txt. Pro Apache servery můžete zavést pravidla, která vracejí odpověď 403 Forbidden odpovídajícím user agentům bez ohledu na to, zda crawler respektuje robots.txt. Takto zajistíte, že i crawlery nerespektující robots.txt se k obsahu nedostanou.

Konfigurace Web Application Firewallu (WAF) přes služby jako Cloudflare umožňuje vytvářet pokročilá pravidla kombinující kontrolu user agentů a ověřování IP adres. Lze nastavit pravidla, která povolí požadavky pouze tehdy, pokud user agent odpovídá známému crawleru A zároveň požadavek pochází z oficiálně zveřejněné IP adresy. Tato dvojí verifikace zabrání falešným požadavkům a zároveň propustí legitimní crawler provoz.

HTML meta tagy poskytují stránkovou kontrolu pro některé crawlery. Amazon a další crawlery respektují direktivu noarchive, která říká crawlerům, aby stránku nepoužívaly pro trénink modelů, i když ji mohou indexovat jinak. Přidejte do hlavičky stránky: <meta name="robots" content="noarchive">.

Kompromisy při blokování AI crawlerů

Rozhodnutí, zda AI crawlery blokovat, není jednoduché, protože každé rozhodnutí znamená významné kompromisy ovlivňující viditelnost a návštěvnost webu. Viditelnost v AI vyhledávání je stále důležitější, jak uživatelé přecházejí od tradičního vyhledávání k AI odpovědím. Když uživatelé kladou v ChatGPT, Perplexity nebo Google AI otázky související s vaším obsahem, mohou dostat citace na váš web. Blokování vyhledávacích crawlerů může snížit vaši viditelnost v těchto nových platformách, což vás může připravit o návštěvnost, jak se AI vyhledávání rozšiřuje.

Zátěž serveru a náklady na šířku pásma jsou dalším důležitým aspektem. AI crawlery mohou výrazně zatěžovat servery; některé infrastruktury uvádějí, že po zablokování AI crawlerů snížily spotřebu šířky pásma z 800 GB na 200 GB denně, což znamenalo úsporu cca 1 500 $ měsíčně. Vydavatelé s vysokou návštěvností mohou díky selektivnímu blokování významně ušetřit, takže rozhodnutí může být ekonomicky opodstatněné.

Základní napětí zůstává: trénovací crawlery spotřebovávají váš obsah k tréninku modelů, což může snížit potřebu uživatelů navštěvovat váš web, zatímco vyhledávací crawlery indexují obsah pro AI vyhledávání, které může (ale nemusí) vést návštěvnost zpět. Vydavatelé musí rozhodnout, které kompromisy odpovídají jejich byznys modelu. Tvůrci obsahu a vydavatelé závislí na přímé návštěvnosti a reklamních příjmech mohou upřednostnit blokování trénovacích crawlerů. Ti, kdo těží z citací v AI odpovědích, mohou upřednostnit povolení vyhledávacích crawlerů.

Ověření, že crawlery respektují vaše blokace

Nastavení robots.txt je pouze počátkem správy přístupu AI crawlerů. Potřebujete mít přehled, zda crawlery skutečně vaše direktivy respektují a zda se falešní crawlery nepokoušejí omezení obejít. Kontrola serverových logů ukáže, které crawlery váš web navštěvují a jaké stránky požadují. Logy serveru se obvykle nacházejí v /var/log/apache2/access.log pro Apache nebo /var/log/nginx/access.log pro Nginx. Pomocí příkazů grep můžete filtrovat vzory AI crawlerů a zjistit, kteří boti navštěvují vaše stránky.

Pokud vidíte požadavky od zablokovaných crawlerů, které přesto přistupují k obsahu, pravděpodobně nerespektují robots.txt. Zde je nutné nasadit blokování na úrovni serveru nebo firewallu. Tento příkaz můžete použít na logy Nginx nebo Apache pro zjištění, kteří AI crawlery navštívili váš web:

grep -Ei "gptbot|oai-searchbot|chatgpt-user|claudebot|perplexitybot|google-extended|bingbot" access.log | awk '{print $1,$4,$7,$12}' | head

Falešní crawlery mohou falšovat user agenty a tím obejít omezení a agresivně scrapovat obsah. Každý může vydávat svůj požadavek například za ClaudeBota z vlastního počítače a crawl provést pomocí běžných nástrojů. Nejspolehlivější metodou ověření je kontrola IP adresy požadavku vůči oficiálně deklarovaným IP rozsahům. Pokud IP odpovídá oficiálnímu seznamu, požadavek povolte; jinak jej zablokujte. Takto zabráníte falešným požadavkům a zároveň umožníte legitimní crawler provoz.

Analytické a monitorovací nástroje stále častěji rozlišují boty od lidských návštěvníků. Cloudflare Radar sleduje globální vzory AI bot provozu a poskytuje přehled o nejaktivnějších crawlerech. Pro monitoring na konkrétním webu sledujte neočekávané vzory návštěvnosti, které by mohly značit aktivitu crawlerů. AI crawlery často vykazují “burst” chování, kdy najednou provedou mnoho požadavků a pak na delší dobu utichnou, což se liší od stabilního provozu běžných uživatelů.

Údržba vašeho seznamu blokovaných crawlerů

AI crawler scéna se rychle vyvíjí – pravidelně se objevují nové crawlery a stávající mění user agenty. Udržování efektivní strategie blokování AI crawlerů vyžaduje průběžnou pozornost k zachycení nových crawlerů i změn. Pravidelně kontrolujte serverové logy na user agenty obsahující “bot”, “crawler”, “spider” nebo názvy firem jako “GPT”, “Claude” či “Perplexity”. Projekt ai.robots.txt na GitHubu udržuje komunitní seznam známých AI crawlerů a user agentů, který můžete využít.

Kontrolujte své analytiky crawlů alespoň čtvrtletně, abyste odhalili nové crawlery přistupující na vaše stránky. Nástroje jako Cloudflare Radar poskytují přehled o provozu AI crawlerů a pomáhají identifikovat nové boty. Pravidelně testujte implementaci ověřením, že vaše robots.txt a serverové blokace fungují kontrolou přístupu crawlerů v analytice. Nové crawlery se objevují často, proto si naplánujte pravidelné revize svého seznamu blokovaných crawlerů, abyste zachytili novinky a zajistili aktuálnost konfigurace.

Mezi nové crawlery, které je třeba sledovat, patří browseroví AI agenti od firem jako xAI (Grok), Mistral a další. Tyto agenty mohou používat user agenty jako GrokBot, xAI-Grok nebo MistralAI-User. Někteří browseroví AI agenti, jako OpenAI’s Operator a podobné produkty, nepoužívají specifické user agenty a vystupují jako běžný Chrome provoz, což znemožňuje jejich blokování tradičními metodami. To je nová výzva pro vydavatele, kteří chtějí kontrolovat přístup AI k jejich obsahu.