Jak zjistím, zda AI crawlery skutečně mají přístup na můj web? Potřebuji testovací návod

Kompletní testovací průvodce:

Krok 1: Kontrola robots.txt

Zkontrolujte svůj robots.txt na vašedoména.com/robots.txt

Hledejte:

# Správně – výslovné povolení AI crawlerů
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

Pozor na:

# Chybně – obecné blokování všech nespecifikovaných botů
User-agent: *
Disallow: /

# Chybně – výslovné blokování AI crawlerů
User-agent: GPTBot
Disallow: /

Krok 2: Tester robots.txt

Použijte Google robots.txt tester nebo online nástroje. Testujte s těmito user agenty:

• GPTBot
• PerplexityBot
• ClaudeBot
• anthropic-ai

Zadejte klíčové URL a zjistěte, zda jsou povoleny.

Krok 3: Analýza serverových logů

Hledejte v logech podpisy AI botů. Podrobnosti v dalším komentáři.

Běžné důvody blokování AI crawlerů:

1. Wildcard v robots.txt

User-agent: *
Disallow: /

Tímto blokujete VŠECHNY nespecifikované boty, včetně AI crawlerů.

Oprava:

User-agent: Googlebot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /

2. Omezení rychlosti (Rate Limiting) Příliš agresivní omezení může blokovat IP crawlerů. Zkontrolujte, zda WAF nebo CDN neblokuje.

3. IP bloklisty Některé bezpečnostní pluginy blokují “podezřelé” IP adresy. IP AI crawlerů může být označena.

4. Vyžadované přihlášení Jakýkoliv požadavek na přihlášení blokuje crawlery. Ověřte, že veřejný obsah je skutečně veřejný.

5. JavaScriptové vykreslování Obsah vykreslený pouze JS nemusí být viditelný. AI crawlery nemusí JavaScript plně vykonat.

6. Pomalá odezva Stránky načítající se přes 5–10 sekund mohou způsobit timeout. Crawlery to mohou vzdát.

Testování jednotlivých bodů:

• robots.txt: Přímá kontrola URL
• Omezení rychlosti: Kontrola WAF/CDN logů
• IP blokování: Test z různých IP adres
• Přihlášení: Vyzkoušejte anonymní prohlížení
• JS: Porovnejte zdroj stránky vs. vykreslené zobrazení
• Rychlost: GTmetrix či podobné nástroje

Kompletní seznam user agentů AI crawlerů:

OpenAI:

GPTBot

Používáno pro trénink a procházení ChatGPT.

Perplexity:

PerplexityBot

Používáno pro vyhledávání Perplexity AI.

Anthropic:

ClaudeBot
anthropic-ai

Používáno pro Claude AI.

Google:

Google-Extended

Používáno pro trénink Google AI/Gemini.

Common Crawl:

CCBot

Používáno mnoha AI systémy pro trénink dat.

Váš robots.txt by měl obsahovat:

# AI crawlery
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

Pokud chcete některého konkrétního zablokovat, použijte Disallow. Většina firem chce povolit všechny.

Online nástroje pro testování:

1. Google robots.txt Tester (V Search Console)

• Odeslání vlastního user agentu
• Test konkrétních URL
• Zobrazení výsledku povolit/zakázat

2. SEO spider nástroje

• Screaming Frog
• Sitebulb
• DeepCrawl Umí crawl jako konkrétní user agenti.

3. Manuální testování

# Test pomocí curl jako GPTBot
curl -A "GPTBot" https://vasedomena.cz/stranka

# Kontrola kódu odpovědi
curl -I -A "GPTBot" https://vasedomena.cz/stranka

4. Validátory robots.txt

• Google robots.txt Tester
• robots.txt Validator (více online)
• Nástroje pro kontrolu syntaxe

Co testovat:

• Hlavní stránku
• Klíčové obsahové stránky
• Blogové příspěvky
• Produktové stránky
• FAQ stránky

Testujte explicitně své nejdůležitější stránky.

Pokud nejste zkušení s příkazovou řádkou:

GUI analýza logů:

• GoAccess (zdarma, vizuální analyzátor logů)
• AWStats (klasický analyzátor logů)
• Matomo (self-hosted analytika)

Cloudová analýza logů:

• Cloudflare Analytics (pokud používáte CF)
• AWS CloudWatch (pokud jste na AWS)
• Google Cloud Logging

Služby třetích stran:

• Loggly
• Papertrail
• Datadog

Na co se zaměřit: Vytvořte si filtr/hledání na user agenty AI botů. Nastavte si upozornění na odpovědi 403/500 pro AI boty. Sledujte trendy v čase.

Jednoduché dashboard metriky:

• Počet návštěv AI botů/den
• Nejčastěji procházené stránky
• Chybovost
• Trendy crawlování

Pokud máte 0 návštěv AI botů více než 2 týdny, je někde problém.

CDN a WAF často blokují AI crawlery:

Cloudflare:

• Bot Fight Mode může blokovat AI boty
• Zkontrolujte Security > Bots nastavení
• Přidejte výjimky pro IP AI crawlerů dle potřeby

AWS CloudFront/WAF:

• Pravidla AWS WAF mohou blokovat
• Projděte WAF logy na blokované požadavky
• Vytvořte povolovací pravidla pro AI boty

Akamai:

• Nastavení Bot Manageru
• Může vyžadovat explicitní povolení

Jak ověřit:

1. Prohlédněte CDN/WAF logy, nejen logy serveru
2. Hledejte blokované/vyzvané požadavky
3. Sledujte konkrétní user agenty AI botů

Naše zkušenost: Cloudflare Bot Fight Mode blokoval GPTBot. Pro AI crawlery jsme režim deaktivovali. První návštěvy GPTBot jsme zaznamenali do 24 hodin.

Kontrolujte edge vrstvu, nejen origin server.

Měsíční rutina pro kontrolu zdraví AI crawlerů:

Rychlá týdenní kontrola (5 min):

1. Rychlé hledání AI botů v logu
2. Zaznamenat případné chyby odpovědí
3. Zkontrolovat trend návštěvnosti

Hloubková měsíční kontrola (30 min):

1. Audit robots.txt

   • Stále povoluje AI crawlery?
   • Nepřibyla nová pravidla, která by mohla blokovat?

2. Analýza logů

   • Kteří AI boti navštěvují?
   • Které stránky jsou nejprocházenější?
   • Opakující se chyby?

3. Kontrola rychlosti stránek

   • Klíčové stránky stále rychlé?
   • Nepřibyly nové problémy s výkonem?

4. Dostupnost obsahu

   • Nové přihlašovací stěny?
   • Nový obsah závislý na JS?
   • Nové přesměrování?

5. Kontrola CDN/WAF

   • Nová bezpečnostní pravidla?
   • Vzory blokovaných požadavků?

Dokumentace zjištění: Vytvořte si jednoduchou tabulku:

• Datum
• Zjištění AI botů
• Počet návštěv
• Nalezené problémy
• Přijatá opatření

Tak předejdete problémům, které by zůstaly neviditelné.

Pokud nevidíte žádné návštěvy AI crawlerů:

Kontrolní seznam pro řešení:

1. Ověřte, že robots.txt povoluje přístup ✓ Žádné Disallow pro AI boty ✓ Žádné obecné blokování

2. Zkontrolujte dostupnost serveru ✓ Web načtete z různých IP adres ✓ Žádné geografické blokování

3. Projděte CDN/WAF ✓ Ochrana proti botům neblokuje ✓ Žádné blokování IP AI botů

4. Zkontrolujte rychlost načítání ✓ Stránky načítají do 3 sekund ✓ Žádné timeouty

5. Ověřte dostupnost HTML ✓ Obsah je viditelný bez JS ✓ Není vyžadováno přihlášení

6. Ověřte sitemapu ✓ Sitemap existuje a je platná ✓ Důležité stránky zahrnuty

7. Externí signály ✓ Web má externí odkazy ✓ Existuje webová přítomnost i mimo vlastní doménu

Pokud vše splněno a stále žádné návštěvy: Váš web možná ještě nebyl objeven. Budujte externí signály k upoutání pozornosti.

Obvyklá doba první návštěvy:

• Nový web: 2–4 týdny po zmínkách jinde
• Stávající web po opravě: 1–2 týdny po nápravě
• Dobře odkazovaný web: Denní návštěvy

Perfektní. Teď mám pořádný testovací rámec.

Můj testovací plán:

Dnes:

1. Zkontrolovat robots.txt na /robots.txt
2. Ověřit, že AI crawlery jsou výslovně povoleny
3. Testovat příkazem curl

Tento týden:

1. Analyzovat serverové logy na návštěvy AI botů
2. Zkontrolovat CDN/WAF na blokování
3. Nastavit monitoring logů pro AI boty

Měsíčně:

1. Projít trendy návštěv AI crawlerů
2. Kontrolovat chybové odpovědi
3. Ověřit udržení rychlosti stránek
4. Auditovat případné nové změny robots.txt

Zjištěné akční body:

• Přidat explicitní Allow pravidla pro AI crawlery
• Prověřit Cloudflare Bot Management
• Nastavit automatická upozornění z logů

Hlavní poznatek: Testování přístupnosti není jednorázová záležitost. Nová pravidla a bezpečnostní opatření mohou přístup kdykoli narušit. Pravidelný monitoring odhalí problémy včas.

Díky všem – tohle je přesně testovací rámec, který jsem potřeboval.