Ako zistím, či AI crawlery skutočne môžu pristupovať na môj web? Potrebujem návod na testovanie

Kompletný návod na testovanie:

Krok 1: Kontrola robots.txt

Skontrolujte svoj robots.txt na yourdomain.com/robots.txt

Hľadajte:

# Správne - Výslovne povolené AI crawlery
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

Dajte si pozor na:

# Nesprávne - Zástupné blokovanie všetkých nešpecifikovaných botov
User-agent: *
Disallow: /

# Nesprávne - Výslovné blokovanie AI crawlerov
User-agent: GPTBot
Disallow: /

Krok 2: Tester robots.txt

Použite tester robots.txt od Google alebo online nástroje. Testujte s týmito user agentmi:

• GPTBot
• PerplexityBot
• ClaudeBot
• anthropic-ai

Zadajte svoje kľúčové URL a skontrolujte, či sú povolené.

Krok 3: Analýza serverových logov

Hľadajte podpisy AI botov v logoch. Podrobnosti v ďalšej odpovedi.

Bežné problémy, ktoré blokujú AI crawlery:

1. Wildcard v robots.txt

User-agent: *
Disallow: /

Týmto zablokujete VŠETKY nešpecifikované boty, vrátane AI crawlerov.

Oprava:

User-agent: Googlebot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /

2. Rate limiting Príliš agresívny rate limiting môže blokovať IP adresy crawlerov. Skontrolujte, či WAF alebo CDN neblokuje.

3. IP blokovacie zoznamy Niektoré bezpečnostné pluginy blokujú „podozrivé“ IP adresy. IP adresy AI crawlerov môžu byť označené.

4. Vyžadovanie prihlásenia Akékoľvek požiadavky na prihlásenie blokujú crawlery. Uistite sa, že verejný obsah je naozaj verejný.

5. Renderovanie JavaScriptom Obsah dostupný len cez JS nemusí byť viditeľný. AI crawlery nemusia JavaScript úplne vykonať.

6. Pomalá odozva Stránky s načítaním nad 5–10 sekúnd môžu vypršať. Crawlery môžu odísť.

Ako testovať:

• robots.txt: Priama kontrola URL
• Rate limiting: Skontrolujte logy WAF/CDN
• IP blokovanie: Testujte z rôznych IP
• Prihlásenie: Skúste anonymné prehliadanie
• JS: Porovnajte zdroj stránky a vykreslenú stránku
• Rýchlosť: GTmetrix alebo podobné nástroje

Kompletný zoznam user agentov AI crawlerov:

OpenAI:

GPTBot

Používaný na trénovanie a prehliadanie ChatGPT.

Perplexity:

PerplexityBot

Používaný pre vyhľadávanie Perplexity AI.

Anthropic:

ClaudeBot
anthropic-ai

Používaný pre Claude AI.

Google:

Google-Extended

Používaný pre trénovanie Google AI/Gemini.

Common Crawl:

CCBot

Používaný mnohými AI systémami na trénovacie dáta.

Váš robots.txt by mal zahrnúť:

# AI crawlery
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

Ak chcete niektorý blokovať, použite Disallow. Väčšina firiem ich chce povoliť všetky.

Online nástroje na testovanie:

1. Tester robots.txt od Google (v Search Console)

• Zadajte vlastný user agent
• Testujte konkrétne URL
• Zobrazí povolenie/zákaz

2. SEO Spider nástroje

• Screaming Frog
• Sitebulb
• DeepCrawl Vedia crawlovať ako špecifické user agenty.

3. Manuálne testovanie

# Test cez curl ako GPTBot
curl -A "GPTBot" https://yoursite.com/page

# Kontrola kódu odpovede
curl -I -A "GPTBot" https://yoursite.com/page

4. Validátory robots.txt

• Tester robots.txt od Google
• robots.txt Validator (rôzne online)
• Nástroje na kontrolu syntaxe

Čo testovať:

• Domovskú stránku
• Kľúčové obsahové stránky
• Blogové príspevky
• Produktové stránky
• FAQ stránky

Testujte svoje najdôležitejšie stránky výslovne.

Ak vám nevyhovuje príkazový riadok:

GUI analýza logov:

• GoAccess (zadarmo, vizuálny analyzátor logov)
• AWStats (klasická analýza logov)
• Matomo (self-hosted analytika)

Cloud analýza logov:

• Cloudflare Analytics (ak používate CF)
• AWS CloudWatch (ak ste na AWS)
• Google Cloud Logging

Služby tretích strán:

• Loggly
• Papertrail
• Datadog

Na čo sa zamerať: Vytvorte filter/hľadanie na user agenty AI botov. Nastavte upozornenia na odpovede 403/500 pre AI boty. Sledujte trendy v čase.

Jednoduché dashboard metriky:

• Návštevy AI botov za deň
• Najčastejšie crawlované stránky
• Chybovosť
• Trendy crawlovaia

Ak nevidíte žiadnu AI bot návštevnosť 2+ týždne, niečo nie je v poriadku.

CDN a WAF často blokujú AI crawlery:

Cloudflare:

• Bot Fight Mode môže blokovať AI boty
• Skontrolujte Nastavenia > Bots
• Pridajte výnimky pre IP AI crawlerov, ak treba

AWS CloudFront/WAF:

• Pravidlá AWS WAF môžu blokovať
• Skontrolujte WAF logy na blokované požiadavky
• Vytvorte povolenia pre AI boty

Akamai:

• Nastavenia Bot Managera
• Môže vyžadovať explicitné povolenie

Ako skontrolovať:

1. Pozrite CDN/WAF logy, nie len originálne logy
2. Skontrolujte blokované/vyzvané požiadavky
3. Hľadajte konkrétne user agenty AI botov

Naša skúsenosť: Cloudflare Bot Fight Mode blokoval GPTBot. Vypnuté špeciálne pre AI crawlery. Prvé návštevy GPTBot prišli do 24 hodín.

Kontrolujte edge vrstvu, nie len origin.

Mesačná rutina na kontrolu zdravia AI crawlerov:

Rýchla týždenná kontrola (5 min):

1. Rýchle prehľadanie logov na AI boty
2. Poznámka o chybových odpovediach
3. Kontrola trendu počtu návštev

Hĺbková mesačná kontrola (30 min):

1. Audit robots.txt

   • Stále povoľuje AI crawlery?
   • Nepribudli nové pravidlá, ktoré by mohli blokovať?

2. Analýza logov

   • Ktoré AI boty navštevujú web?
   • Ktoré stránky sú najviac crawlované?
   • Akékoľvek chybové vzory?

3. Kontrola rýchlosti stránok

   • Kľúčové stránky sú stále rýchle?
   • Neobjavili sa nové výkonnostné problémy?

4. Prístupnosť obsahu

   • Nové prihlasovacie steny?
   • Nový obsah závislý od JS?
   • Nové presmerovania?

5. Revízia CDN/WAF

   • Nové bezpečnostné pravidlá?
   • Vzory blokovaných požiadaviek?

Zaznamenať zistenia: Vytvorte jednoduchú tabuľku so sledovaním:

• Dátum
• Viditeľné AI boty
• Počty návštev
• Zistené problémy
• Prijaté opatrenia

Tak zachytíte problémy skôr, než sa stanú neviditeľnými.

Ak nevidíte žiadne návštevy AI crawlerov:

Kontrolný zoznam pre troubleshooting:

1. Overiť robots.txt povoľuje prístup ✓ Žiadny Disallow pre AI boty ✓ Žiadne zástupné blokovanie

2. Skontrolovať prístupnosť servera ✓ Stránka sa načíta z rôznych IP ✓ Žiadne geografické blokovanie

3. Revízia CDN/WAF ✓ Ochrana proti botom neblokuje ✓ Žiadne blokovanie IP AI botov

4. Kontrola rýchlosti stránok ✓ Stránky sa načítajú pod 3 sekundy ✓ Žiadne timeouty

5. Overiť prístupnosť HTML ✓ Obsah viditeľný bez JS ✓ Žiadne požiadavky na prihlásenie

6. Skontrolovať sitemapu ✓ Sitemap existuje a je platná ✓ Dôležité stránky zahrnuté

7. Externé signály ✓ Web má externé odkazy ✓ Nejaká webová prítomnosť mimo vlastnej domény

Ak všetko prejde a stále žiadne návštevy: Váš web možno ešte nebol objavený. Budujte externé signály na prilákanie pozornosti.

Typický čas prvej návštevy:

• Nový web: 2–4 týždne po externých zmienkach
• Existujúci web po oprave: 1–2 týždne po zmene
• Dobre prelinkovaný web: denné návštevy

Perfektné. Teraz mám poriadny rámec na testovanie.

Môj plán testovania:

Dnes:

1. Skontrolovať robots.txt na /robots.txt
2. Overiť, že AI crawlery sú výslovne povolené
3. Testovať príkazom curl

Tento týždeň:

1. Analyzovať serverové logy na návštevy AI botov
2. Skontrolovať CDN/WAF na blokovanie
3. Nastaviť monitoring logov na AI boty

Mesačne:

1. Sledovať trendy návštev AI crawlerov
2. Kontrolovať chybové odpovede
3. Overiť, že rýchlosť stránok zostáva zachovaná
4. Auditovať akékoľvek zmeny v robots.txt

Zistené akčné položky:

• Pridať explicitné Allow pravidlá pre AI crawlery
• Skontrolovať Cloudflare Bot Management
• Nastaviť automatizované upozornenia z logov

Kľúčový postreh: Testovanie prístupu nie je jednorazová vec. Nové pravidlá a bezpečnostné opatrenia môžu prístup prerušiť. Pravidelné monitorovanie zachytí problémy včas.

Vďaka všetkým – toto mi dáva rámec na testovanie, ktorý som potreboval.