Ako si overím, že AI crawlery naozaj vidia celý môj obsah? Niektoré stránky sa zdajú byť neviditeľné

Pomôžem vám to systematicky odhaliť.

Krok 1: Analýza logov

Skontrolujte serverové logy na návštevy AI crawlerov na „neviditeľné“ stránky:

# Kontrola, či GPTBot navštevuje konkrétne stránky
grep "GPTBot" access.log | grep "/invisible-page-path/"

Ak crawler nechodí: Stránky neobjavil. Ak chodí, ale necituje: Problém s kvalitou obsahu, nie s prístupom.

Krok 2: Priamy test prístupu

Otestujte, čo crawler vidí pri prístupe na stránku:

curl -A "GPTBot" -s https://yoursite.com/page-path/ | head -200

Skontrolujte:

• Celý obsah sa zobrazuje v HTML
• Žiadne presmerovanie na prihlasovanie/platbu
• Žiadna správa „bot detected“
• Kľúčový obsah nie je len v JavaScripte

Krok 3: Test renderovania

AI crawlery majú rôzne schopnosti JS renderovania. Otestujte s vypnutým JS:

• Otvorte stránku v prehliadači
• Vypnite JavaScript (Nástroje pre vývojárov)
• Zobrazuje sa hlavný obsah?

Ak obsah bez JS zmizne, tam je problém.

Krok 4: Kontrola limitovania

Neobmedzujete boty príliš agresívne? Skontrolujte, či vaše WAF alebo CDN neblokuje po X požiadavkách. AI crawlery môžu byť zablokované počas crawlovania.

Najčastejšie problémy, ktoré nachádzam:

1. Stránky nie sú interne prelinkované (siroty)
2. Obsah renderovaný JavaScriptom
3. Prílišná ochrana pred botmi
4. Stránky nie sú v sitemap

Ak 300 stránok nie je objavených, problém bude pravdepodobne v internom prelinkovaní.

Skontrolujte svoju štruktúru interných odkazov:

Nástroje ako Screaming Frog ukážu:

• Ktoré stránky majú najmenej interných odkazov
• Siroty (0 interných odkazov)
• Hĺbku klikov od homepage

Bežné vzory, ktoré vidím:

1. Blogové príspevky len v archívoch Vaša stránka archívu blogu 15 odkazuje na staré príspevky. Crawlery nejdú tak hlboko.

2. Produktové stránky len v kategóriách Kategória 8 odkazuje na produkty. Príliš hlboko.

3. Stránky so zdrojmi bez prelinkovania Výborný obsah, ale nič naň neodkazuje.

Riešenia:

1. Hub stránky Vytvorte „Zdroje“ alebo „Sprievodcov“ s odkazmi na viacero súvisiacich článkov.

2. Súvisiace odkazy Na konci každého príspevku pridajte 3-5 súvisiacich článkov.

3. Drobečková navigácia Pomáha crawlerom pochopiť hierarchiu a nájsť stránky.

4. Úpravy navigácie Viete pridať populárne hlboké stránky do hlavnej navigácie alebo päty?

Interné prelinkovanie nie je len SEO best practice – je to spôsob, ako crawlery objavujú váš obsah.

Podrobnejšie k problémom s JavaScript renderovaním:

Čo AI crawlery zvládajú:

Bezpečný predpoklad: Väčšina AI crawlerov vidí to, čo vy s vypnutým JS.

Typické JS problémy:

1. Renderovanie len na strane klienta React/Vue/Angular appky generujú obsah len v prehliadači. Crawlery vidia prázdne kontajnery.

2. Lazy loading bez fallbackov Obrázky a obsah pod zlomom sa crawlerom nenačítajú.

3. Interaktívne komponenty skrývajúce obsah Taby, akordeóny, karusely – obsah v neaktívnych stavoch nemusí byť v úvodnom HTML.

4. Schema vkladaná JS Schema pridaná JavaScriptom nemusí byť spracovaná.

Testovanie:

# Surové HTML (čo vidí crawler)
curl -s https://yoursite.com/page/

# Porovnajte s vykresleným HTML (prehliadač > Zobraziť zdroj)

Ak v curl výstupe chýba kľúčový obsah, máte problém s JS.

Riešenia:

• Server-side rendering (SSR)
• Predgenerovanie pre statický obsah
• HTML fallbacky pre lazy-loading
• Kritický obsah dajte do úvodného HTML

Ochrana pred botmi môže AI crawlery ticho blokovať.

Bežné ochrany spôsobujúce problémy:

1. Cloudflare Bot Fight Mode Môže AI crawlery vyzývať alebo blokovať. Kontrola: Security > Bots > Bot Fight Mode

2. Rate limiting Obmedzujete počet požiadaviek/IP/minútu, AI crawlery môžu naraziť na limity.

3. JavaScriptové výzvy Ak servírujete JS výzvy, AI crawlery môžu zlyhať.

4. Blokovanie podľa User Agent Niektoré WAF blokujú neznáme alebo podozrivé user-agenty.

Ako overiť:

1. Skontrolujte CDN/WAF logy na blokované požiadavky s AI user-agentami
2. Hľadajte výzvy (captcha stránky)
3. Testujte z rôznych IP, či platia limity

Odporúčané nastavenia pre AI crawlery:

Väčšina CDN/WAF umožní whitelisting podľa user-agenta:

• Whitelistujte GPTBot, ClaudeBot, PerplexityBot
• Nastavte miernejšie limity
• Vynechajte JS výzvy

Chcete sa chrániť pred škodlivými botmi, nie pred AI crawlermi, ktoré chcú indexovať váš obsah.

Optimalizácia sitemap pre objavenie AI crawlermi:

Best practices pre sitemap:

1. Zahrňte VŠETKY dôležité stránky Nielen nové. Všetky, ktoré chcete, aby boli objavené.

2. Signály o aktualizácii Používajte <lastmod>, aby ste ukázali, kedy bol obsah upravený. Nedávno aktualizované sa crawlujú prednostne.

3. Sitemap v robots.txt

Sitemap: https://yoursite.com/sitemap.xml

Takto crawlery vždy vedia, kde ju nájsť.

4. Limit veľkosti Sitemap s viac ako 50k URL alebo 50MB rozdeľte. Veľké sitemapy nemusia byť spracované celé.

Overenie:

# Skontrolujte dostupnosť sitemap
curl -I https://yoursite.com/sitemap.xml
# Má vrátiť 200

# Počet stránok v sitemap
curl -s https://yoursite.com/sitemap.xml | grep -c "<url>"

Ak vaše neviditeľné stránky nie sú v sitemap, pridajte ich.

Tip k priorite:

Môžete použiť <priority>, ale väčšina crawlerov to ignoruje. Viac sa spoliehajte na interné prelinkovanie a čerstvosť obsahu.

Našla som problémy! Tu je, čo ukázalo ladenie:

Problém 1: Objavenie (hlavné)

• 280 „neviditeľných“ stránok malo slabé interné prelinkovanie
• Odkazy len z hlbokých archívnych stránok (hĺbka 5+ klikov)
• Neboli v hlavnej sitemap (mali sme viacero sitemap, niektoré siroty)

Problém 2: Ochrana pred botmi (vedľajšie)

• Cloudflare Bot Fight Mode vyzýval niektoré AI crawlery
• 15% požiadaviek crawlerov dostávalo JS výzvy

Problém 3: JS obsah (menší)

• 12 stránok malo obsah v React komponentoch bez SSR

Zavedené riešenia:

1. Prelinkovanie

   • Pridané sekcie „Súvisiaci obsah“ do všetkých článkov
   • Vytvorené hub stránky s odkazmi na tematické klastre
   • Znížená maximálna hĺbka klikov na 3

2. Konsolidácia sitemap

   • Všetky sitemap spojené do jednej
   • Overených všetkých 500 stránok
   • Sitemap pridaná do robots.txt

3. Úprava ochrany pred botmi

   • Whitelist GPTBot, ClaudeBot, PerplexityBot
   • Znížené limity pre AI user-agenty

4. Implementácia SSR

   • Server-side rendering zapnutý pre dotknuté stránky

Kľúčové zistenie:

Stránky neboli blokované – len neboli objavené. Interné prelinkovanie a pokrytie sitemapou sú kľúčové pre prístup AI crawlerov.

Vďaka všetkým za debuggovací rámec!