Jak ověřím, že AI crawlery skutečně vidí celý můj obsah? Některé stránky se zdají být neviditelné

Pomohu vám systematicky debugovat.

Krok 1: Analýza logů

Zkontrolujte serverové logy na návštěvy AI crawlerů na „neviditelné“ stránky:

# Zda GPTBot navštěvuje konkrétní stránky
grep "GPTBot" access.log | grep "/invisible-page-path/"

Pokud chybí návštěvy crawlerů: Tyto stránky nejsou objeveny. Pokud návštěvy jsou, ale bez citace: Problém s kvalitou obsahu, ne s přístupem.

Krok 2: Přímý test přístupu

Otestujte, co crawler skutečně vidí:

curl -A "GPTBot" -s https://yoursite.com/page-path/ | head -200

Zkontrolujte:

• Celý obsah je v HTML
• Žádné přesměrování na login/paywall
• Žádná hláška „bot detected“
• Klíčový obsah není pouze v JavaScriptu

Krok 3: Test vykreslení

AI crawlery mají různé schopnosti v renderování JS. Testujte s vypnutým JS:

• Otevřít stránku v prohlížeči
• Vypnout JavaScript (v Developer Tools)
• Zobrazí se hlavní obsah?

Pokud obsah zmizí bez JS, je zde problém.

Krok 4: Kontrola omezení rychlosti

Jsou boty příliš agresivně omezovány? Zkontrolujte, zda WAF nebo CDN blokuje po X požadavcích. AI crawlery mohou být zablokovány během procházení.

Nejčastější problémy, které vídám:

1. Stránky nejsou interně odkazované (osamocené)
2. Obsah vykreslovaný JavaScriptem
3. Agresivní ochrana proti botům
4. Stránky nejsou v sitemapě

Pokud 300 stránek není objeveno, pravděpodobně půjde o interní prolinkování.

Proveďte audit interní linkové struktury:

Nástroje jako Screaming Frog ukáží:

• Které stránky mají nejméně interních odkazů
• Osamocené stránky (0 interních odkazů)
• Hloubku kliknutí z homepage

Běžné vzorce, které vídám:

1. Blogové příspěvky pouze z archivu Vaše stránka archivu blogu 15 odkazuje na staré příspěvky. Crawlery tak daleko často nejdou.

2. Produktové stránky pouze z kategorie Kategorie 8 odkazů na produkty. Příliš hluboko.

3. Resource stránky bez odkazů Výborný obsah, ale nikdo na něj neodkazuje.

Řešení:

1. Hub stránky Vytvořte stránky „Zdroje“ nebo „Průvodci“ s odkazy na více souvisejících článků.

2. Odkazy na související obsah Na konci každého příspěvku odkažte na 3–5 souvisejících článků.

3. Drobečková navigace Pomáhá crawlerům pochopit hierarchii a najít stránky.

4. Aktualizace navigace Lze přidat populární hluboké stránky do hlavní navigace nebo patičky?

Interní prolinkování není jen SEO best practice – je to způsob, jak crawlery objevují váš obsah.

Pojďme do hloubky s vykreslováním JavaScriptu:

Co zvládají AI crawlery:

Bezpečný předpoklad: Většina AI crawlerů uvidí to, co vy s vypnutým JS.

Běžné JS problémy:

1. Client-side rendering React/Vue/Angular aplikace, které renderují obsah jen v prohlížeči. Crawlery vidí prázdné kontejnery.

2. Lazy loading bez fallbacku Obrázky a obsah pod hranou nikdy nejsou načteny crawlerem.

3. Interaktivní komponenty skrývající obsah Taby, akordeony, carousel – obsah ve skrytých stavech nemusí být v HTML.

4. Schema vkládané JS Schema přidané pomocí JavaScriptu nemusí být zpracováno.

Testování:

# Zobrazit surové HTML (co vidí crawlery)
curl -s https://yoursite.com/page/

# Porovnat s renderovaným HTML (prohlížeč > Zobrazit zdroj)

Pokud v curl výstupu chybí klíčový obsah, je zde JS problém.

Řešení:

• Server-side rendering (SSR)
• Pre-rendering statického obsahu
• HTML fallbacky pro lazy-loaded obsah
• Kritický obsah vždy v počátečním HTML

Ochrana proti botům může tiše blokovat AI crawlery.

Běžná ochrana, která způsobuje problémy:

1. Cloudflare Bot Fight Mode Může vyzývat nebo blokovat AI crawlery. Zkontrolujte: Security > Bots > Bot Fight Mode

2. Omezení rychlosti Pokud omezujete počet požadavků/IP/min, AI crawlery mohou narazit na limity.

3. JavaScriptové výzvy Pokud posíláte JS challenge, AI crawlery je nemusí zvládnout.

4. Blokace user agentů Některé WAF blokují neznámé/suspektní user agenty.

Jak ověřit:

1. Zkontrolujte logy CDN/WAF na blokované požadavky s AI user agenty
2. Sledujte výzvy (captcha stránky)
3. Testujte z různých IP, zda platí omezení

Doporučené nastavení pro AI crawlery:

Většina CDN/WAF umožňuje whitelist podle user agenta:

• Whitelistujte GPTBot, ClaudeBot, PerplexityBot
• Nastavte mírnější limity rychlosti
• Vynechte JS challenge

Chcete chránit před škodlivými boty, ne před AI crawlery, kteří chtějí indexovat váš obsah.

Optimalizace sitemap pro objevení AI crawlerem:

Best practice pro sitemap:

1. Zahrnout VŠECHNY důležité stránky Nejen nový obsah. Vše, co chcete, aby bylo objeveno.

2. Signály frekvence aktualizace Použijte <lastmod> pro označení aktualizace obsahu. Nedávno aktualizované stránky mohou být upřednostněny.

3. Sitemap v robots.txt

Sitemap: https://yoursite.com/sitemap.xml

Zajistí, že všechny crawlery ji najdou.

4. Limity velikosti Sitemap nad 50k URL nebo 50MB je nutné dělit. Velké sitemap nemusí být plně zpracovány.

Ověření:

# Ověřit přístupnost sitemap
curl -I https://yoursite.com/sitemap.xml
# Mělo by vrátit 200

# Ověřit počet stránek v sitemap
curl -s https://yoursite.com/sitemap.xml | grep -c "<url>"

Pokud vaše neviditelné stránky nejsou v sitemap, přidejte je.

Tip k prioritě:

Tag <priority> můžete použít, většina crawlerů ho ale ignoruje. Spíše spoléhejte na interní prolinkování a signály aktualizace.

Našla jsem problémy! Debugging ukázal:

Problém 1: Objevení (hlavní)

• 280 „neviditelných“ stránek mělo slabé interní odkazy
• Odkazovány pouze z hlubokých archivů (hloubka 5+)
• Nebyly v hlavní sitemapě (měli jsme více sitemap, některé osamocené)

Problém 2: Ochrana proti botům (vedlejší)

• Cloudflare Bot Fight Mode vyzýval některé AI crawlery
• 15 % požadavků crawlerů dostávalo JS challenge

Problém 3: JS obsah (menší)

• 12 stránek mělo obsah v React komponentách bez serverového renderingu

Implementovaná řešení:

1. Revize interního prolinkování

   • Přidány sekce „Související obsah“ ke všem článkům
   • Vytvořeny hub stránky s odkazy na tématické clustery
   • Snížena maximální hloubka odkazu na 3

2. Konsolidace sitemap

   • Všechny sitemap sloučeny do jedné
   • Ověřeno, že všech 500 stránek je zahrnuto
   • Sitemap přidána do robots.txt

3. Úprava ochrany proti botům

   • Whitelist pro GPTBot, ClaudeBot, PerplexityBot
   • Snížené limity pro AI user agenty

4. Implementace SSR

   • Povolený server-side rendering pro dotčené stránky

Klíčový poznatek:

Stránky nebyly blokovány – jen nebyly objeveny. Interní prolinkování a pokrytí sitemap jsou zásadní pro přístup AI crawlerů.

Díky všem za skvělý debuggingový rámec!