Jak často by měli AI crawlery navštěvovat můj web? U mě je to mnohem méně než u konkurence – co zvyšuje frekvenci crawlování?

Skvělé, že to sledujete – většina lidí ani neví, že AI crawlery jsou od Google oddělené.

Běžné rozpětí (podle webů, které jsem auditovala):

Vašich 1 400 požadavků při DR 52 je na spodní hranici středních webů. Je zde prostor ke zlepšení.

Klíčová poznámka: AI crawlery jsou oportunistické.

Necrawlí jen podle plánu. Navštěvují stránky, které:

1. Jsou často citované (vytváří smyčku zpětné vazby)
2. Jsou pravidelně aktualizované (signály svěžesti)
3. Mají vysokou míru zapojení (návštěvnost, odkazy, zmínky)
4. Jsou technicky rychlé a přístupné

Smyčka crawl-citací:

Více crawlování -> Aktuálnější index -> Vyšší pravděpodobnost citace -> Signály hodnoty -> Více crawlování

Váš konkurent může být v této pozitivní smyčce, do které se potřebujete dostat.

Technické faktory, které zvyšují frekvenci crawlování:

1. Rychlost stránky AI crawlery mají přísné timeouty. Pokud se vaše stránky vykreslují 3+ sekundy, crawlery to mohou vzdát a snížit prioritu. Snížili jsme TTFB z 1,2s na 0,3s a počet požadavků od GPTBot vzrostl o 40 %.

2. Server-side rendering Kritické. AI crawlery většinou nespouští JavaScript. Pokud je obsah renderován na straně klienta, vidí prázdnou stránku. Přepněte na SSR nebo SSG a sledujte nárůst crawl požadavků.

3. Čistá HTML struktura Crawlery parsují HTML. Čistý, sémantický kód je rychlejší na zpracování. Vyčistili jsme HTML (odstranili zbytečné divy, opravili validační chyby) a zlepšila se účinnost crawlování.

4. Žádné soft 404 či chyby Pokud crawlery narazí na chyby, snižují frekvenci. Zkontrolujte 5xx chyby, soft 404 nebo řetězce přesměrování, které plýtvají crawl budgetem.

Rychlá kontrola: Zobrazuje se váš web plně i s vypnutým JavaScriptem? Pokud ne, AI crawlery vidí rozbitý web.

Aktuálnost obsahu má na frekvenci crawlování obrovský vliv.

Náš experiment:

Máme dvě sekce obsahu:

• Blog: Aktualizován 2x týdně
• Zdroje: Statické, zřídka aktualizované

Rozdíl ve frekvenci crawlování:

• Blog: 15–20 požadavků GPTBot na stránku měsíčně
• Zdroje: 2–3 požadavky GPTBot na stránku měsíčně

Stejná doména, stejná technická konfigurace, 5–7x rozdíl ve frekvenci crawlování.

Závěr:

AI crawlery se učí vaše vzorce aktualizací. Pokud pravidelně aktualizujete určité sekce, budou je crawlery navštěvovat častěji. Pokud je obsah zastaralý, budou ho upozaďovat.

Praktický tip: I drobné aktualizace (přidání aktuálního příkladu, aktualizace statistiky) signalizují svěžest. Začali jsme s měsíčními „refresh“ aktualizacemi na klíčových stránkách a během několika týdnů jsme zaznamenali zvýšenou frekvenci crawlování.

Tohle je opravdu užitečné. Zkontroluji pár věcí podle vašich tipů…

Rychlé poznatky z mé analýzy:

1. Rychlost stránky: Průměrné TTFB máme 0,8s – není to skvělé, ale ani tragické
2. Rendering: Používáme Next.js s SSG, takže v pořádku
3. Rozložení crawlování: 60 % požadavků AI crawlerů směřuje na pouhých 15 stránek (z více než 200)
4. Aktuálnost: Naše nejčastěji crawlované stránky aktualizujeme měsíčně. Nejmenší zájem je o statické stránky.

Vzorec je jasný: AI crawlery už vědí, který náš obsah je hodnotný. Ostatní ignorují.

Nová otázka: Je lepší soustředit se na to, aby bylo crawlováno VÍCE stránek, nebo aby už crawlované stránky byly crawlovány ČASTĚJI?

Odpověď na vaši novou otázku: Obojí, ale prioritou je nejdřív rozšířit počet crawlovaných stránek.

Proč:

Získání více crawlovaných stránek:

• Vyžaduje, aby byly tyto stránky pro crawlery dostatečně hodnotné
• Dlouhodobý proces (měsíce)
• Nemusí se podařit, pokud obsah není opravdu hodný citace

Zvýšení frekvence na již crawlovaných stránkách:

• Tyto stránky už jsou ověřeně hodnotné
• Aktualizace a vylepšení se projeví rychleji
• Vytváří pozitivní smyčku, která přitahuje více crawlování celkově

Moje doporučení:

1. Zaměřte se na svých 15 nejčastěji crawlovaných stránek
2. Aktualizujte je častěji (například každých 14 dní místo měsíčně)
3. Zpřehledněte je a prolinkujte na další stránky
4. Interní odkazy z často crawlovaných na méně navštěvované stránky pomohou rozšířit pozornost crawlerů

Přístup „stoupající příliv“: nejdřív vylepšete nejlepší stránky a jejich autoritu využijte k posílení ostatních.

Nezapomeňte na optimalizaci sitemap:

Sitemap best practices pro AI crawlery:

1. Správně aktualizujte lastmod data – AI crawlery to používají k upřednostnění recrawlování
2. Priority tagy – Mají sice menší vliv, ale signalizují relativní důležitost
3. Udržujte sitemap čistou – Odstraňte noindex nebo málo hodnotné stránky
4. Pošlete sitemap do Bing Webmaster – Bing zásobuje Copilot a některé AI systémy kontrolují index Bing

Reálný dopad:

Měli jsme v sitemap 500 URL včetně 200 slabých blogových příspěvků. Slabé příspěvky jsme odstranili, zůstalo 300 kvalitních stránek. Efektivita AI crawlu se zlepšila – stejný počet požadavků, ale lepší rozložení.

Vaše sitemap je doslova jídelní lístek pro crawlery. Neservírujte jim odpad.

Úpravy robots.txt, které mohou pomoci:

Explicitně povolte AI boty:

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

Nastavte optimální crawl-delay: Nepoužívejte crawl-delay pro AI boty, pokud nejste zahaleni požadavky. Jakékoli zpoždění snižuje frekvenci crawlování.

Blokujte málo hodnotné sekce: Pokud máte sekce, které nechcete, aby AI citovaly (admin, tiskové verze atd.), jejich blokováním ušetříte crawl budget pro hodnotné stránky.

Důležité: Po úpravě robots.txt požádejte o recrawlování přes Bing Webmaster Tools. Některé AI systémy se ke změnám dostanou rychleji přes Bing index.

Skvělá diskuze. Tady je můj akční plán:

Okamžitě (tento týden):

• Vyčistit robots.txt a přidat explicitní povolení pro AI boty
• Zkontrolovat sitemap a odstranit slabé/málo hodnotné URL
• Prověřit crawl chyby v serverových logách

Krátkodobě (během měsíce):

• Zvýšit frekvenci aktualizací na top 15 nejčastěji crawlovaných stránkách
• Zlepšit TTFB pod 0,5s
• Přidat interní odkazy z často crawlovaných na méně crawlované stránky

Střednědobě (3 měsíce):

• Tvořit další obsah podobný nejčastěji crawlovaným stránkám
• Nastavit měsíční plán refreshů klíčového obsahu
• Sledovat změny frekvence crawlování pomocí Am I Cited

Klíčový poznatek: Frekvence crawlování je výstupní metrika, ne vstupní. Nelze si ji vynutit – musíte si ji zasloužit hodnotným a aktuálním obsahem. Zaměřte se na kvalitu a svěžest, crawlery přijdou samy.

Díky všem – bylo to extrémně praktické.