Ako často by mali AI crawlery navštevovať môj web? U mňa je to oveľa menej než u konkurencie – čo zvyšuje frekvenciu prehľadávania?

Čerstvosť obsahu má obrovský vplyv na frekvenciu prehľadávania.

Náš experiment:

Máme dve sekcie obsahu:

• Blog: Aktualizovaný 2x týždenne
• Zdroje: Statické, zriedkavo aktualizované

Rozdiel vo frekvencii prehľadávania:

• Blog: 15-20 požiadaviek GPTBot na stránku mesačne
• Zdroje: 2-3 GPTBot požiadavky na stránku mesačne

Rovnaká doména, rovnaké technické nastavenie, 5-7x rozdiel vo frekvencii.

Záver:

AI crawlery sa učia vaše vzorce aktualizácií. Ak niektoré sekcie aktualizujete pravidelne, budú ich prehľadávať viac. Ak je obsah zastaraný, prehľadávanie obmedzia.

Tip: Aj menšie aktualizácie (pridanie aktuálneho príkladu, aktualizácia štatistiky) signalizujú čerstvosť. Začali sme mesačne „refreshovať“ kľúčové stránky a frekvencia prehľadávania narástla už po pár týždňoch.

Toto je naozaj užitočné. Skontrolujem pár vecí podľa vašich odporúčaní…

Rýchle zistenia z mojej analýzy:

1. Rýchlosť stránky: Priemerný TTFB máme 0,8 s – nie je to ideálne, ale ani tragédia
2. Renderovanie: Používame Next.js so SSG, takže by to malo byť v poriadku
3. Distribúcia crawl: 60 % požiadaviek AI crawlerov smeruje na 15 stránok (z 200+)
4. Čerstvosť: Najviac prehľadávané stránky aktualizujeme mesačne. Najmenej prehľadávané sú statické.

Vzorec je jasný: AI crawlery už vedia, ktorý náš obsah je hodnotný. Ostatných stránok si nevšímajú.

Nová otázka: Je lepšie sa zamerať na to, aby bolo prehľadávaných VIAC stránok, alebo aby už prehľadávané stránky boli prehľadávané ČASTEJŠIE?

Na vašu novú otázku: Oboje, ale prednosť dajte rozšíreniu počtu prehľadávaných stránok.

Prečo:

Získať viac stránok do prehľadávania:

• Vyžaduje, aby boli tie stránky pre crawlery dostatočne hodnotné
• Dlhodobé úsilie (mesiace)
• Nemusí sa podariť, ak obsah nie je skutočne cenný na citácie

Zvýšiť frekvenciu už prehľadávaných stránok:

• Tieto stránky už sú overené ako hodnotné
• Aktualizácie a vylepšenia sa prejavia rýchlejšie
• Vytvára sa pozitívna spätná väzba, ktorá priláka ešte viac crawl

Odporúčam:

1. Zamerajte sa na top 15 najprehľadávanejších stránok
2. Aktualizujte ich častejšie (každé dva týždne namiesto mesačne)
3. Urobte ich komplexnejšími a prepojte na ďalšie stránky
4. Interné odkazy z vysoko prehľadávaných na menej prehľadávané stránky pomáhajú rozšíriť pozornosť crawlerov

Princíp stúpajúcej hladiny: najprv zlepšite svoje najlepšie stránky a ich autoritou postupne pozdvihnete ostatné.

Nezabúdajte na optimalizáciu sitemapu:

Najlepšie praktiky pre AI crawlery:

1. Správne aktualizujte lastmod dátumy – AI crawlery podľa toho určujú prioritu re-crawlu
2. Priority tagy – Menej dôležité, ale signalizujú relatívnu dôležitosť
3. Majte sitemap čistý – Odstráňte noindexované či málo hodnotné stránky
4. Odošlite do Bing Webmaster – Bing zásobuje Copilot a niektoré AI systémy kontrolujú Bing index

Skutočný dopad:

Mali sme 500 URL v sitemape, vrátane 200 slabých blogov. Odstránili sme slabé články, zostalo 300 kvalitných stránok. Efektivita AI crawl sa zlepšila – rovnaký počet požiadaviek, no lepšia distribúcia.

Váš sitemap je doslova menu pre crawlery. Nepodávajte im odpad.

Úpravy robots.txt, ktoré môžu pomôcť:

Explicitne povoľte AI botov:

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

Nastavte optimálny crawl-delay: Nepoužívajte crawl-delay pre AI botov, pokiaľ vás masívne nezaťažujú. Akékoľvek oneskorenie znižuje frekvenciu prehľadávania.

Blokujte málo hodnotné sekcie: Ak máte sekcie, ktoré nechcete, aby AI citovali (admin stránky, tlačové verzie atď.), ich blokovanie ušetrí crawl budget pre hodnotné stránky.

Dôležité: Po úprave robots.txt požiadajte o opätovné prehľadanie cez Bing Webmaster Tools. Niektoré AI systémy registrujú zmeny rýchlejšie cez Bing index.

Výborná diskusia. Tu je môj akčný plán:

Ihneď (tento týždeň):

• Upraviť robots.txt a explicitne povoliť AI boty
• Prejsť sitemap a odstrániť slabé/málo hodnotné URL
• Skontrolovať prípadné crawl chyby v serverových logoch

Krátkodobo (tento mesiac):

• Zvýšiť frekvenciu aktualizácií top 15 najprehľadávanejších stránok
• Zlepšiť TTFB pod 0,5 s
• Pridať interné odkazy z vysoko prehľadávaných na menej prehľadávané stránky

Strednodobo (3 mesiace):

• Vytvoriť ďalší obsah podobný najprehľadávanejším stránkam
• Zaviesť mesačný refresh kľúčového obsahu
• Sledovať zmeny frekvencie crawl s Am I Cited

Kľúčový postreh: Frekvencia prehľadávania je výstupný, nie vstupný údaj. Nedá sa o ňu požiadať – musíte si ju zaslúžiť hodnotným a čerstvým obsahom. Zamerajte sa na hodnotu a crawlery prídu.

Ďakujem všetkým – bolo to mimoriadne praktické.