Ako skontrolovať Robots.txt a Sitemap pokrytie v AmICited

Ak AI crawler-y nedokážu čítať vašu stránku, žiadna z vašich ostatných optimalizácií nemá význam.

Čo je robots.txt a prečo rozhoduje o tom, či vás AI vôbec „vidí"?

Robots.txt je obyčajný textový súbor, ktorý sa nachádza v koreňovom adresári vašej domény (vasastranka.sk/robots.txt) a hovorí crawler-om, ktoré časti vašej stránky smú požadovať. Predchádza AI boomu o desaťročia — pôvodne bol vytvorený preto, aby boty vyhľadávačov ako Googlebot nemárnili čas prehľadávaním administrátorských stránok, testovacích prostredí či duplicitného obsahu. No rovnaký mechanizmus dnes riadi rozhodnutie s oveľa vyššími stávkami: či GPTBot, ClaudeBot, PerplexityBot, Google-Extended a ďalšie AI crawler-y, ktoré napájajú dnešné odpoveďové systémy, majú vôbec povolené sťahovať vaše stránky.

Každý slušne sa správajúci crawler skontroluje robots.txt skôr, než si vyžiada čokoľvek iné. Súbor je usporiadaný do blokov, z ktorých každý začína riadkom User-agent, ktorý pomenúva konkrétneho bota (alebo * pre všetkých botov), za ktorým nasledujú pravidlá Allow a Disallow určujúce, ktoré cesty tento bot smie alebo nesmie sťahovať. Jediné plošné pravidlo ako Disallow: / pod User-agent: GPTBot stačí na to, aby tento crawler nemal prístup na celú vašu stránku — a nezobrazí sa v citáciách ChatGPT bez ohľadu na to, aký kvalitný je váš obsah. Preto sa crawlovateľnosť — všeobecná vlastnosť stránky byť technicky dostupná pre boty — považuje za základnú vrstvu AI viditeľnosti vo vyhľadávaní, nie za dodatočný detail.

Robots.txt má aj druhú úlohu: je to zvyčajne miesto, kde crawler-y hľadajú odkaz na vašu sitemapu, prostredníctvom direktívy Sitemap:. XML sitemapa je štruktúrovaný zoznam URL adries na vašej stránke, o ktorých chcete, aby crawler-y vedeli, často vrátane metadát ako dátum poslednej úpravy. Zatiaľ čo robots.txt riadi povolenie, sitemapa riadi objavovanie — je to mapa, ktorá crawler-om hovorí, čo existuje, aby nemuseli nájsť každú stránku výlučne sledovaním odkazov. Stránka môže mať dokonale povoľujúce pravidlá v robots.txt a napriek tomu byť AI systémami slabo indexovaná jednoducho preto, že jej sitemapa chýba, nie je nikde odkázaná alebo je neúplná.

Tieto dva súbory sú pre AI viditeľnosť dôležitejšie, než kedy boli pre tradičné SEO. Vyhľadávače prehľadávajú web už viac ako 25 rokov a vybudovali obrovské grafy odkazov, ktoré umožňujú Googlebotu objavovať stránky aj bez sitemapy. AI crawler-y sú novšie, často konzervatívnejšie v tom, koľko obsahu zo stránky si stiahnu, a pravdepodobnejšie ich úplne zablokujú pravidlá v robots.txt, ktoré boli napísané s ohľadom iba na Googlebota. Pravidlo, ktoré potichu vylučuje „neznáme" alebo agresívne vyzerajúce boty, môže ako vedľajšiu škodu zachytiť aj GPTBot alebo ClaudeBot. Presne tento typ zlyhania má kontrola Robots.txt a Sitemap odhaliť — a preto je jednou z prvých vecí, ktoré by mal overiť každý AI accessibility audit , skôr než investujete čas do obsahu, schémy či čohokoľvek iného.

Kde to nájdete

Je to sekcia Robots.txt a Sitemap v Audit → Agent Accessibility. Agent Accessibility je časť auditu AmICited, ktorá sa zameriava konkrétne na to, či sa AI systémy dokážu technicky dostať k vášmu obsahu a spracovať ho, na rozdiel od častí produktu venovaných kvalite obsahu a sledovaniu citácií. Robots.txt a Sitemap je zvyčajne prvá kontrola v tejto sekcii, pretože všetko ostatné, čo audit meria, predpokladá, že crawler-y sa vôbec dostanú dnu.

Čo to kontroluje

Ako sekcia vysvetľuje, zameriava sa na „či sú dôležité AI a vyhľadávacie crawler-y povolené čítať stránku, či sú sitemapy deklarované v robots.txt a koľko URL tieto sitemapy celkovo uvádzajú." V skratke:

• Prístup crawlerov — sú hlavné AI a vyhľadávacie boty povolené (nie zakázané) v robots.txt? AmICited vyhodnocuje vaše skutočné pravidlá v robots.txt voči reťazcom user-agent crawlerov, na ktorých záleží pri AI viditeľnosti vo vyhľadávaní, takže vidíte bot po bote, či je povolený, blokovaný, alebo jednoducho žiadnym pravidlom neriešený (čo sa zvyčajne vracia k povoleniu v rámci wildcard bloku).
• Deklarácia sitemapy — je sitemap odkazovaná z robots.txt, aby ju crawler-y mohli nájsť? Sitemapa, ktorá existuje, ale nie je odkázaná z robots.txt (a nebola nikde inde odoslaná), má oveľa menšiu šancu, že bude automaticky objavená.
• Pokrytie sitemapy — koľko URL vaše sitemapy celkovo uvádzajú, čo vám dáva rýchlu kontrolu, či sú vaše publikované stránky skutočne ponúkané crawler-om.

Spolu tieto tri kontroly odpovedajú na dve otázky, ktoré rozhodujú o tom, či AI systém vôbec môže začať hodnotiť váš obsah: je tento crawler vpustený dnu a vie, čo má stiahnuť, keď už tu je. Značka môže robiť všetko správne z pohľadu obsahu — jasné odpovede, silné entitné signály, dobre štruktúrované stránky — a napriek tomu byť v AI odpovediach neviditeľná jednoducho preto, že jedna z týchto dvoch podmienok potichu zlyháva v pozadí.

Ako to používať

1. Potvrďte, že crawler-y sú povolené. Ak je dôležitý AI bot zablokovaný, opravte pravidlo v robots.txt — toto je najvyššia priorita na stránke. Skontrolujte každého blokovaného crawlera oproti svojmu zámeru: pravidlo, ktoré blokuje GPTBot, bolo pravdepodobne napísané zámerne, ak nechcete, aby sa váš obsah používal na trénovanie modelu OpenAI, no ak zároveň potichu blokuje aj OAI-SearchBot alebo PerplexityBot — crawler-y, ktoré skutočne poháňajú živé citácie, na rozdiel od trénovania modelov — strácate viditeľnosť bez akéhokoľvek strategického dôvodu. Oplatí sa vedome rozhodnúť, ktorým crawler-om chcete povoliť AI botom prehľadávať vašu stránku , namiesto toho, aby ste zdedili predvolené nastavenie, ktoré blokuje všetko bez rozdielu.
2. Deklarujte svoju sitemapu. Uistite sa, že robots.txt odkazuje na vašu sitemapu, aby agenti mohli objaviť všetky vaše stránky. Ide o jediný riadok — Sitemap: https://vasastranka.sk/sitemap.xml — no napriek tomu je to jeden z najčastejšie chýbajúcich detailov na inak dobre postavených stránkach, najmä tam, kde bola sitemapa vygenerovaná automaticky CMS-om, no nikdy nebola prepojená späť do robots.txt.
3. Skontrolujte počet URL. Sitemap uvádzajúca oveľa menej URL, ako máte publikovaných, znamená, že stránky nie sú propagované crawler-om. Zvyčajne je to znak zastaranej sitemapy (vygenerovanej raz a nikdy znovu), sitemap indexu, ktorý neodkazuje na všetky svoje čiastkové sitemapy, alebo pluginu CMS, ktorý potichu vylučuje určitý typ obsahu — nedávno publikované blogové príspevky a dynamicky generované stránky bývajú bežnými obeťami.
4. Znovu skontrolujte po úpravách a potvrďte, že dlaždice Prístup crawlerov a URL sitemapy v súhrne pripravenosti sú v poriadku.

Prístup crawlerov je základom: najprv ho nastavte správne, pretože všetko ostatné predpokladá, že boty sa skutočne môžu dostať k vášmu obsahu. Keď sú prístup aj objavovanie potvrdené ako v poriadku, začnú byť dôležité aj ostatné časti auditu Agent Accessibility — vykresľovanie, štruktúrované dáta, časy odozvy — pretože tieto kontroly majú zmysel iba vtedy, ak sa crawler na stránku vôbec dostal.

Stojí za to pamätať aj na to, že pokrytie robots.txt a sitemapy nie je jednorazová oprava. Spúšťajú sa nové sekcie, migrácie CMS znovu generujú sitemapy s inými predvolenými nastaveniami a pravidlá CDN alebo WAF sa pridávajú dlho po tom, čo bol pôvodný robots.txt napísaný — čokoľvek z toho môže potichu znovu zablokovať crawler alebo spôsobiť neúplnú sitemapu. Niektoré tímy kombinujú túto kontrolu s analýzou serverových logov, aby potvrdili, že crawler-y skutočne navštevujú stránky, ktoré majú povolené, a s vyhradeným súborom llms.txt , ktorý AI systémom poskytuje kurátorský súhrn vášho najdôležitejšieho obsahu popri surovej sitemape. Ak si nie ste istí, kam pokrytie robots.txt a sitemapy zapadá vo vzťahu k vašej ostatnej technickej práci, širší AI visibility audit prevedie vás celou sadou kontrol dostupnosti v poradí, a vlastný nástroj AmICited AI visibility sleduje, či sa oprava týchto problémov skutočne premieta do väčšieho počtu citácií v čase — spája technickú opravu s výsledkom, ktorý má priniesť, namiesto toho, aby považoval „crawler-y povolené" za cieľovú čiaru. Pre tímy, ktoré toto spravujú naprieč desiatkami klientskych stránok, sú rovnaké kontroly prístupu a sitemapy jednou z opakujúcich sa položiek pokrytých v rámci AmICited pre agentúry , keďže jedno nesprávne nakonfigurované pravidlo v robots.txt sa zvykne opakovať naprieč šablónami a treba ho zachytiť už pri onboardingu, nie až potom, čo sa klient spýta, prečo sa jeho značka nikdy nezobrazuje v ChatGPT.