Ako skontrolovať Robots.txt a Sitemap pokrytie v AmICited

Ak AI crawler-y nedokážu čítať vašu stránku, žiadna z vašich ostatných optimalizácií nemá význam. Kontrola Robots.txt a Sitemap potvrdzuje, že crawler-y, na ktorých vám záleží, sú povolené — a že vaše sitemapy ich skutočne nasmerujú na váš obsah.

Kde to nájdete

Je to sekcia Robots.txt a Sitemap v Audit → Agent Accessibility.

Čo to kontroluje

Ako sekcia vysvetľuje, zameriava sa na „či sú dôležité AI a vyhľadávacie crawler-y povolené čítať stránku, či sú sitemapy deklarované v robots.txt a koľko URL tieto sitemapy celkovo uvádzajú.“ V skratke:

• Prístup crawlerov — sú hlavné AI a vyhľadávacie boty povolené (nie zakázané) v robots.txt?
• Deklarácia sitemapy — je sitemap odkazovaná z robots.txt, aby ju crawler-y mohli nájsť?
• Pokrytie sitemapy — koľko URL vaše sitemapy celkovo uvádzajú.

Ako to používať

1. Potvrďte, že crawler-y sú povolené. Ak je dôležitý AI bot zablokovaný, opravte pravidlo v robots.txt — toto je najvyššia priorita na stránke.
2. Deklarujte svoju sitemapu. Uistite sa, že robots.txt odkazuje na vašu sitemapu, aby agenti mohli objaviť všetky vaše stránky.
3. Skontrolujte počet URL. Sitemap uvádzajúca oveľa menej URL, ako máte publikovaných, znamená, že stránky nie sú propagované crawler-om.
4. Znovu skontrolujte po úpravách a potvrďte, že dlaždice Prístup crawlerov a URL sitemapy v súhrne pripravenosti sú v poriadku.

Prístup crawlerov je základom: najprv ho nastavte správne, pretože všetko ostatné predpokladá, že boty sa skutočne môžu dostať k vášmu obsahu.