Jak zkontrolovat Robots.txt a pokrytí Sitemap v AmICited

Pokud AI crawlery nemohou číst váš web, všechna vaše ostatní optimalizace je zbytečná. Kontrola Robots.txt & Sitemap potvrzuje, že crawlery, na kterých vám záleží, mají povolen přístup – a že vaše sitemapy je skutečně navádějí na váš obsah.

Kde to najdete

Jedná se o sekci Robots.txt & Sitemaps v rámci Audit → Agent Accessibility.

Co to kontroluje

Jak sekce vysvětluje, prověřuje „zda mají důležité AI a vyhledávací crawlery povolen přístup na web, zda jsou sitemapy deklarované v robots.txt a kolik URL těchto sitemap celkem obsahuje." Ve zkratce:

• Přístup crawlerů – mají hlavní AI a vyhledávací roboti povolen (nikoli zakázán) přístup v robots.txt?
• Deklarace sitemap – je v robots.txt uveden odkaz na sitemapu, aby ji crawlery našly?
• Pokrytí sitemap – kolik URL vaše sitemapy celkem uvádějí.

Jak to použít

1. Potvrďte, že crawlery mají povolen přístup. Pokud je důležitý AI bot zablokován, opravte pravidlo v robots.txt – toto je nejvyšší priorita na stránce.
2. Deklarujte svou sitemapu. Ujistěte se, že robots.txt odkazuje na vaši sitemapu, aby agenti mohli objevit všechny vaše stránky.
3. Zkontrolujte počet URL. Pokud sitemapa uvádí výrazně méně URL, než kolik máte publikovaných stránek, znamená to, že stránky nejsou crawlerům inzerovány.
4. Znovu zkontrolujte po úpravách a ověřte, že se dlaždice Přístup crawlerů a URL sitemap v souhrnu připravenosti změní na zdravý stav.

Přístup crawlerů je základ: nejprve ho nastavte správně, protože vše ostatní předpokládá, že roboti se skutečně mohou dostat k vašemu obsahu.