Audit domény a přístupnost pro AI

Engine nemůže citovat stránku, kterou nemůže načíst, a agent nemůže použít stránku, kterou nemůže přečíst. Stránka Domain audit (Audit → Domain audit) shromažďuje kontroly, které rozhodují o tom, zda vaši doménu mohou AI crawlery a agenti najít, důvěřovat jí a číst ji. Stránka Site audit (Audit → Site audit) jde hlouběji: projde každou URL ve vaší sitemapě a hlásí technické problémy a to, jak interní odkazy rozdělují autoritu.

Audit domény spusťte jako první, když má doména nulovou viditelnost nebo když stránka, kterou čekáte citovanou, není citována nikdy. Jediný řádek Disallow pro GPTBot nebo pravidlo CDN, které blokuje crawlery, vysvětlí víc chybějících citací než jakýkoli problém s obsahem.

Souhrn připravenosti pro agenty#

Horní část stránky shrnuje každou sekci v jednom řádku: skóre llms.txt, skóre přístupnosti, přístup crawlerů, URL v sitemapách, sitemapa vs. robots, WebMCP, agentní obchod a vypršení domény. Vaši sledovaní konkurenti se zobrazují v srovnávacích tabulkách vedle vás, takže vidíte, zda soupeř není pro agenty prostě snazší na čtení.

robots.txt a sitemapy#

Ukazuje, zda mají důležité vyhledávací a AI crawlery povoleno číst web, zda jsou sitemapy deklarovány v robots.txt a kolik URL tyto sitemapy uvádějí. Kontrolované crawlery jsou:

GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot, Bingbot, Applebot, Amazonbot, Meta-ExternalAgent a CCBot.

Označuje také konflikty mezi vaší sitemapou a robots.txt: URL ze sitemapy, které blokuje váš vlastní robots.txt, crawlery zablokované u URL, které sitemapa uvádí, samotné soubory sitemap, které jsou zakázané, direktivy Sitemap: mířící na jiného hostitele a soubory sitemap přesahující limit 50 000 URL nebo 50 MB. Žádný robots.txt znamená, že je každý crawler ve výchozím stavu povolen.

Kontrola llms.txt#

/llms.txt je soubor v Markdownu, který jazykovým modelům poskytuje kurátorský přehled vašeho webu. AmICited ten váš načte a ověří jej podle návrhu llmstxt.org: transport (poskytován v kořeni přes HTTPS s HTTP 200, textový typ obsahu, ne shell vaší HTML aplikace, UTF-8, pod 128 KB), struktura (jedno H1 jako první, souhrnný citační blok hned za ním, sekce H2, které jsou seznamy odkazů, žádné hlubší nadpisy) a kvalita odkazů (absolutní URL ve tvaru - [Title](URL): description, žádné syrové HTML, žádný zástupný text).

• Required kontroly váží 1, recommended kontroly váží 0,5 a poradní tipy váží 0 (zobrazují se jako vodítko, nikdy se nepenalizují).
• Každá kontrola ukazuje, zda prošla, co očekává, a příklad.
• Re-check now načte soubor znovu (0,005 kreditu). Re-check competitors přehodnotí soubory konkurentů.

Příklad výpočtu#

Úplná kontrola zahrnuje 5 povinných a 19 doporučených kontrol (plus 4 poradní tipy), v hodnotě 5 + 9,5 = 14,5 bodu. Soubor, který splní každou povinnou kontrolu a 15 doporučených, získá (5 + 7,5) ÷ 14,5 × 100 = 86.

Strom přístupnosti#

AI agenti se stránkou pohybují přes její strom přístupnosti (role, názvy, struktura), ne přes její pixely. AmICited kontroluje HTML vaší domovské stránky a pomocí Check URL můžete zkontrolovat kteroukoli jinou stránku (0,005 kreditu za kontrolu). Kontroly: stránka dosažitelná, interaktivní prvky pojmenované, žádné skryté interaktivní prvky, obrázky mají alt text, ovládací prvky formulářů označené, jediné H1, pořadí nadpisů, hlavní landmark, deklarovaný jazyk stránky a titulek dokumentu.

WebMCP, agentní obchod a Common Crawl#

• WebMCP. Zjišťuje, zda vaše domovská stránka zpřístupňuje nástroje, které agenti mohou volat přímo (vyhledávání, přidání do košíku, rezervace), místo aby hádali ze stránky. Deklarativní nástroje jsou uvedeny s příznaky čtení nebo zápisu; nástroje registrované z JavaScriptu se zmiňují, ale ze statického HTML je nelze vypsat.
• Agentic commerce. Zjišťuje, zda domovská stránka inzeruje protokol, který agentům umožňuje procházet, dokončit objednávku a platit (ACP, UCP), s odkazem na manifest.
• Common Crawl. Zda CCBot může web načíst (povoleno, zakázáno v robots.txt nebo zablokováno na okraji CDN), zda je doména v nejnovějším indexu, kolik URL bylo zachyceno a vaše stopa v čase oproti konkurentům. Common Crawl je korpus, z něhož je postavena většina otevřených trénovacích datových sad; není to to, co načítají GPTBot, OAI-SearchBot nebo PerplexityBot, takže jej čtěte samostatně od živého AI vyhledávání.
• Registrace domény a certifikát. Dny do vypršení registrace domény a certifikátu TLS a registrátor.

Site audit#

Site audit projde každou URL ve sitemapě domény, zaznamená technická fakta a odkazy každé stránky a spočítá graf interních odkazů.

1. Nastavte sken

   Přejděte na Audit → Site audit a klikněte na Schedule scan. Nastavte tempo (požadavky za sekundu, souběžné požadavky, maximální čekání na požadavek), kdy skončit (maximum URL, maximální doba, míra chyb), které URL zahrnout nebo vyloučit (až 20 regulárních výrazů pro každé), zda ukládat odkazy na externí weby a zda Repeat scan každých N dní.

2. Získejte cenu a potvrďte

   Klikněte na Get price. Nabídka spočítá URL ve vaší sitemapě, aplikuje vaše filtry a strop tarifu a ocení sken na 0,002 kreditu za URL (1 000 URL = 2 kredity). Nabídka platí jednu hodinu a sken nelze spustit, pokud váš zůstatek nepokryje celou částku.

3. Přečtěte si report

   Záložky: Issues, Pages & links, Outbound domains, Runs, Server response a Crawl log. Po dokončení běhu vám přijde upozornění.

Crawler je navržen ohleduplně: zpomalí na polovinu a pozastaví se, když web odpovídá 429 nebo 503, a zpomalí, když se doby odezvy zdvojnásobí. Zastavený sken si ponechá vše již načtené a účtuje jen to. Každá stránka dostane PageRank (prostý i vážený podle toho, kde odkaz sedí: hlavní obsah se počítá více než navigace nebo patička) vedle svých organických a placených kliků; sloupce provozu vyžadují připojenou Search Console nebo reklamní platformu.

Související#