Auditul domeniului și accesibilitatea AI

Un motor nu poate cita o pagină pe care nu o poate prelua, iar un agent nu poate folosi o pagină pe care nu o poate citi. Pagina Domain audit (Audit → Domain audit) adună verificările care decid dacă domeniul dumneavoastră poate fi găsit, considerat de încredere și citit de crawlerele și agenții AI. Pagina Site audit (Audit → Site audit) merge mai adânc: scanează fiecare URL din sitemap-ul dumneavoastră și raportează problemele tehnice și modul în care linkurile interne distribuie autoritatea.

Rulați mai întâi auditul domeniului când un domeniu are vizibilitate zero sau când o pagină pe care o așteptați citată nu este niciodată. O singură linie Disallow pentru GPTBot sau o regulă CDN care blochează crawlerele explică mai multe citări lipsă decât orice problemă de conținut.

Rezumatul pregătirii pentru agenți#

Partea de sus a paginii rezumă fiecare secțiune într-un rând: scorul llms.txt, scorul de accesibilitate, accesul crawlerelor, URL-urile din sitemap, sitemap vs. robots, WebMCP, agentic commerce și expirarea domeniului. Concurenții pe care îi urmăriți apar în tabele de comparație lângă dumneavoastră, astfel încât să puteți vedea dacă un rival este pur și simplu mai ușor de citit pentru agenți.

robots.txt și sitemap-uri#

Arată dacă crawlerele importante de căutare și AI au voie să citească site-ul, dacă sitemap-urile sunt declarate în robots.txt și câte URL-uri listează acele sitemap-uri. Crawlerele verificate sunt:

GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot, Bingbot, Applebot, Amazonbot, Meta-ExternalAgent și CCBot.

Semnalează și conflictele dintre sitemap și robots.txt: URL-uri din sitemap pe care propriul robots.txt le blochează, crawlere blocate de la URL-uri pe care sitemap-ul le listează, fișiere sitemap care sunt ele însele interzise, directive Sitemap: care indică o altă gazdă și fișiere sitemap care depășesc limita de 50.000 de URL-uri sau 50 MB. Lipsa completă a unui robots.txt înseamnă că fiecare crawler este permis implicit.

Revizuirea llms.txt#

/llms.txt este un fișier Markdown care oferă modelelor de limbaj o prezentare curatoriată a site-ului dumneavoastră. AmICited îl preia pe al dumneavoastră și îl validează față de propunerea llmstxt.org: transport (servit în rădăcină prin HTTPS cu HTTP 200, un tip de conținut text, nu shell-ul aplicației HTML, UTF-8, sub 128 KB), structură (un H1 primul, un citat-rezumat imediat după el, secțiuni H2 care sunt liste de linkuri, fără titluri mai adânci) și calitatea linkurilor (URL-uri absolute în forma - [Title](URL): description, fără HTML brut, fără text de umplere).

• Verificările required cântăresc 1, cele recommended cântăresc 0,5, iar sfaturile consultative cântăresc 0 (afișate ca îndrumare, niciodată penalizate).
• Fiecare verificare arată dacă a trecut, ce așteaptă și un exemplu.
• Re-check now preia din nou fișierul (0,005 credite). Re-check competitors reevaluează fișierele lor.

Exemplu lucrat#

O revizuire completă rulează 5 verificări required și 19 recommended (plus 4 sfaturi consultative), valorând 5 + 9,5 = 14,5 puncte. Un fișier care trece fiecare verificare required și 15 dintre cele recommended obține (5 + 7.5) ÷ 14.5 × 100 = 86.

Arborele de accesibilitate#

Agenții AI navighează pe o pagină prin arborele ei de accesibilitate (roluri, nume, structură), nu prin pixeli. AmICited verifică HTML-ul paginii dumneavoastră de start, iar Check URL poate fi folosit pentru orice altă pagină (0,005 credite per revizuire). Verificările: pagină accesibilă, elemente interactive denumite, fără elemente interactive ascunse, imagini cu text alternativ, controale de formular etichetate, un singur H1, ordinea titlurilor, un reper main, limba paginii declarată și un titlu de document.

WebMCP, agentic commerce și Common Crawl#

• WebMCP. Detectează dacă pagina dumneavoastră de start expune instrumente pe care agenții le pot apela direct (căutare, adăugare în coș, rezervare), în loc să ghicească din pagină. Instrumentele declarative sunt listate cu indicatori de citire sau scriere; instrumentele înregistrate din JavaScript sunt menționate, dar nu pot fi listate din HTML static.
• Agentic commerce. Detectează dacă pagina de start anunță un protocol care permite agenților să navigheze, să finalizeze comanda și să plătească (ACP, UCP), cu un link către manifest.
• Common Crawl. Dacă CCBot poate prelua site-ul (permis, interzis în robots.txt sau blocat la marginea CDN), dacă domeniul se află în ultimul index, câte URL-uri au fost captate și amprenta dumneavoastră în timp față de concurenți. Common Crawl este corpusul din care sunt construite majoritatea seturilor de date deschise de antrenare; nu este ceea ce preiau GPTBot, OAI-SearchBot sau PerplexityBot, deci citiți-l separat de căutarea AI live.
• Înregistrarea domeniului și certificatul. Zilele până la expirarea înregistrării domeniului și a certificatului TLS și registratorul.

Site audit#

Site audit scanează fiecare URL din sitemap-ul domeniului, înregistrează faptele tehnice și linkurile fiecărei pagini și calculează graful linkurilor interne.

1. Configurați scanarea

   Mergeți la Audit → Site audit și faceți clic pe Schedule scan. Setați ritmul (cereri pe secundă, cereri concurente, așteptarea maximă per cerere), când să se oprească (număr maxim de URL-uri, durată maximă, rată de erori), ce URL-uri să includă sau să excludă (până la 20 de expresii regulate fiecare), dacă să stocheze linkuri către site-uri externe și dacă să Repeat scan la fiecare N zile.

2. Obțineți un preț și confirmați

   Faceți clic pe Get price. Oferta numără URL-urile din sitemap, aplică filtrele și plafonul planului dumneavoastră și taxează scanarea la 0,002 credite per URL (1.000 de URL-uri = 2 credite). Oferta este valabilă o oră, iar o scanare nu poate porni dacă soldul dumneavoastră nu o acoperă integral.

3. Citiți raportul

   File: Issues, Pages & links, Outbound domains, Runs, Server response și Crawl log. Sunteți notificat când rularea se termină.

Crawlerul este politicos prin concepție: își înjumătățește ritmul și face pauză când site-ul răspunde 429 sau 503 și încetinește când timpii de răspuns se dublează. O scanare oprită păstrează tot ce a fost deja preluat și taxează doar pentru aceasta. Fiecare pagină primește un PageRank (simplu și ponderat după locul în care se află linkul: conținutul principal contează mai mult decât navigarea sau subsolul) alături de clicurile sale organice și clicurile plătite; coloanele de trafic necesită Search Console sau o platformă de reclame conectată.

Articole conexe#