Domenerevisjon og AI-tilgjengelighet

En motor kan ikke sitere en side den ikke kan hente, og en agent kan ikke bruke en side den ikke kan lese. Siden Domain audit (Audit → Domain audit) samler sjekkene som avgjør om domenet ditt kan bli funnet, stolt på og lest av AI-crawlere og agenter. Siden Site audit (Audit → Site audit) går dypere: den crawler hver URL i sitemapen din og rapporterer tekniske problemer og hvordan interne lenker fordeler autoritet.

Kjør domenerevisjonen først når et domene har null synlighet, eller når en side du forventer skal bli sitert, aldri blir det. Én enkelt Disallow-linje for GPTBot eller en CDN-regel som blokkerer crawlere, forklarer flere manglende siteringer enn noe innholdsproblem.

Oppsummering av agentberedskap#

Toppen av siden oppsummerer hver seksjon på én rad: llms.txt-score, tilgjengelighetsscore, crawler-tilgang, sitemap-URL-er, sitemap vs. robots, WebMCP, agentisk handel og domeneutløp. De sporede konkurrentene dine vises i sammenligningstabeller ved siden av deg, slik at du kan se om en rival rett og slett er enklere for agenter å lese.

robots.txt og sitemaps#

Viser om de viktige søke- og AI-crawlerne har lov til å lese nettstedet, om sitemaps er deklarert i robots.txt, og hvor mange URL-er disse sitemapene lister. Crawlerne som sjekkes, er:

GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot, Bingbot, Applebot, Amazonbot, Meta-ExternalAgent og CCBot.

Den flagger også konflikter mellom sitemapen og robots.txt: sitemap-URL-er din egen robots.txt blokkerer, crawlere som er blokkert fra URL-er sitemapen lister, sitemap-filer som selv er disallowed, Sitemap:-direktiver som peker til en annen vert, og sitemap-filer over grensen på 50 000 URL-er eller 50 MB. Ingen robots.txt i det hele tatt betyr at alle crawlere er tillatt som standard.

Gjennomgang av llms.txt#

/llms.txt er en Markdown-fil som gir språkmodeller en kuratert oversikt over nettstedet ditt. AmICited henter din og validerer den mot forslaget fra llmstxt.org: transport (servert i roten over HTTPS med HTTP 200, en tekst-innholdstype, ikke HTML-app-skallet ditt, UTF-8, under 128 KB), struktur (én H1 først, en sammendrags-blockquote rett etter, H2-seksjoner som er lenkelister, ingen dypere overskrifter) og lenkekvalitet (absolutte URL-er på formen - [Title](URL): description, ingen rå HTML, ingen plassholdertekst).

• Required-sjekker veier 1, recommended-sjekker veier 0,5, og rådgivende tips veier 0 (vist som veiledning, aldri straffet).
• Hver sjekk viser om den ble bestått, hva den forventer og et eksempel.
• Re-check now henter filen på nytt (0,005 kreditter). Re-check competitors scorer konkurrentenes på nytt.

Regneeksempel#

En full gjennomgang kjører 5 required- og 19 recommended-sjekker (pluss 4 rådgivende tips), verdt 5 + 9,5 = 14,5 poeng. En fil som består alle required-sjekker og 15 av de recommended, scorer (5 + 7,5) ÷ 14,5 × 100 = 86.

Tilgjengelighetstre#

AI-agenter navigerer en side gjennom tilgjengelighetstreet (roller, navn, struktur), ikke pikslene. AmICited sjekker HTML-en på hjemmesiden din, og du kan bruke Check URL for en hvilken som helst annen side (0,005 kreditter per gjennomgang). Sjekkene: siden er tilgjengelig, interaktive elementer har navn, ingen skjulte interaktive elementer, bilder har alt-tekst, skjemakontroller er merket, én enkelt H1, overskriftsrekkefølge, et main-landemerke, sidespråk deklarert og en dokumenttittel.

WebMCP, agentisk handel og Common Crawl#

• WebMCP. Oppdager om hjemmesiden din eksponerer verktøy agenter kan kalle direkte (søk, legg i handlekurv, bestill) i stedet for å gjette ut fra siden. Deklarative verktøy listes med lese- eller skriveflagg; verktøy registrert fra JavaScript noteres, men kan ikke listes fra statisk HTML.
• Agentic commerce. Oppdager om hjemmesiden annonserer en protokoll som lar agenter bla, gå til kassen og betale (ACP, UCP), med en lenke til manifestet.
• Common Crawl. Om CCBot kan hente nettstedet (tillatt, disallowed i robots.txt, eller blokkert ved CDN-kanten), om domenet er i den nyeste indeksen, hvor mange URL-er som ble fanget, og fotavtrykket ditt over tid mot konkurrenter. Common Crawl er korpuset de fleste åpne treningsdatasett bygges fra; det er ikke det GPTBot, OAI-SearchBot eller PerplexityBot henter, så les det separat fra live AI-søk.
• Domeneregistrering og sertifikat. Dager til domeneregistreringen og TLS-sertifikatet utløper, og registraren.

Site audit#

Nettstedsrevisjonen crawler hver URL i domenets sitemap, registrerer hver sides tekniske fakta og lenker, og beregner den interne lenkegrafen.

1. Konfigurer skanningen

   Gå til Audit → Site audit og klikk Schedule scan. Sett tempoet (forespørsler per sekund, samtidige forespørsler, maksimal ventetid per forespørsel), når den skal stoppe (maksimalt antall URL-er, maksimal varighet, feilrate), hvilke URL-er som skal tas med eller utelates (opptil 20 regulære uttrykk hver), om lenker til eksterne nettsteder skal lagres, og om du vil Repeat scan hver N. dag.

2. Få en pris og bekreft

   Klikk Get price. Tilbudet teller sitemap-URL-ene dine, bruker filtrene og plantaket ditt, og priser skanningen til 0,002 kreditter per URL (1 000 URL-er = 2 kreditter). Tilbudet er gyldig i én time, og en skanning kan ikke starte med mindre saldoen din dekker hele beløpet.

3. Les rapporten

   Faner: Issues, Pages & links, Outbound domains, Runs, Server response og Crawl log. Du varsles når kjøringen er ferdig.

Crawleren er høflig av design: den halverer tempoet og pauser når nettstedet svarer 429 eller 503, og bremser når svartidene dobles. En stoppet skanning beholder alt som allerede er hentet og belaster bare for det. Hver side får en PageRank (ren, og vektet etter hvor lenken står: hovedinnhold teller mer enn navigasjon eller bunntekst) ved siden av sine organiske klikk og betalte klikk; trafikkolonnene krever tilkoblet Search Console eller en annonseplattform.

Relatert#