Slik sjekker du Robots.txt- og Sitemap-dekning i AmICited

Hvis AI-crawlere ikke kan lese nettstedet ditt, spiller ingen av de andre optimaliseringene dine noen rolle.

Hva er robots.txt, og hvorfor avgjør den om AI kan se deg?

Robots.txt er en ren tekstfil som ligger i roten av domenet ditt (dittnettsted.com/robots.txt) og forteller crawlere hvilke deler av nettstedet de har lov til å be om. Filen er flere tiår eldre enn AI-bølgen — den ble opprinnelig laget for at søkemotorroboter som Googlebot ikke skulle kaste bort tid på å crawle admin-sider, staging-miljøer eller duplisert innhold. Men den samme mekanismen styrer nå en avgjørelse med mye høyere innsats: om GPTBot, ClaudeBot, PerplexityBot, Google-Extended og de andre AI-crawlerne som mater dagens svarmotorer, i det hele tatt har lov til å hente sidene dine.

Enhver veloppdragen crawler sjekker robots.txt før den ber om noe som helst annet. Filen er organisert i blokker, hver med en User-agent-linje som navngir en spesifikk bot (eller * for alle boter), etterfulgt av Allow- og Disallow-regler som spesifiserer hvilke stier den boten kan eller ikke kan hente. En enkelt generell regel som Disallow: / under User-agent: GPTBot er nok til å stenge den crawleren ute fra hele nettstedet ditt — og den vil ikke dukke opp i ChatGPTs kilder, uansett hvor bra innholdet ditt er. Dette er grunnen til at crawlbarhet — den generelle egenskapen at et nettsted er teknisk tilgjengelig for boter — behandles som selve grunnmuren for AI-søkesynlighet, ikke som en ettertanke.

Robots.txt har også en annen jobb: det er typisk her crawlere ser etter en peker til sitemapet ditt, via en Sitemap:-direktiv. Et XML-sitemap er en strukturert liste over URL-ene på nettstedet ditt som du vil at crawlere skal kjenne til, ofte med metadata som sist-endret-datoer. Der robots.txt kontrollerer tillatelse, kontrollerer sitemapet oppdagelse — det er kartet som forteller crawlere hva som finnes, slik at de ikke må finne hver eneste side utelukkende ved å følge lenker. Et nettsted kan ha helt tillatende robots.txt-regler og likevel være underindeksert av AI-systemer rett og slett fordi sitemapet mangler, ikke er referert til, eller er ufullstendig.

Disse to filene betyr mer for AI-synlighet enn de noensinne gjorde for tradisjonell SEO. Søkemotorer har crawlet nettet i over 25 år og bygget enorme lenkegrafer som lar Googlebot oppdage sider selv uten et sitemap. AI-crawlere er nyere, ofte mer forsiktige med hvor mye av et nettsted de vil hente, og mer sannsynlig å bli blokkert helt av robots.txt-regler som bare var skrevet med Googlebot i tankene. En regel som stille ekskluderer “ukjente” eller aggressivt utseende boter, kan ramme GPTBot eller ClaudeBot som utilsiktet skadelidende. Det er nettopp denne feilmodusen Robots.txt & Sitemaps-sjekken finnes for å fange opp — og det er derfor dette er en av de aller første tingene enhver AI-tilgjengelighetsrevisjon bør verifisere, før du bruker tid på innhold, schema eller noe annet.

Hvor finner du det

Det er Robots.txt & Sitemaps-delen av Audit → Agent Accessibility. Agent Accessibility er den delen av AmICiteds revisjon som spesifikt fokuserer på om AI-systemer teknisk kan nå og tolke innholdet ditt, i motsetning til de delene av produktet som handler om innholdskvalitet og sitatsporing. Robots.txt & Sitemaps er normalt den første sjekken i den delen, fordi alt annet revisjonen måler forutsetter at crawlerne i det hele tatt kommer inn døren.

Hva den sjekker

Som delen forklarer, ser den på “hvorvidt de viktige AI- og søkecrawlerne har tillatelse til å lese nettstedet, hvorvidt sitemaps er deklarert i robots.txt, og hvor mange URL-er disse sitemapene viser totalt.” Kort sagt:

• Crawler-tilgang — er de store AI- og søkerobotene tillatt (ikke blokkert) i robots.txt? AmICited evaluerer dine faktiske robots.txt-regler mot user-agent-strengene til crawlerne som betyr noe for AI-søkesynlighet, slik at du ser, bot for bot, om den er tillatt, blokkert, eller rett og slett ikke adressert av noen regel (som som regel faller tilbake til tillatt under wildcard-blokken).
• Sitemap-deklarasjon — er et sitemap referert fra robots.txt slik at crawlere kan finne det? Et sitemap som eksisterer, men som ikke er lenket fra robots.txt (og ikke er sendt inn andre steder), er langt mindre sannsynlig å bli plukket opp automatisk.
• Sitemap-dekning — hvor mange URL-er sitemapene dine viser totalt, noe som gir deg en rask sjekk på om de publiserte sidene dine faktisk blir annonsert til crawlere.

Sammen svarer disse tre sjekkene på de to spørsmålene som avgjør om et AI-system i det hele tatt kan begynne å evaluere innholdet ditt: slippes denne crawleren inn, og vet den hva den skal hente når den først er der. Et merke kan gjøre alt riktig på innholdssiden — klare svar, sterke entitetssignaler, godt strukturerte sider — og likevel være usynlig i AI-svar rett og slett fordi en av disse to betingelsene svikter stille i bakgrunnen.

Slik bruker du det

1. Bekreft at crawlere er tillatt. Hvis en viktig AI-bot er blokkert, fiks robots.txt-regelen — dette er det høyest prioriterte problemet på siden. Sjekk hver blokkerte crawler opp mot hensikten din: en regel som blokkerer GPTBot, var trolig skrevet med vilje hvis du ikke vil at innholdet ditt skal brukes til OpenAIs modelltrening, men hvis den også stille blokkerer OAI-SearchBot eller PerplexityBot — crawlerne som faktisk driver levende sitater, i motsetning til modelltrening — mister du synlighet uten strategisk grunn. Det er verdt å bevisst bestemme hvilke crawlere du ønsker å tillate AI-boter å crawle nettstedet ditt , fremfor å arve en standard som blokkerer alt uten forskjell.
2. Deklarer sitemapet ditt. Sørg for at robots.txt peker til sitemapet ditt slik at agenter kan oppdage alle sidene dine. Dette er én enkelt linje — Sitemap: https://dittnettsted.com/sitemap.xml — men det er en av de vanligste manglende detaljene på ellers velbygde nettsteder, spesielt på nettsteder der sitemapet ble generert automatisk av et CMS, men aldri koblet tilbake til robots.txt.
3. Sjekk antall URL-er. Et sitemap som viser langt færre URL-er enn du har publisert, betyr at sider ikke blir annonsert til crawlere. Dette er som regel et tegn på et utdatert sitemap (generert én gang og aldri regenerert), en sitemap-indeks som ikke lenker til alle sine underliggende sitemaps, eller et CMS-plugin som stille ekskluderer en innholdstype — nylig publiserte blogginnlegg og dynamisk genererte sider er vanlige ofre.
4. Sjekk på nytt etter redigeringer og bekreft at Crawler-tilgang- og Sitemap-URL-er-boksene i beredskapsoppsummeringen blir grønne.

Crawler-tilgang er grunnmuren: få det riktig først, for alt annet forutsetter at botene faktisk kan nå innholdet ditt. Når både tilgang og oppdagelse er bekreftet i orden, begynner resten av Agent Accessibility-revisjonen — rendering, strukturerte data, responstider — å bety noe, fordi disse sjekkene bare lønner seg hvis crawleren i utgangspunktet fikk lov til å nå siden.

Det er også verdt å huske at robots.txt- og sitemap-dekning ikke er en engangsfiks. Nye seksjoner lanseres, CMS-migreringer regenererer sitemaps med andre standardinnstillinger, og CDN- eller WAF-regler legges til lenge etter at det opprinnelige robots.txt-filen ble skrevet — hva som helst av dette kan stille gjeninnføre en blokkert crawler eller et ufullstendig sitemap. Noen team kombinerer denne sjekken med serverlogg-analyse for å bekrefte at crawlere faktisk besøker sidene de har lov til å besøke, og med en dedikert llms.txt -fil som gir AI-systemer et kuratert sammendrag av det viktigste innholdet ditt ved siden av det rå sitemapet. Hvis du er usikker på hvor robots.txt- og sitemap-dekning passer inn i resten av det tekniske arbeidet ditt, går en bredere AI-synlighetsrevisjon gjennom hele settet med tilgjengelighetssjekker i rekkefølge, og AmICiteds eget AI-synlighet -verktøy sporer om det å fikse disse problemene faktisk oversettes til flere sitater over tid — og kobler dermed den tekniske fiksen sammen med resultatet den er ment å produsere, i stedet for å behandle “crawlere tillatt” som målstreken. For team som håndterer dette på tvers av dusinvis av kundenettsteder, er de samme tilgangs- og sitemap-sjekkene et av de tilbakevendende punktene som dekkes under AmICited for byråer , siden en enkelt feilkonfigurert robots.txt-regel har en tendens til å gjenta seg på tvers av maler og må fanges opp tidlig i onboardingen, ikke etter at en kunde spør hvorfor merket deres aldri dukker opp i ChatGPT.