Slik sjekker du Robots.txt- og Sitemap-dekning i AmICited

Hvis AI-crawlere ikke kan lese nettstedet ditt, spiller ingen av de andre optimaliseringene dine noen rolle. Robots.txt & Sitemaps-sjekken bekrefter at crawlerne du bryr deg om har tilgang — og at sitemapene dine faktisk peker dem mot innholdet ditt.

Hvor finner du det

Det er Robots.txt & Sitemaps-delen av Revisjon → Agent Accessibility.

Hva den sjekker

Som delen forklarer, ser den på “hvorvidt de viktige AI- og søkecrawlerne har tillatelse til å lese nettstedet, hvorvidt sitemaps er deklarert i robots.txt, og hvor mange URL-er disse sitemapene viser totalt.” Kort sagt:

• Crawler-tilgang — er de største AI- og søkerobotene tillatt (ikke blokkert) i robots.txt?
• Sitemap-deklarasjon — er et sitemap referert fra robots.txt slik at crawlere kan finne det?
• Sitemap-dekning — hvor mange URL-er sitemapene dine viser totalt.

Slik bruker du det

1. Bekreft at crawlere er tillatt. Hvis en viktig AI-bot er blokkert, fiks robots.txt-regelen — dette er det høyest prioriterte problemet på siden.
2. Deklarer sitemapet ditt. Sørg for at robots.txt peker til sitemapet ditt slik at agenter kan oppdage alle sidene dine.
3. Sjekk antall URL-er. Et sitemap som viser langt færre URL-er enn du har publisert, betyr at sider ikke blir annonsert til crawlerne.
4. Sjekk på nytt etter redigeringer og bekreft at Crawler-tilgang- og Sitemap-URL-er-boksene i beredskapsoppsummeringen blir grønne.

Crawler-tilgang er grunnlaget: få det riktig først, for alt annet forutsetter at botene faktisk kan nå innholdet ditt.