Så här kontrollerar du Robots.txt & Sitemap-täckning i AmICited

Om AI-crawlers inte kan läsa din webbplats spelar ingen av dina andra optimeringar någon roll. Robots.txt & Sitemaps-kontrollen bekräftar att de crawlers du bryr dig om har tillåtelse — och att dina sitemaps faktiskt pekar dem till ditt innehåll.

Var du hittar det

Det är Robots.txt & Sitemaps-sektionen under Audit → Agent Accessibility.

Vad den kontrollerar

Som sektionen förklarar tittar den på “huruvida viktiga AI- och sökcrawlers har tillåtelse att läsa webbplatsen, huruvida sitemaps deklareras i robots.txt och hur många URL:er dessa sitemaps listar totalt.” Kort sagt:

• Crawler-åtkomst — har de största AI- och sökbotarna tillåtelse (inte nekats) i robots.txt?
• Sitemap-deklaration — refereras en sitemap från robots.txt så att crawlers kan hitta den?
• Sitemap-täckning — hur många URL:er dina sitemaps listar totalt.

Så här använder du den

1. Bekräfta att crawlers är tillåtna. Om en viktig AI-bot är blockerad, åtgärda regeln i robots.txt — detta är det högst prioriterade problemet på sidan.
2. Deklarera din sitemap. Se till att robots.txt pekar till din sitemap så att agenter kan upptäcka alla dina sidor.
3. Kontrollera URL-antalen. En sitemap som listar betydligt färre URL:er än du har publicerat innebär att sidor inte annonseras till crawlers.
4. Kontrollera efter redigeringar och bekräfta att Crawler-åtkomst- och Sitemap-URL:er-rutorna i beredskapssammanfattningen blir gröna.

Crawler-åtkomst är grunden: få det rätt först, eftersom allt annat förutsätter att botarna faktiskt kan nå ditt innehåll.