Sådan tjekker du Robots.txt & Sitemap-dækning i AmICited

Hvis AI-crawlere ikke kan læse dit site, er dine andre optimeringer ligegyldige. Tjekket Robots.txt & Sitemaps bekræfter, at de crawlere, du bekymrer dig om, har adgang — og at dine sitemaps rent faktisk peger dem mod dit indhold.

Sådan finder du det

Det er sektionen Robots.txt & Sitemaps under Audit → Agent Accessibility.

Hvad det tjekker

Som sektionen forklarer, undersøger den “om de vigtige AI- og søgemaskinecrawlere har tilladelse til at læse sitet, om sitemaps er deklareret i robots.txt, og hvor mange URL’er disse sitemaps i alt oplister.” Kort sagt:

• Crawler-adgang — har de større AI- og søgemaskinebots tilladelse (ikke afvist) i robots.txt?
• Sitemap-deklaration — er der refereret til et sitemap fra robots.txt, så crawlere kan finde det?
• Sitemap-dækning — hvor mange URL’er dine sitemaps i alt oplister.

Sådan bruger du det

1. Bekræft, at crawlere har adgang. Hvis en vigtig AI-bot er blokeret, skal du rette robots.txt-reglen — dette er den højeste prioritet på siden.
2. Deklarér dit sitemap. Sørg for, at robots.txt peger på dit sitemap, så agenter kan opdage alle dine sider.
3. Tjek URL-antallet. Et sitemap, der oplister langt færre URL’er, end du har offentliggjort, betyder, at sider ikke bliver annonceret til crawlere.
4. Tjek igen efter ændringer og bekræft, at felterne Crawler-adgang og Sitemap-URL’er i beredskabsoversigten viser grøn status.

Crawler-adgang er fundamentet: få det rigtigt først, for alt andet forudsætter, at bots rent faktisk kan nå dit indhold.