Controleren van Robots.txt & Sitemap-dekking in AmICited

Als AI-crawlers je site niet kunnen lezen, heeft al je andere optimalisatie geen zin. De Robots.txt & Sitemaps-controle bevestigt dat de crawlers die voor jou belangrijk zijn, toegang hebben — en dat je sitemaps hen daadwerkelijk naar je content leiden.

Waar vind je het

Het is het Robots.txt & Sitemaps-gedeelte van Audit → Agent Accessibility.

Wat het controleert

Zoals de sectie uitlegt, kijkt het naar “of de belangrijke AI- en zoekmachines de site mogen lezen, of sitemaps zijn gedeclareerd in robots.txt, en hoeveel URL’s die sitemaps in totaal vermelden.” Kortom:

• Crawler-toegang — zijn de belangrijkste AI- en zoekbots toegestaan (niet geweigerd) in robots.txt?
• Sitemap-declaratie — wordt er vanuit robots.txt naar een sitemap verwezen, zodat crawlers deze kunnen vinden?
• Sitemap-dekking — hoeveel URL’s je sitemaps in totaal vermelden.

Hoe gebruik je het

1. Bevestig dat crawlers zijn toegestaan. Als een belangrijke AI-bot wordt geblokkeerd, los dan de robots.txt-regel op — dit is het hoogste prioriteitsprobleem op de pagina.
2. Declareer je sitemap. Zorg ervoor dat robots.txt naar je sitemap verwijst, zodat agents al je pagina’s kunnen ontdekken.
3. Controleer het aantal URL’s. Een sitemap die aanzienlijk minder URL’s vermeldt dan je hebt gepubliceerd, betekent dat pagina’s niet aan crawlers worden getoond.
4. Controleer opnieuw na aanpassingen en bevestig dat de tegels Crawler-toegang en Sitemap-URL’s in de gereedheidssamenvatting gezond worden.

Crawler-toegang is de basis: zorg dat dit eerst goed is, want al het andere gaat ervan uit dat de bots daadwerkelijk bij je content kunnen komen.