Domeinaudit en AI-toegankelijkheid

Een engine kan een pagina niet aanhalen die hij niet kan ophalen, en een agent kan een pagina niet gebruiken die hij niet kan lezen. De pagina Domain audit (Audit → Domain audit) verzamelt de controles die bepalen of je domein kan worden gevonden, vertrouwd en gelezen door AI-crawlers en agents. De pagina Site audit (Audit → Site audit) gaat dieper: ze crawlt elke URL in je sitemap en rapporteert technische problemen en hoe interne links autoriteit verdelen.

Voer eerst de domeinaudit uit wanneer een domein nul zichtbaarheid heeft of wanneer een pagina waarvan je verwacht dat hij wordt aangehaald, dat nooit wordt. Eén enkele Disallow-regel voor GPTBot of een CDN-regel die crawlers blokkeert, verklaart meer ontbrekende bronvermeldingen dan welk contentprobleem ook.

Samenvatting agentgereedheid#

Bovenaan de pagina staat elke sectie samengevat in één rij: llms.txt-score, toegankelijkheidsscore, crawlertoegang, sitemap-URL’s, sitemap versus robots, WebMCP, agentic commerce en verloopdatum van het domein. Je gevolgde concurrenten verschijnen in vergelijkingstabellen naast jou, zodat je kunt zien of een rivaal gewoon makkelijker te lezen is voor agents.

robots.txt en sitemaps#

Toont of de belangrijke zoek- en AI-crawlers de site mogen lezen, of sitemaps in robots.txt zijn gedeclareerd en hoeveel URL’s die sitemaps vermelden. De gecontroleerde crawlers zijn:

GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, Claude-SearchBot, PerplexityBot, Google-Extended, Googlebot, Bingbot, Applebot, Amazonbot, Meta-ExternalAgent en CCBot.

Het markeert ook conflicten tussen je sitemap en robots.txt: sitemap-URL’s die je eigen robots.txt blokkeert, crawlers die worden geblokkeerd voor URL’s die de sitemap vermeldt, sitemapbestanden die zelf zijn verboden, Sitemap:-directives die naar een andere host wijzen en sitemapbestanden boven de limiet van 50.000 URL’s of 50 MB. Helemaal geen robots.txt betekent dat elke crawler standaard is toegestaan.

llms.txt-review#

/llms.txt is een Markdown-bestand dat taalmodellen een samengesteld overzicht van je site geeft. AmICited haalt het jouwe op en valideert het tegen het voorstel van llmstxt.org: transport (geserveerd in de root via HTTPS met HTTP 200, een tekstcontenttype, niet je HTML-appshell, UTF-8, onder 128 KB), structuur (één H1 eerst, direct daarna een samenvattend blockquote, H2-secties die linklijsten zijn, geen diepere kopjes) en linkkwaliteit (absolute URL’s in de vorm - [Title](URL): description, geen rauwe HTML, geen plaatshoudertekst).

• Required-controles wegen 1, recommended-controles wegen 0,5 en adviserende tips wegen 0 (getoond als richtlijn, nooit bestraft).
• Elke controle toont of hij is geslaagd, wat hij verwacht en een voorbeeld.
• Re-check now haalt het bestand opnieuw op (0,005 credits). Re-check competitors scoort dat van hen opnieuw.

Rekenvoorbeeld#

Een volledige review voert 5 verplichte en 19 aanbevolen controles uit (plus 4 adviserende tips), goed voor 5 + 9,5 = 14,5 punten. Een bestand dat elke verplichte controle haalt en 15 van de aanbevolen scoort (5 + 7,5) ÷ 14,5 × 100 = 86.

Toegankelijkheidsboom#

AI-agents navigeren door een pagina via zijn toegankelijkheidsboom (rollen, namen, structuur), niet via zijn pixels. AmICited controleert de HTML van je homepage, en je kunt Check URL gebruiken voor elke andere pagina (0,005 credits per review). De controles: pagina bereikbaar, interactieve elementen benoemd, geen verborgen interactieve elementen, afbeeldingen hebben alt-tekst, formulierelementen hebben een label, één H1, kopjesvolgorde, een main-landmark, paginataal gedeclareerd en een documenttitel.

WebMCP, agentic commerce en Common Crawl#

• WebMCP. Detecteert of je homepage tools beschikbaar stelt die agents direct kunnen aanroepen (zoeken, toevoegen aan winkelwagen, boeken) in plaats van te gokken op basis van de pagina. Declaratieve tools worden vermeld met lees- of schrijfvlaggen; tools die vanuit JavaScript zijn geregistreerd, worden genoteerd maar kunnen niet uit statische HTML worden vermeld.
• Agentic commerce. Detecteert of de homepage een protocol aankondigt waarmee agents kunnen bladeren, afrekenen en betalen (ACP, UCP), met een link naar het manifest.
• Common Crawl. Of CCBot de site kan ophalen (toegestaan, verboden in robots.txt of geblokkeerd aan de CDN-rand), of het domein in de nieuwste index staat, hoeveel URL’s zijn vastgelegd en je voetafdruk in de tijd ten opzichte van concurrenten. Common Crawl is het corpus waarop de meeste open trainingsdatasets zijn gebouwd; het is niet wat GPTBot, OAI-SearchBot of PerplexityBot ophalen, dus lees het los van live AI-zoeken.
• Domain registration and certificate. Dagen tot het verlopen van de domeinregistratie en het TLS-certificaat, en de registrar.

Site audit#

De site-audit crawlt elke URL in de sitemap van het domein, legt de technische feiten en links van elke pagina vast en berekent de interne linkgraaf.

1. Configureer de scan

   Ga naar Audit → Site audit en klik op Schedule scan. Stel het tempo in (verzoeken per seconde, gelijktijdige verzoeken, maximale wachttijd per verzoek), wanneer te stoppen (maximum aantal URL’s, maximale duur, foutpercentage), welke URL’s je opneemt of uitsluit (tot 20 reguliere expressies elk), of links naar externe sites worden opgeslagen en of je de scan elke N dagen wilt herhalen met Repeat scan.

2. Vraag een prijs op en bevestig

   Klik op Get price. De offerte telt je sitemap-URL’s, past je filters en abonnementsplafond toe en prijst de scan op 0,002 credits per URL (1.000 URL’s = 2 credits). De offerte is een uur geldig en een scan kan niet starten tenzij je saldo alles dekt.

3. Lees het rapport

   Tabbladen: Issues, Pages & links, Outbound domains, Runs, Server response en Crawl log. Je krijgt een melding wanneer de run klaar is.

De crawler is bewust beleefd: hij halveert zijn tempo en pauzeert wanneer de site met 429 of 503 antwoordt, en vertraagt wanneer responstijden verdubbelen. Een gestopte scan behoudt alles wat al is opgehaald en rekent alleen dat aan. Elke pagina krijgt een PageRank (gewoon, en gewogen naar waar de link staat: hoofdcontent telt zwaarder dan navigatie of footer) naast zijn organische klikken en betaalde klikken; de verkeerskolommen vereisen een gekoppelde Search Console of advertentieplatform.

Gerelateerd#