Hvordan ved jeg, om AI-crawlere rent faktisk kan tilgå mit site? Guide til test ønskes

Komplet testguide:

Trin 1: robots.txt-tjek

Tjek din robots.txt på yourdomain.com/robots.txt

Se efter:

# Godt - Eksplicit tilladelse til AI-crawlere
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

Pas på:

# Dårligt - Wildcard blokerer alle ikke-specifikke bots
User-agent: *
Disallow: /

# Dårligt - Eksplicit blokering af AI-crawlere
User-agent: GPTBot
Disallow: /

Trin 2: robots.txt-tester

Brug Googles robots.txt-tester eller online værktøjer. Test med disse user agents:

• GPTBot
• PerplexityBot
• ClaudeBot
• anthropic-ai

Indtast dine nøgle-URL’er og se, om de er tilladt.

Trin 3: Serverlog-analyse

Søg i logs efter AI bot-signaturer. Detaljer i næste svar.

Almindelige problemer, der blokerer AI-crawlere:

1. robots.txt-wildcards

User-agent: *
Disallow: /

Dette blokerer ALLE ikke-specifikke bots, inkl. AI-crawlere.

Løsning:

User-agent: Googlebot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /

2. Rate limiting Aggressiv rate limiting kan blokere crawler-IP’er. Tjek om din WAF eller CDN blokerer.

3. IP-bloklister Nogle sikkerhedsplugins blokerer “mistænkelige” IP’er. AI-crawler-IP’er kan blive flaget.

4. Krævet autentificering Alle login-krav blokerer crawlere. Sørg for, at offentligt indhold er reelt offentligt.

5. JavaScript-rendering Indhold kun vist via JS vises måske ikke. AI-crawlere udfører muligvis ikke JavaScript fuldt ud.

6. Langsom respons Sider der tager over 5-10 sekunder kan time out. Crawlere kan opgive.

Test for hver:

• robots.txt: Direkte URL-tjek
• Rate limiting: Tjek WAF/CDN-logs
• IP-blokering: Test fra forskellige IP’er
• Auth: Prøv anonym browsing
• JS: Se sidesource vs. rendered
• Hastighed: GTmetrix eller lignende

Komplet liste over AI-crawler user agents:

OpenAI:

GPTBot

Bruges til ChatGPT-træning og browsing.

Perplexity:

PerplexityBot

Bruges til Perplexity AI-søgning.

Anthropic:

ClaudeBot
anthropic-ai

Bruges til Claude AI.

Google:

Google-Extended

Bruges til Google AI/Gemini-træning.

Common Crawl:

CCBot

Bruges af mange AI-systemer til træningsdata.

Din robots.txt bør tage højde for:

# AI-crawlere
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

Hvis du vil blokere en bestemt, brug Disallow. De fleste virksomheder ønsker at tillade dem alle.

Onlineværktøjer til test:

1. Googles robots.txt-tester (I Search Console)

• Indsend brugerdefineret user agent
• Test specifikke URL’er
• Se resultat tilladt/blokeret

2. SEO Spider-værktøjer

• Screaming Frog
• Sitebulb
• DeepCrawl Kan crawle som specifikke user agents.

3. Manuel test

# Test med curl som GPTBot
curl -A "GPTBot" https://yoursite.com/page

# Tjek responskode
curl -I -A "GPTBot" https://yoursite.com/page

4. robots.txt-valideringsværktøjer

• Googles robots.txt-tester
• robots.txt Validator (flere online)
• Syntax-tjekværktøjer

Hvad du skal teste:

• Forside
• Vigtige indholdssider
• Blogindlæg
• Produktsider
• FAQ-sider

Test eksplicit dine vigtigste sider.

Hvis du ikke er tryg ved kommandolinjen:

GUI-loganalyse:

• GoAccess (gratis, visuelt loganalyseværktøj)
• AWStats (klassisk loganalyse)
• Matomo (self-hosted analytics)

Cloud-loganalyse:

• Cloudflare Analytics (hvis du bruger CF)
• AWS CloudWatch (hvis på AWS)
• Google Cloud Logging

Tredjepartsservices:

• Loggly
• Papertrail
• Datadog

Hvad du skal kigge efter: Opret filter/søgning på AI bot user agents. Opsæt alarmer for 403/500-respons til AI bots. Følg trends over tid.

Enkle dashboardmetrics:

• AI bot-besøg pr. dag
• Mest crawlede sider
• Fejlrater
• Crawl-trends

Hvis du ser nul AI bot-trafik i 2+ uger, er der noget galt.

CDN og WAF blokerer ofte AI-crawlere:

Cloudflare:

• Bot Fight Mode kan blokere AI-bots
• Tjek Security > Bots-indstillinger
• Tilføj undtagelser for AI-crawler-IP’er efter behov

AWS CloudFront/WAF:

• AWS WAF-regler kan blokere
• Tjek WAF-logs for blokerede requests
• Opret tillad-regler for AI-bots

Akamai:

• Bot Manager-indstillinger
• Kan kræve eksplicit whitelisting

Sådan tjekker du:

1. Se på CDN/WAF-logs, ikke kun origin-logs
2. Tjek for blokerede/udfordrede requests
3. Kig efter specifikke AI bot user agents

Vores erfaring: Cloudflares Bot Fight Mode blokerede GPTBot. Deaktiveret specifikt for AI-crawlere. Så første GPTBot-besøg inden for 24 timer.

Tjek dit edge-lag, ikke kun din origin.

Månedlig sundhedstjek-rutine for AI-crawlere:

Ugentligt hurtigtjek (5 min):

1. Hurtig logsøgning efter AI-bots
2. Notér eventuelle fejl-responser
3. Tjek besøgsantal-trend

Månedligt dybtjek (30 min):

1. robots.txt-gennemgang

   • Stadig tilladelse til AI-crawlere?
   • Nye regler tilføjet, der kan blokere?

2. Loganalyse

   • Hvilke AI-bots besøger?
   • Hvilke sider crawlet mest?
   • Fejlmønstre?

3. Hastighedstjek

   • Nøglesider stadig hurtige?
   • Nye performanceproblemer?

4. Indholdstilgængelighed

   • Nye login-mure?
   • Nyt JS-afhængigt indhold?
   • Nye redirects?

5. CDN/WAF-gennemgang

   • Nye sikkerhedsregler?
   • Blokeringsmønstre?

Dokumenter fund: Lav simpelt regneark med:

• Dato
• AI-bots set
• Besøgstal
• Fundne problemer
• Iværksatte handlinger

Sådan fanges problemer, før de bliver usynlige.

Hvis du ser nul AI-crawlerbesøg:

Fejlsøgnings-tjekliste:

1. Verificér, at robots.txt tillader adgang ✓ Ingen Disallow for AI-bots ✓ Ingen wildcard-blokering

2. Tjek servertilgængelighed ✓ Sitet loader fra forskellige IP’er ✓ Ingen geografisk blokering

3. Gennemgå CDN/WAF ✓ Botbeskyttelse blokerer ikke ✓ Ingen blokering af AI bot-IP’er

4. Tjek sidehastighed ✓ Sider loader på under 3 sekunder ✓ Ingen timeout-problemer

5. Verificér HTML-tilgængelighed ✓ Indhold synligt uden JS ✓ Ingen login-krav

6. Tjek sitemap ✓ Sitemap eksisterer og er gyldigt ✓ Vigtige sider inkluderet

7. Eksterne signaler ✓ Sitet har eksterne links ✓ Nogen webtilstedeværelse ud over eget domæne

Hvis alt passer og stadig ingen besøg: Dit site er måske bare ikke blevet opdaget endnu. Byg eksterne signaler for at tiltrække opmærksomhed.

Typisk første besøgstid:

• Nyt site: 2-4 uger efter eksterne omtaler
• Eksisterende site med fix: 1-2 uger efter fix
• Vel-linket site: Daglige besøg

Perfekt. Nu har jeg en ordentlig test-ramme.

Min testplan:

I dag:

1. Tjek robots.txt på /robots.txt
2. Verificér, at AI-crawlere eksplicit er tilladt
3. Test med curl-kommando

Denne uge:

1. Analysér serverlogs for AI bot-besøg
2. Tjek CDN/WAF for blokering
3. Opsæt logovervågning for AI-bots

Månedligt:

1. Gennemgå AI-crawlerbesøgtrends
2. Tjek for fejl-responser
3. Verificér, at sidehastighed er opretholdt
4. Gennemgå eventuelle nye robots.txt-ændringer

Handlinger fundet:

• Tilføj eksplicitte Allow-regler for AI-crawlere
• Tjek Cloudflare Bot Management
• Opsæt automatiske logalarmer

Vigtig indsigt: Adgangstest er ikke en engangsopgave. Nye regler, nye sikkerhedstiltag kan bryde adgang. Regelmæssig overvågning fanger problemer tidligt.

Tak til alle – dette giver mig den test-ramme, jeg havde brug for.