Om logganalysen – här är exakt vad du ska titta efter:
Före ändring i robots.txt:
GPTBot-förfrågningar: 0
PerplexityBot-förfrågningar: 0
Efter ändring i robots.txt (om det fungerar):
GPTBot-förfrågningar: 50–200+ första veckan
PerplexityBot-förfrågningar: 30–100+ första veckan
Om du inte ser AI-crawler-aktivitet inom 48–72 timmar efter ändringen i robots.txt är något fel:
- Kontrollera att ändringen verkligen är live
- Verifiera att inget annat blockerar (meta-taggar etc.)
- Säkerställ teknisk crawlbarhet (inga serverfel)
Vår data efter att ha tillåtit AI-crawlers:
- Dag 1–2: Första besöket från GPTBot
- Dag 3–7: 150 förfrågningar från AI-botar
- Vecka 2: Etablerat crawl-mönster (dagliga besök)
Detta är din första valideringspunkt.