Hvor ofte bør AI-crawlere besøke nettstedet mitt? Min ser ut til å være mye lavere enn konkurrentene – hva øker crawl-frekvensen?

Flott at du sporer dette – de fleste vet ikke engang at AI-crawlere er noe annet enn Google.

Normale intervaller (basert på nettsteder jeg har gjennomgått):

Dine 1 400 forespørsler på DR 52 er i nedre del av medium. Det er rom for forbedring.

Viktig innsikt: AI-crawlere er mulighetsbasert.

De crawler ikke bare etter en tidsplan. De crawler sider som:

1. Blir ofte sitert (skaper en feedback loop)
2. Oppdateres regelmessig (ferskhetssignaler)
3. Har høye engasjementssignaler (trafikk, lenker, omtaler)
4. Er teknisk raske og tilgjengelige

Crawl–siterings-loop:

Mer crawling -> Mer oppdatert indeks -> Større sannsynlighet for å bli sitert -> Signalerer verdi -> Mer crawling

Konkurrenten din er kanskje i en god sirkel du trenger å komme inn i.

Tekniske faktorer som øker crawl-frekvens:

1. Sidehastighet AI-crawlere har strenge tidsavbruddsgrenser. Hvis sidene dine tar 3+ sekunder å laste, kan crawlere gi opp og nedprioritere deg. Vi reduserte TTFB fra 1,2s til 0,3s og så at GPTBot-forespørsler økte med 40 %.

2. Server-side rendering Kritisk. AI-crawlere kjører vanligvis ikke JavaScript. Hvis innholdet ditt gjengis på klientsiden, ser de en tom side. Bytt til SSR eller SSG og se crawl-forespørslene øke.

3. Ren HTML-struktur Crawlere parser HTML. Ryddig, semantisk markup er raskere å behandle. Vi ryddet opp i HTML-en vår (fjernet unødvendige div-er, rettet valideringsfeil) og så forbedret crawl-effektivitet.

4. Ingen soft 404 eller feil Hvis crawlere støter på feil på nettstedet ditt, reduserer de frekvensen. Sjekk for 5xx-feil, soft 404 eller redirect-kjeder som sløser med crawl-budsjettet.

Kjapp sjekk: Gjengis nettstedet ditt fullt ut med JavaScript deaktivert? Hvis ikke, ser AI-crawlere et ødelagt nettsted.

Innholdsferskhet er svært viktig for crawl-frekvensen.

Vårt eksperiment:

Vi har to innholdsseksjoner:

• Blogg: Oppdateres 2 ganger ukentlig
• Ressurser: Statisk, sjelden oppdatert

Forskjell i crawl-frekvens:

• Blogg: 15-20 GPTBot-forespørsler per side per måned
• Ressurser: 2-3 GPTBot-forespørsler per side per måned

Samme domene, samme tekniske oppsett, 5-7 ganger forskjell i crawl-frekvens.

Implikasjon:

AI-crawlere lærer oppdateringsmønstrene dine. Hvis du konsekvent oppdaterer visse seksjoner, crawler de disse mer. Hvis innholdet er utdatert, blir det nedprioritert.

Praktisk tips: Selv små oppdateringer (legge til et nytt eksempel, oppdatere en statistikk) signaliserer ferskhet. Vi begynte med månedlige “refresh-oppdateringer” på nøkkelsider og så crawl-frekvensen øke innen noen uker.

Dette er veldig nyttig. Jeg skal sjekke noen ting basert på forslagene deres…

Kjappe funn fra min analyse:

1. Sidehastighet: Gjennomsnittlig TTFB er 0,8s – ikke bra, men ikke elendig
2. Rendering: Vi bruker Next.js med SSG, så det skal være greit
3. Crawl-fordeling: 60 % av AI-crawler-forespørslene går til bare 15 sider (av 200+)
4. Ferskhet: Våre mest-crawlede sider er de vi oppdaterer månedlig. Minst-crawlede er statiske.

Mønsteret er tydelig: AI-crawlere vet allerede hvilke av våre innhold som er verdifulle. De bryr seg ikke om resten.

Nytt spørsmål: Er det bedre å fokusere på å få FLERE sider crawlet, eller å få de allerede-crawlede sidene crawlet OFTERE?

For å svare på ditt nye spørsmål: Begge deler, men prioriter å få flere sider crawlet først.

Her er hvorfor:

Få flere sider crawlet:

• Krever at disse sidene blir verdifulle nok til å tiltrekke crawlere
• Langsiktig arbeid (måneder)
• Det kan mislykkes hvis innholdet ikke faktisk er sitatverdig

Øke frekvensen på allerede-crawlede sider:

• Disse sidene har allerede vist seg verdifulle
• Oppdateringer og forbedringer gir raskere resultater
• Skaper den gode sirkelen som tiltrekker mer crawling generelt

Min anbefaling:

1. Fokuser på dine 15 mest-crawlede sider
2. Oppdater dem oftere (annenhver uke i stedet for månedlig)
3. Gjør dem mer omfattende og lenk til andre sider
4. Interne lenker fra høyt-crawlede til lavt-crawlede sider kan hjelpe spre crawler-oppmerksomheten

Stigende tidevanns-tilnærming: forbedre de beste sidene dine først, og bruk deres autoritet til å løfte andre.

Ikke overse sitemap-optimalisering:

Beste praksis for sitemap for AI-crawlere:

1. Oppdater lastmod-datoer korrekt – AI-crawlere bruker dette for å prioritere re-crawling
2. Prioritetstags – Selv om det har mindre innvirkning, signaliserer det relativ viktighet
3. Hold det ryddig – Fjern noindex eller sider med lav verdi
4. Send inn til Bing Webmaster – Bing gir data til Copilot, og noen AI-systemer sjekker Bing-indeksen

Reell effekt vi så:

Vi hadde 500 URL-er i vårt sitemap, inkludert 200 tynne blogginnlegg. Fjernet de tynne innleggene, beholdt 300 kvalitetsider. AI-crawl-effektiviteten økte – samme totale forespørsler, men bedre fordeling.

Sitemapet ditt er bokstavelig talt en meny for crawlere. Ikke server dem søppel.

Robots.txt-justeringer som kan hjelpe:

Tillat AI-boter eksplisitt:

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

Sett optimal crawl-delay: Ikke bruk crawl-delay for AI-boter med mindre du blir overbelastet. Enhver forsinkelse reduserer crawl-frekvensen.

Blokker seksjoner med lav verdi: Hvis du har seksjoner du ikke vil at AI skal sitere (admin-sider, utskriftsversjoner, osv.), frigjør du crawl-budsjettet for verdifulle sider ved å blokkere dem.

Viktig: Etter endringer i robots.txt, be om re-crawling via Bing Webmaster Tools. Noen AI-systemer henter endringer raskere gjennom Bings indeks.

Utmerket tråd. Her er min handlingsplan:

Umiddelbart (denne uken):

• Rydd opp i robots.txt med eksplisitte AI-bot-tillatelser
• Gå gjennom sitemap og fjern tynne/sider med lav verdi
• Sjekk etter crawl-feil i serverlogger

Kort sikt (denne måneden):

• Øk oppdateringsfrekvensen på de 15 mest-crawlede sidene
• Forbedre TTFB til under 0,5s
• Legg til interne lenker fra høyt-crawlede til lavt-crawlede sider

Mellomlang sikt (3 måneder):

• Lag mer innhold likt våre mest-crawlede sider
• Etabler månedlig oppfriskningsplan for nøkkelinnhold
• Overvåk crawl-frekvensendringer med Am I Cited

Viktig innsikt: Crawl-frekvens er en utdata-metrikk, ikke en input. Du kan ikke be om mer crawling – du fortjener det ved å være verdt det. Fokuser på å gjøre innholdet verdifullt og ferskt, så kommer crawlerne.

Takk alle sammen – dette har vært utrolig praktisk.