AI-boter besøker siden vår, men vi blir ikke sitert. Hvordan feilsøker jeg problemer med crawling?

La meg hjelpe deg å feilsøke dette. Crawling ≠ sitering. Her er rammeverket for diagnostikk:

Steg 1: Verifiser hva crawlerne faktisk ser

Bruk curl med AI user-agent:

curl -A "GPTBot" -s https://dinside.com/side | head -100

Sjekk:

• Vises hele innholdet?
• Er det noen meta robots- eller X-Robots-Tag-headere?
• Er innholdet i HTML-en, uten krav om JS-kjøring?

Steg 2: Se etter skjulte blokkeringer

Vanlige problemer:

• noindex meta-tag (blokkerer indeksering)
• X-Robots-Tag: noindex-header
• Canonical peker et annet sted
• Innhold lastes via JavaScript etter sideinnlasting
• Innlogging/betalingsmur detekterer bot og serverer annet innhold

Steg 3: Sjekk innholdskvalitet

Hvis crawling fungerer, er problemet innholdet:

• Er det virkelig unikt, eller en variasjon av vanlig innhold?
• Er det strukturert for AI-uttrekk?
• Har det autoritetssignaler (forfatter, kilder)?
• Er det omfattende nok til å være DEN kilden?

Det vanligste jeg ser:

Teknisk crawling er i orden. Innholdet er bare ikke sitatverdig. Crawlerne besøker, men AI-systemene velger bedre kilder.

Gapet mellom “tilgjengelig” og “sitatverdig” handler om innholdskvalitet og struktur, ikke bare teknisk tilgang.

Slik analyserer jeg AI-crawleratferd i logger:

Logganalyse for AI-crawlere:

# Finn alle AI-crawler-treff
grep -E "(GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended)" access.log

# Sjekk statuskoder
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c

# Se hvilke sider de besøker mest
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn

Dette bør du se etter:

1. Statuskoder

   • 200: Bra, de fikk innholdet
   • 301/302: Omdirigeringer – sjekk at de lander et nyttig sted
   • 403/404: Problemer – fiks med en gang
   • 500: Serverfeil – undersøk

2. Crawl-mønstre

   • Hvilke sider blir crawlet mest?
   • Besøkes de beste sidene dine?
   • Er det sider som aldri blir crawlet?

3. Crawl-frekvens

   • GPTBot: Vanligvis flere ganger daglig
   • PerplexityBot: Veldig ofte (sanntidssøk)
   • Ingen treff på flere uker? Sjekk robots.txt

Vanlige loggproblemer:

• CDN skjuler ekte user agents
• Load balancer fjerner headere
• Loggrotasjon mister crawler-treff

Sørg for å se rå, ufiltrerte logger.

Siden du har verifisert teknisk tilgang, lar meg adressere innholdssiden:

Hvorfor AI kan crawle men ikke sitere:

1. Innholdet er generisk “5 tips for bedre e-postmarkedsføring” – det finnes 10 000 slike. AI siterer den beste, ikke alle.

2. Ingen uttrekkbart svar Fortellende innhold uten klare konklusjoner er vanskelig for AI å sitere.

3. Utdatert informasjon Hvis innholdet sier “2023-trender”, vil AI foretrekke oppdaterte kilder.

4. Svake autoritetssignaler Ingen forfatter, ingen kilder, ingen kompetanse vist.

5. Dårlig struktur AI trenger tydelige seksjoner å tolke. Flytende tekst er vanskeligere å trekke ut.

Diagnosetest:

Spør deg selv: Hvis jeg var AI og skulle sitere ÉN kilde om dette temaet, ville jeg valgt mitt innhold eller en konkurrents?

Vær ærlig. Hva har konkurrenten som du ikke har?

Ofte er det:

• Mer omfattende dekning
• Bedre struktur for uttrekk
• Sterkere autoritetssignaler
• Mer oppdatert informasjon

Forbedre dette, så kommer siteringene.

Teknisk dypdykk i JavaScript-rendering:

Selv om hovedinnholdet er serverrendret, sjekk for:

1. Lazy-loadede innholdsseksjoner Viktig innhold under folden kan lastes inn etter første rendering.

// Dette innholdet vises kanskje ikke for crawlere
<div data-lazy="true">Viktig innhold her</div>

2. Interaktive elementer som skjuler innhold Faner, akordioner, utvidbare seksjoner kan ha innhold AI ikke får tilgang til.

3. JavaScript-generert strukturert data Hvis schema injiseres via JS, kan crawlerne gå glipp av det.

Testverktøy:

Googles Mobilvennlig Test viser rendret HTML: https://search.google.com/test/mobile-friendly

Sammenlign det du ser der mot faktisk side. Eventuelle forskjeller kan forklare synlighetsproblemer.

Rask løsning:

Se på siden din med JavaScript deaktivert. Alt som er synlig da, er det crawlerne definitivt ser. Hvis nøkkelinnhold mangler, er det der problemet ligger.

Schema-problemer som hindrer siteringer:

Selv om innholdet er synlig, kan dårlig schema skade deg:

1. Ugyldig schema-markup Bruk Googles Rich Results Test for å validere. Ugyldig schema kan ignoreres helt.

2. Manglende schema Ingen Organization-, Article- eller FAQ-schema gjør at AI må gjette innholdstypen din.

3. Motstridende schema Flere Organization-schemaer med ulik info. AI vet ikke hvem den skal stole på.

Slik tester du:

# Hent og sjekk etter schema
curl -s https://dinside.com | grep -o 'application/ld+json' | wc -l

Deretter valider hver schema-blokk på: https://validator.schema.org/

Vanlige schema-feil:

• Mangler @context
• Feil @type
• Ugyldige datoformater
• URL-felt uten http/https
• Mangler påkrevde egenskaper

Fiks schema-feil. AI-systemer tolker schema for å forstå innhold. Ugyldig schema = uklart innhold.

Denne tråden fikk meg til å innse: problemet vårt er ikke teknisk.

Dette har jeg testet:

• curl med AI user-agents: innholdet rendrer riktig
• Ingen noindex-tagger noe sted
• Schema validerer korrekt
• JavaScript skjuler ikke nøkkelinnhold
• Logger viser jevnlig crawler-besøk med 200

Dette fant jeg da jeg sammenlignet med konkurrenter som blir sitert:

Deres innhold har:

• Direkte svar i første avsnitt (vi gjemmer svaret)
• FAQ-seksjoner med schema (vi har ingen av delene)
• Forfatterbio med kompetanse (våre er generiske)
• Sammenligningstabeller (vi bruker fortellende avsnitt)
• Oppdaterte datoer (våre har ikke vært rørt på 18 måneder)

Min handlingsplan:

1. Slutt å feilsøke tekniske problemer (det er ikke problemet)
2. Fokuser på innholdskvalitet og struktur
3. Legg til FAQ-seksjoner med schema
4. Omstrukturer for direkte svar
5. Legg til forfatterkompetanse
6. Oppdater gammelt innhold

Viktig innsikt:

Crawling fungerer + ingen siteringer = innholdskvalitet/-struktur-problem, ikke teknisk problem.

Jeg feilsøkte feil lag. Takk alle sammen!