AI-bots besøger vores side, men vi bliver ikke citeret. Hvordan fejlsøger jeg crawl-problemer?

Lad mig hjælpe med fejlfinding. Crawling ≠ citation. Her er det diagnostiske framework:

Trin 1: Verificer hvad crawlere faktisk ser

Brug curl med AI user-agent:

curl -A "GPTBot" -s https://yoursite.com/page | head -100

Tjek:

• Vises hele indholdet?
• Er der meta robots eller X-Robots-Tag headers?
• Er indholdet i HTML’en uden behov for JS-eksekvering?

Trin 2: Tjek for skjulte blokeringer

Almindelige problemer:

• noindex meta tag (blokerer indeksering)
• X-Robots-Tag: noindex header
• Canonical peger et andet sted hen
• Indhold indlæses via JavaScript efter sideindlæsning
• Login/paywall-detektion, der serverer andet indhold til bots

Trin 3: Indholdskvalitetstjek

Hvis crawling er i orden, er problemet indholdet:

• Er det virkelig unikt, eller en variation af almindeligt indhold?
• Er det struktureret til AI-udtræk?
• Har det autoritetssignaler (forfatter, kilder)?
• Er det dækkende nok til at være DEN kilde?

Mest almindelige problem jeg ser:

Teknisk crawling er i orden. Indholdet er bare ikke citat-værdigt. Crawlere besøger, men AI-systemerne vælger bedre kilder.

Forskellen mellem “tilgængelig” og “citerbar” handler om indholdskvalitet og struktur, ikke kun teknisk adgang.

Sådan analyserer jeg AI-crawler-adfærd i logs:

Loganalyse for AI-crawlere:

# Find alle AI-crawler-hits
grep -E "(GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended)" access.log

# Tjek statuskoder
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c

# Se hvilke sider de rammer mest
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn

Hvad du skal kigge efter:

1. Statuskoder

   • 200: Godt, de fik indholdet
   • 301/302: Redirects – tjek de lander et fornuftigt sted
   • 403/404: Problemer – ret omgående
   • 500: Serverfejl – undersøg

2. Crawl-mønstre

   • Hvilke sider bliver crawlet mest?
   • Bliver dine bedste sider besøgt?
   • Er der sider, der aldrig crawles?

3. Crawl-frekvens

   • GPTBot: Som regel flere gange dagligt
   • PerplexityBot: Meget hyppigt (real-time søgning)
   • Hvis ingen hits i ugevis, tjek robots.txt

Almindelige logproblemer:

• CDN skjuler rigtige user agents
• Load balancer fjerner headers
• Logrotation overser crawler-hits

Sørg for, at du ser rå, ufiltrerede logs.

Når du har verificeret teknisk adgang, vil jeg adressere indholdssiden:

Hvorfor AI kan crawle, men ikke citere:

1. Indholdet er generisk “5 tips til bedre e-mailmarketing” – der er 10.000 af dem. AI citerer den bedste, ikke dem alle.

2. Intet udtrækkeligt svar Fortællende indhold uden klare takeaways er svært for AI at citere.

3. Forældet information Hvis dit indhold siger “2023 tendenser”, vælger AI måske nyere kilder.

4. Svage autoritetssignaler Ingen forfatter, ingen kilder, ingen kvalifikationer vist.

5. Dårlig struktur AI har brug for klare sektioner, den kan læse. Flydende tekst er sværere at udtrække.

Diagnostisk test:

Spørg dig selv: Hvis jeg var AI og skulle citere ÉN kilde til dette emne, ville jeg så vælge mit indhold eller en konkurrents?

Vær ærlig. Hvad har konkurrenten, som du ikke har?

Ofte er det:

• Mere omfattende dækning
• Bedre struktur til udtrækning
• Stærkere autoritetssignaler
• Mere opdateret information

Forbedr det, og citationer følger.

Teknisk dybdegående om JavaScript-rendering:

Selv hvis dit hovedindhold er server-renderet, så tjek for:

1. Lazy-loaded indholdssektioner Vigtigt indhold længere nede kan blive indlæst efter første rendering.

// Dette indhold vises måske ikke for crawlere
<div data-lazy="true">Vigtigt indhold her</div>

2. Interaktive elementer der skjuler indhold Tabs, accordions, udvidelige sektioner kan have indhold, som AI ikke kan tilgå.

3. JavaScript-genereret struktureret data Hvis dit schema bliver indsat via JS, ser crawlere det måske ikke.

Testværktøj:

Googles Mobile-Friendly Test viser renderet HTML: https://search.google.com/test/mobile-friendly

Sammenlign det, du ser der, med din faktiske side. Forskelle kan forklare synlighedsproblemer.

Hurtig løsning:

Vis din side med JavaScript deaktiveret. Det, der er synligt der, er det crawlere med sikkerhed ser. Hvis nøglerindhold mangler, er det din udfordring.

Schema-problemer der forhindrer citationer:

Selvom indholdet er synligt, kan dårlig schema skade dig:

1. Ugyldig schema markup Brug Googles Rich Results Test til at validere. Ugyldig schema ignoreres måske helt.

2. Manglende schema Ingen Organization, Article eller FAQ schema betyder, at AI skal gætte din indholdstype.

3. Modstridende schema Flere Organization schemas med forskellig info. AI ved ikke, hvem den skal stole på.

Sådan tester du:

# Hent og tjek for schema
curl -s https://yoursite.com | grep -o 'application/ld+json' | wc -l

Valider derefter hver schema-blok på: https://validator.schema.org/

Almindelige schema-fejl:

• Manglende @context
• Forkert @type
• Ugyldige datofelter
• URL-felter uden http/https
• Manglende påkrævede egenskaber

Ret schema-fejl. AI-systemer bruger schema til at forstå indhold. Ugyldig schema = uklart indhold.

Denne tråd fik mig til at indse: vores problem er ikke teknisk.

Hvad jeg testede:

• curl med AI user-agents: indholdet vises korrekt
• Ingen noindex-tags nogen steder
• Schema validerer korrekt
• JavaScript skjuler ikke nøglerindhold
• Logs viser regelmæssige crawler-besøg med 200-svar

Hvad jeg fandt ved at sammenligne med konkurrenter, der bliver citeret:

Deres indhold har:

• Direkte svar i første afsnit (vores gemmer svaret)
• FAQ-sektioner med schema (vi har ingen af delene)
• Forfatterbios med kvalifikationer (vores er generiske)
• Sammenligningstabeller (vi bruger fortællende afsnit)
• Opdaterede datoer (vores er ikke rørt i 18 måneder)

Min handlingsplan:

1. Stop med at fejlsøge tekniske problemer (de er ikke problemet)
2. Fokusér på indholdskvalitet og struktur
3. Tilføj FAQ-sektioner med schema
4. Omstrukturer til direkte svar
5. Tilføj forfatterkvalifikationer
6. Opdatér forældet indhold

Kerneindsigt:

Crawling virker + ingen citation = problem med indholdskvalitet/struktur, ikke teknisk problem.

Jeg fejlsøgte på det forkerte lag. Tak til alle!