Gjennomførte nettopp en revisjon av en kundes nettsted og oppdaget noe interessant.
Oppdagelsen:
Deres robots.txt har blokkert AI-crawlere i over 2 år:
User-agent: *
Disallow: /private/
# Dette ble lagt til av sikkerhetsplugin i 2023
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
Effekt:
Nå lurer jeg på:
Spørsmål til fellesskapet:
Ser etter praktiske konfigurasjoner, ikke bare teori.
Dette er mer vanlig enn folk tror. La meg forklare crawlerne:
Typer AI-crawlere:
| Crawler | Selskap | Formål | Anbefaling |
|---|---|---|---|
| GPTBot | OpenAI | Modelltrening | Valgfritt |
| ChatGPT-User | OpenAI | Sanntidssøk | Tillat |
| ClaudeBot | Anthropic | Sanntidssiteringer | Tillat |
| Claude-Web | Anthropic | Nettsurfing | Tillat |
| PerplexityBot | Perplexity | Søkeindeks | Tillat |
| Perplexity-User | Perplexity | Brukerforespørsler | Tillat |
| Google-Extended | Gemini/AI-funksjoner | Tillat |
Viktig forskjell:
De fleste selskaper:
Tillater søkecrawlere (du ønsker siteringer) og tar en forretningsbeslutning om treningscrawlere.
Anbefalt robots.txt:
# Tillat AI-søkecrawlere
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
Allow: /
# Blokker trening hvis ønskelig (valgfritt)
User-agent: GPTBot
Disallow: /
Sitemap: https://dittnettsted.com/sitemap.xml
Viktig tillegg: verifiser at crawlerne faktisk blir blokkert, og ikke bare ikke besøker.
Slik sjekker du:
Hva vi fant hos en kunde:
robots.txt tillot GPTBot, men Cloudflares sikkerhetsregler blokkerte den som “mistenkelig bot”.
Brannmurkonfigurasjon for AI-boter:
Hvis du bruker Cloudflare:
robots.txt er nødvendig, men ikke tilstrekkelig.
Sjekk alle lagene i stacken din.
La meg forklare llms.txt siden du spurte:
Hva er llms.txt:
En ny standard (foreslått 2024) som gir AI-systemer en strukturert oversikt over nettstedet ditt. Tenk på det som en innholdsfortegnelse spesifikt for språkmodeller.
Plassering: dittnettsted.com/llms.txt
Grunnstruktur:
# Ditt firmanavn
> Kort beskrivelse av firmaet ditt
## Kjernesider
- [Hjem](https://dittnettsted.com/): Hovedside
- [Produkter](https://dittnettsted.com/produkter): Produktkatalog
- [Priser](https://dittnettsted.com/priser): Prisinformasjon
## Ressurser
- [Blogg](https://dittnettsted.com/blogg): Bransjeinnsikt
- [Dokumentasjon](https://dittnettsted.com/docs): Tekniske dokumenter
- [FAQ](https://dittnettsted.com/faq): Vanlige spørsmål
## Support
- [Kontakt](https://dittnettsted.com/kontakt): Ta kontakt
Hvorfor det hjelper:
AI-systemer har begrensede kontekstvinduer. De kan ikke crawlere hele nettstedet ditt og forstå det. llms.txt gir dem et kuratert kart.
Våre resultater etter implementering:
Distinksjonen mellom trening og søk fortjener mer oppmerksomhet.
Det filosofiske spørsmålet:
Vil du at innholdet ditt skal trene AI-modeller?
Argumenter for å tillate trening:
Argumenter mot:
Hva utgivere gjør:
| Utgivertype | Trening | Søk |
|---|---|---|
| Nyhetssider | Blokker | Tillat |
| SaaS-selskaper | Tillat | Tillat |
| E-handel | Varierer | Tillat |
| Byråer | Tillat | Tillat |
Min anbefaling:
De fleste B2B-selskaper bør tillate begge. Siteringsfordelen oppveier treningsbekymringen.
Hvis du er innholdspublisist med lisensverdi, vurder å blokkere trening og tillate søk.
La meg dele faktiske resultater fra deblokkering av AI-crawlere:
Kunde A (SaaS):
Før: GPTBot blokkert, 0 AI-siteringer Etter: GPTBot + alle crawlere tillatt
| Metrikk | Før | 30 dager | 90 dager |
|---|---|---|---|
| AI-siteringer | 0 | 12 | 47 |
| AI-henvist trafikk | 0 | 0,8 % | 2,3 % |
| Merkesøk | basis | +8 % | +22 % |
Kunde B (E-handel):
Før: Alle AI blokkert Etter: Søkecrawlere tillatt, trening blokkert
| Metrikk | Før | 30 dager | 90 dager |
|---|---|---|---|
| Produktsiteringer | 0 | 34 | 89 |
| AI-henvist trafikk | 0 | 1,2 % | 3,1 % |
| Produktsøk | basis | +15 % | +28 % |
Tidslinjen:
Viktig innsikt:
Deblokkering gir ikke umiddelbare resultater. Det tar 4-8 uker å se betydelig effekt.
Sikkerhetsperspektiv på AI-crawlere:
Legitime bekymringer:
Hvordan begrense risiko:
Verifiser crawler-identitet:
Rate limiting (per crawler):
GPTBot: 100 forespørsler/minutt
ClaudeBot: 100 forespørsler/minutt
PerplexityBot: 100 forespørsler/minutt
Overvåk etter avvik:
Offisielle IP-intervaller:
Hver AI-bedrift publiserer sine crawler-IP-er:
Verifiser mot disse før du hvitlister.
For WordPress-brukere – vanlige blokkeringer jeg har sett:
Sikkerhetsplugins som blokkerer AI:
Slik sjekker du:
WordPress robots.txt:
WordPress genererer robots.txt dynamisk. For å tilpasse:
Alternativ 1: Bruk Yoast SEO → Verktøy → Filredigering Alternativ 2: Opprett fysisk robots.txt i rot (overstyrer) Alternativ 3: Bruk plugin som “Robots.txt Editor”
Vår standard WordPress-konfigurasjon:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
Sitemap: https://dittnettsted.com/sitemap.xml
God WordPress-dekning. Legger til: hvordan lage llms.txt for WordPress.
Alternativ 1: Statisk fil
Opprett llms.txt i temaets rot og last opp til public_html/
Alternativ 2: Plugin-løsning
Flere plugins støtter nå llms.txt-generering:
Alternativ 3: Kodesnutt
// I functions.php
add_action('init', function() {
if ($_SERVER['REQUEST_URI'] == '/llms.txt') {
header('Content-Type: text/plain');
// Skriv ut ditt llms.txt-innhold
exit;
}
});
Beste praksis:
Hold llms.txt oppdatert når du:
Statisk fil er enklest, men krever manuelle oppdateringer.
Når du har deblokkert, slik overvåker du AI-crawleraktivitet:
Hva du bør spore:
| Metrikk | Hvor finner du den | Hva det forteller deg |
|---|---|---|
| Crawl-frekvens | Serverlogger | Hvor ofte boter besøker |
| Crawlede sider | Serverlogger | Hvilket innhold de indekserer |
| Crawl-feil | Serverlogger | Blokkeringsproblemer |
| AI-siteringer | Am I Cited | Om crawling gir synlighet |
Analyse av serverlogger:
Se etter disse user-agent-mønstrene:
Enkel grep-kommando:
grep -E "GPTBot|ClaudeBot|PerplexityBot|Google-Extended" access.log
Hva sunn aktivitet ser ut som:
Røde flagg:
Denne diskusjonen ga meg alt jeg trengte. Her er vår implementeringsplan:
Oppdatert robots.txt:
# Tillat AI-søkecrawlere (siteringer)
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
Allow: /
# Treningscrawler – tillates foreløpig
User-agent: GPTBot
Allow: /
# Standardregler
User-agent: *
Disallow: /private/
Disallow: /admin/
Sitemap: https://klientnettsted.com/sitemap.xml
llms.txt-implementering:
Opprettet strukturert oversikt over klientsiden med:
Brannmur-oppdateringer:
Overvåkingsoppsett:
Tidslinjeforventninger:
Suksessmetrikker:
Takk til alle for de tekniske detaljene og virkelige konfigurasjoner.
Get personalized help from our team. We'll respond within 24 hours.
Spor hvilke AI-boter som crawler nettstedet ditt og hvordan innholdet ditt vises i AI-genererte svar. Se effekten av crawlerkonfigurasjonen din.
Diskusjon i fellesskapet om hvilke AI-crawlere man bør tillate eller blokkere. Virkelige avgjørelser fra nettredaktører om GPTBot, PerplexityBot og andre AI-cra...
Diskusjon i fellesskapet om hvorvidt man bør tillate GPTBot og andre AI-crawlere. Nettstedseiere deler erfaringer, synlighetseffekter og strategiske vurderinger...
Diskusjon i fellesskapet om feilsøking av AI-crawler-problemer og synlighetsutfordringer. Ekte erfaringer fra utviklere og SEO-spesialister om å diagnostisere h...
Informasjonskapselsamtykke
Vi bruker informasjonskapsler for å forbedre din surfeopplevelse og analysere vår trafikk. See our privacy policy.