Gjennomføringstips for selektiv tilnærming:
1. URL-struktur er viktig:
/blog/ (tillat AI)
/resources/guides/ (tillat AI)
/research/reports/ (blokkér AI)
/data/ (blokkér AI)
Ren URL-struktur gjør robots.txt-regler enklere.
2. Eksempler på robots.txt:
User-agent: GPTBot
Disallow: /research/
Disallow: /data/
Allow: /blog/
Allow: /resources/
User-agent: PerplexityBot
Disallow: /research/
Allow: /
3. Overvåk og juster:
- Spor hvilket innhold som blir sitert
- Sjekk at blokkering fungerer
- Juster basert på resultater
4. Optimaliser tillatt innhold:
- Ikke bare tillat – optimaliser aktivt for siteringer
- Strukturér for AI-uttrekk
- Inkluder siterbare fakta og funn
Den selektive tilnærmingen krever mer styring, men gir det beste fra begge verdener.