Czy boty AI niszczą Twój crawl budget? Jak zarządzać GPTBotem i innymi

Crawl budget AI to teraz realny problem. Już to rozkładam na czynniki.

Czym boty AI różnią się od Googlebota:

Problem stosunku crawl/referral:

ClaudeBot skanuje dziesiątki tysięcy stron na jednego odwiedzającego.

GPTBot podobnie – ogromny crawl, minimalny natychmiastowy ruch.

Dlaczego nie powinieneś ich po prostu blokować:

Jeśli zablokujesz boty AI, Twoje treści nie pojawią się w odpowiedziach AI. Konkurenci, którzy pozwolą na crawl, zyskają widoczność.

Strategia: Selektywne zarządzanie, nie blokowanie.

Perspektywa infrastruktury na obciążenie od botów AI.

Nasze pomiary (14-dniowy okres):

Boty AI wykonały mniej zapytań, ale zużyły prawie tyle samo transferu.

Matematyka zasobów:

Boty AI pobierają 2,5x więcej danych na jedno żądanie. Pobierają pełne HTML do trenowania modeli, a nie efektywne incremental crawl jak Google.

Wpływ na serwer:

• Wzrost użycia CPU podczas fali crawlowań AI
• Obciążenie pamięci przez równoczesne zapytania
• Zapytania do bazy przy dynamicznych treściach
• Potencjalny wpływ na realnych użytkowników

Nasze rozwiązanie:

1. Warstwa cache – CDN obsługuje boty AI, chroni serwer źródłowy
2. Ograniczanie prędkości – 2 zapytania/sekundę na bota AI
3. Priorytet kolejkowania – Realni użytkownicy pierwsi, boty drugie
4. Monitoring – Alerty przy wzrostach crawlowań AI

Stan serwera poprawił się o 40% po wdrożeniu tych kontroli.

Perspektywa kompromisu widoczności.

Dylemat:

Zablokuj boty AI = brak obciążenia serwera, brak widoczności w AI Pozwól botom AI = obciążenie serwera, potencjalna widoczność w AI

Co się dzieje po blokadzie:

Przetestowaliśmy blokadę GPTBota na stronie klienta przez 3 miesiące:

• Obciążenie serwera spadło o 22%
• Cytowania AI spadły o 85%
• Zwiększyła się liczba wzmianek konkurencji w ChatGPT
• Cofnięto decyzję w mniej niż 2 miesiące

Lepsze podejście:

Nie blokuj. Zarządzaj.

Hierarchia zarządzania:

1. CDN/caching – pozwól, by edge obsługiwał ruch botów
2. Ograniczanie prędkości – spowolnij, nie zatrzymuj
3. Selektywne blokowanie – blokuj tylko sekcje o niskiej wartości
4. Optymalizacja treści – spraw, by to, co skanują, miało wartość

Kalkulacja ROI:

Jeśli ruch AI konwertuje 5 razy lepiej niż organiczny, nawet niewielki wzrost ruchu z AI po crawl uzasadnia inwestycję w serwer.

Koszt serwera: wzrost o $200/miesiąc Wartość ruchu AI: $2 000/miesiąc Decyzja: pozwolić na crawl

Kluczowa sprawa dotycząca renderowania JavaScriptu.

Problem:

Większość botów AI nie wykonuje JavaScriptu.

Co to oznacza:

Jeśli Twoje treści są renderowane przez JavaScript (React, Vue, Angular SPA), boty AI widzą pustą stronę.

Nasze odkrycie:

Boty AI odwiedzały naszą stronę tysiące razy, ale widziały puste strony. Wszystkie treści ładowały się po stronie klienta.

Rozwiązanie:

Server-side rendering (SSR) dla najważniejszych treści.

Rezultaty:

Ten sam crawl budget, 23x więcej cytowań.

Jeśli korzystasz z frameworka JS, wdroż SSR dla stron, które mają być cytowane przez AI. W przeciwnym razie marnujesz crawl budget na puste strony.

Porady dotyczące analizy logów serwera.

Jak zidentyfikować boty AI:

User-agenty warte uwagi:

• GPTBot
• ChatGPT-User (zapytania w czasie rzeczywistym)
• OAI-SearchBot
• ClaudeBot
• PerplexityBot
• Amazonbot
• anthropic-ai

Sposób analizy:

1. Eksportuj logi z 30 dni
2. Filtrowanie po user-agentach AI
3. Analiza wzorców adresów URL
4. Wyliczenie marnotrawstwa crawl budgetu

Co znaleźliśmy:

60% crawl budgetu AI było marnowane na:

• Wyniki wyszukiwania wewnętrznego
• Paginację powyżej 5. strony
• Strony archiwalne z 2018 roku
• Testowe/stagingowe adresy URL

Rozwiązanie:

Disallow w robots.txt dla tych sekcji.

Efektywność crawl botów AI wzrosła z 40% do 85% użytecznych odwiedzin.

Monitorowanie na bieżąco:

Ustaw dashboardy do śledzenia:

• Ruchu botów AI wg typu
• Najczęściej skanowanych adresów URL
• Czasów odpowiedzi w trakcie crawlowań
• Procentu marnotrawstwa crawl budgetu

Kiedy blokowanie rzeczywiście ma sens.

Uzasadnione powody blokady botów AI:

1. Treści prawne – nieaktualne informacje, których nie należy cytować
2. Treści podlegające regulacjom – materiały z ryzykiem prawnym
3. Dane poufne – tajemnice handlowe, badania
4. Treści wrażliwe – generowane przez użytkowników, dane osobowe

Przykład:

Kancelaria z archiwalnym ustawodawstwem z 2019 r. Jeśli AI zacytuje to jako obowiązujące prawo, klienci mogą być wprowadzeni w błąd. Zablokuj AI dostęp do /archive/legislation/.

Selektywne podejście:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
Disallow: /archived-legal/
Disallow: /user-generated/
Disallow: /internal/
Allow: /

Czego nie blokować:

Cennych treści, bloga, stron produktów, opisów usług. To właśnie one powinny być cytowane przez AI.

Domyślnie:

Pozwalaj, chyba że masz konkretny powód do blokady.

Nowy standard llms.txt.

Czym jest llms.txt?

Podobny do robots.txt, ale dedykowany dla botów AI. Informuje LLM, które treści mogą być wykorzystywane.

Aktualny status:

Początkowa adopcja. Nie wszyscy dostawcy AI jeszcze respektują.

Przykład llms.txt:

# llms.txt
name: Nazwa firmy
description: Czym się zajmujemy
contact: ai@company.com

allow: /products/
allow: /services/
allow: /blog/

disallow: /internal/
disallow: /user-content/

Czy wdrażać już teraz?

Tak – to sygnał nowoczesnego podejścia i wkrótce może być respektowany przez systemy AI.

Przyszłość:

Wraz z rozwojem crawlowań AI pojawią się bardziej zaawansowane narzędzia. Zabezpiecz się wcześniej.

Obecne narzędzie: robots.txt Nadchodzące: llms.txt Przyszłość: Bardziej granularne sterowanie crawlerami AI

Świetna dyskusja. Mój plan zarządzania crawl budgetem AI:

Natychmiast (ten tydzień):

1. Analiza logów serwera pod kątem wzorców botów AI
2. Identyfikacja marnotrawstwa crawl (archiwum, paginacja, wyszukiwanie wewnętrzne)
3. Aktualizacja robots.txt z selektywnymi blokadami
4. Wdrożenie ograniczania prędkości na poziomie CDN

Krótkoterminowo (ten miesiąc):

1. Konfiguracja cachowania CDN dla ruchu botów AI
2. Wdrożenie dashboardów monitorujących
3. Test SSR dla treści JS
4. Utworzenie pliku llms.txt

Na bieżąco:

1. Cotygodniowy przegląd efektywności crawl
2. Monitorowanie liczby cytowań przez AI
3. Regulacja limitów prędkości w miarę obciążenia serwera
4. Śledzenie ruchu referencyjnego AI vs wolumenu crawl

Kluczowe decyzje:

• NIE blokuję botów AI całkowicie – widoczność się liczy
• Ograniczenie prędkości do 2 zapytań/sekundę
• Selektywne blokowanie sekcji o niskiej wartości
• Ochrona CDN dla serwera źródłowego

Równowaga:

Zdrowie serwera jest ważne, ale tak samo istotna jest widoczność w AI. Zarządzaj, nie blokuj.

Dzięki wszystkim – to konkretne i przydatne.