Czy ktoś faktycznie skonfigurował robots.txt dla crawlerów AI? Wskazówki w internecie są bardzo rozbieżne

Zarządzam robots.txt dla około 40 dużych serwisów. Oto podział, który naprawdę ma znaczenie:

Poziom 1 – koniecznie skonfiguruj:

• GPTBot – crawler treningowy OpenAI
• ChatGPT-User – tryb przeglądania ChatGPT
• ClaudeBot – crawler Anthropic
• Google-Extended – trening Google Gemini
• PerplexityBot – indeks Perplexity

Poziom 2 – warto rozważyć:

• anthropic-ai – dodatkowy crawler Anthropic
• OAI-SearchBot – indeksator OpenAI
• CCBot – Common Crawl (wykorzystywany przez wiele firm AI)

Co robimy:

User-agent: GPTBot
Allow: /blog/
Allow: /resources/
Disallow: /pricing/
Disallow: /admin/

User-agent: PerplexityBot
Allow: /

Kluczowa obserwacja: PerplexityBot to jedyny, któremu zawsze pozwalam w pełni – bo faktycznie cytuje Twoje strony z linkami. Blokowanie go to strzał w stopę bez żadnych korzyści.

Zrobiliśmy ogromny błąd, blokując wszystkie crawlery AI w zeszłym roku na podstawie porad typu „ochrona treści”.

Co się stało:

• Ruch organiczny pozostał bez zmian (Google nie przejmuje się blokadami crawlerów AI)
• Klienci zaczęli pytać „dlaczego nie pojawiamy się, gdy pytam ChatGPT o naszą branżę?”
• Konkurenci, którzy pozwolili crawlerom, byli cytowani cały czas

Teraz zmieniliśmy podejście i zezwalamy wszystkim głównym crawlerom AI. Argument o „ochronie” przestał mieć sens, kiedy zrozumieliśmy:

1. Dane treningowe już zostały zebrane
2. Blokowanie dostępu w czasie rzeczywistym po prostu czyni nas niewidzialnymi
3. Nie ma dowodów, że blokowanie cokolwiek faktycznie chroni

Jedyny wyjątek stanowią naprawdę zastrzeżone treści za autoryzacją – te strony i tak były zablokowane.

Inna perspektywa z branży mocno regulowanej (technologie medyczne).

Mamy uzasadnione powody, by kontrolować dostęp AI do pewnych treści:

• Dokumentacja związana z pacjentami
• Wewnętrzne procesy, które przypadkowo zostały zaindeksowane
• Cenniki i warunki umów

Nasze podejście:

Stworzyliśmy system warstwowy:

1. Treści marketingowe publiczne – zezwalamy wszystkim crawlerom AI
2. Dokumentacja produktu – zezwalamy, ale monitorujemy przez Am I Cited, co jest cytowane
3. Wrażliwe dane biznesowe – blokujemy wszystkie crawlery
4. Strony wewnętrzne – blokada plus autoryzacja

Klucz to świadome podejście. „Zablokuj wszystko” i „zezwól na wszystko” to leniwe rozwiązania. Zmapuj treści, ustal, co każda kategoria powinna robić dla Twojej firmy i skonfiguruj odpowiednio.

Porada, która zajęła mi zbyt dużo czasu:

Przetestuj robots.txt z faktycznymi user-agentami crawlerów.

Myślałem, że wszystko jest dobrze ustawione, dopóki nie sprawdziłem logów serwera i nie zobaczyłem, że niektóre crawlery AI nie pasują do moich reguł, bo miałem literówki w nazwach user-agentów.

„GPT-Bot” to nie to samo co „GPTBot” – zgadnijcie, którą wersję miałem źle przez 3 miesiące?

Użyj testera robots.txt od Google albo narzędzi wiersza poleceń, żeby sprawdzić, czy każda reguła pasuje tak, jak oczekujesz.

Oto moja standardowa rekomendacja dla większości firm:

Domyślnie pozwalaj, ograniczaj strategicznie.

Firmy, które faktycznie korzystają na blokowaniu, to rzadkie przypadki:

• Wydawcy treści premium obawiający się streszczeń AI
• Firmy z naprawdę zastrzeżoną wiedzą techniczną
• Organizacje w sporach prawnych dotyczących treningu AI

Dla reszty kalkulacja jest prosta: widoczność w AI to rosnące źródło ruchu. Sam Perplexity to ponad 200 mln zapytań miesięcznie. Bycie tam niewidzialnym to strategiczna strata.

Mój standardowy config dla klientów:

# Zezwól wszystkim crawlerom AI na dostęp do treści publicznych
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Google-Extended
Allow: /

# Ogranicz obszary wrażliwe
Disallow: /admin/
Disallow: /internal/
Disallow: /api/

Jedna rzecz, o której nikt nie wspomina: monitorowanie co się dzieje po konfiguracji.

Ustawiłem alerty na ruch botów AI w naszych statystykach. Zauważyłem ciekawe wzorce:

• GPTBot odwiedza nas ok. 500 razy dziennie
• PerplexityBot około 200 razy dziennie
• ClaudeBot zaskakująco rzadko, może 50 razy dziennie

Te dane pomagają mi zrozumieć, które platformy AI faktycznie indeksują nasze treści. Łącząc to z narzędziami do śledzenia cytowań w AI, widzę cały łańcuch od robots.txt > crawling AI > cytowania AI.

Bez tego monitoringu to tylko zgadywanie wpływu.

Perspektywa wydawcy. Prowadzimy serwis newsowy/analityczny z ponad 10 tys. artykułów.

Czego nauczyliśmy się na własnej skórze:

Blokowanie crawlerów AI zaszkodziło nam w niespodziewany sposób:

1. Nasze artykuły przestały pojawiać się w AI-generowanych streszczeniach branżowych
2. Konkurenci, którzy pozwolili crawlerom, stali się „autorytatywnym źródłem”
3. Gdy ktoś pytał ChatGPT o nasze relacje, pojawiała się informacja, że nie może pobrać naszych treści

Argument „ochrony” zakłada, że AI kradnie Twoje treści. W rzeczywistości AI cytuje i napędza ruch do treści, do których ma dostęp. Blokowanie oznacza po prostu, że nie bierzesz udziału w tej rozmowie.

Teraz pozwalamy wszystkim crawlerom AI i używamy Am I Cited do monitorowania cytowań. Nasz ruch z AI wzrósł o 340% od czasu tej zmiany.

Ta dyskusja była niezwykle pomocna. Podsumowanie, co wdrażam na podstawie Waszych odpowiedzi:

Zmiany natychmiastowe:

1. Zezwolić wszystkim głównym crawlerom AI (GPTBot, ClaudeBot, PerplexityBot, Google-Extended) na treści publiczne
2. Wyraźnie zablokować wrażliwe ścieżki (/admin, /internal, /pricing na początek)
3. Poprawić literówki w obecnej konfiguracji (wstyd, ale konieczne)

Monitorowanie: 4. Dodać śledzenie ruchu botów AI w logach serwera 5. Ustawić Am I Cited do śledzenia faktycznych cytowań 6. Przegląd za 30 dni, by zobaczyć efekty

Kluczowa obserwacja: blokowanie nie chroni treści już w danych treningowych – ogranicza tylko przyszłą widoczność. A że wyszukiwanie AI rośnie błyskawicznie, widoczność jest ważniejsza niż „ochrona”.

Dzięki wszystkim za realne konfiguracje i doświadczenia.