Właśnie przeprowadziłem audyt strony klienta i odkryłem coś ciekawego.
Odkrycie:
Ich robots.txt blokował AI crawlery przez ponad 2 lata:
User-agent: *
Disallow: /private/
# Dodane przez wtyczkę bezpieczeństwa w 2023
User-agent: GPTBot
Disallow: /
User-agent: ChatGPT-User
Disallow: /
Wpływ:
Teraz się zastanawiam:
Pytania do społeczności:
Szukam praktycznych konfiguracji, a nie tylko teorii.
To zdarza się częściej, niż ludzie myślą. Pozwól, że wyjaśnię crawlerów:
Typy AI crawlerów:
| Crawler | Firma | Cel | Rekomendacja |
|---|---|---|---|
| GPTBot | OpenAI | Trening modelu | Według uznania |
| ChatGPT-User | OpenAI | Wyszukiwanie w czasie rzeczywistym | Pozwól |
| ClaudeBot | Anthropic | Cytowania w czasie rzeczywistym | Pozwól |
| Claude-Web | Anthropic | Przeglądanie sieci | Pozwól |
| PerplexityBot | Perplexity | Indeks wyszukiwania | Pozwól |
| Perplexity-User | Perplexity | Żądania użytkownika | Pozwól |
| Google-Extended | Funkcje Gemini/AI | Pozwól |
Kluczowa różnica:
Większość firm:
Pozwala crawlerom wyszukiwania (chcesz cytowań) i podejmuje biznesową decyzję odnośnie crawlerów treningowych.
Rekomendowany robots.txt:
# Zezwól AI crawlerom wyszukiwania
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
Allow: /
# Blokuj trening, jeśli chcesz (opcjonalnie)
User-agent: GPTBot
Disallow: /
Sitemap: https://yoursite.com/sitemap.xml
Ważne uzupełnienie: sprawdź, czy crawlerzy faktycznie są blokowani, a nie po prostu nie odwiedzają.
Jak sprawdzić:
Co znaleźliśmy u jednego klienta:
robots.txt pozwalał GPTBot, ale zasady bezpieczeństwa Cloudflare blokowały go jako “podejrzany bot”.
Konfiguracja firewalla dla AI botów:
Jeśli używasz Cloudflare:
robots.txt jest konieczny, ale niewystarczający.
Sprawdź wszystkie warstwy Twojego stacka.
Pozwól, że wyjaśnię llms.txt, skoro pytałeś:
Czym jest llms.txt:
Nowy standard (proponowany 2024), który daje systemom AI uporządkowany przegląd Twojej strony. Pomyśl o nim jak o spisie treści specjalnie dla modeli językowych.
Lokalizacja: yoursite.com/llms.txt
Podstawowa struktura:
# Nazwa Twojej firmy
> Krótki opis Twojej firmy
## Kluczowe strony
- [Strona główna](https://yoursite.com/): Główne wejście
- [Produkty](https://yoursite.com/products): Katalog produktów
- [Cennik](https://yoursite.com/pricing): Informacje o cenach
## Zasoby
- [Blog](https://yoursite.com/blog): Wgląd w branżę
- [Dokumentacja](https://yoursite.com/docs): Dokumentacja techniczna
- [FAQ](https://yoursite.com/faq): Częste pytania
## Wsparcie
- [Kontakt](https://yoursite.com/contact): Skontaktuj się
Dlaczego pomaga:
Systemy AI mają ograniczone okna kontekstu. Nie mogą przeindeksować całej Twojej strony i ją zrozumieć. llms.txt daje im wyselekcjonowaną mapę.
Nasze wyniki po wdrożeniu:
Różnica między treningiem a wyszukiwaniem zasługuje na więcej uwagi.
Filozoficzne pytanie:
Czy chcesz, by Twoje treści trenowały modele AI?
Argumenty za zezwoleniem na trening:
Argumenty przeciw:
Co robią wydawcy:
| Typ wydawcy | Trening | Wyszukiwanie |
|---|---|---|
| Serwisy newsowe | Blokują | Pozwalają |
| Firmy SaaS | Pozwalają | Pozwalają |
| E-commerce | Różnie | Pozwalają |
| Agencje | Pozwalają | Pozwalają |
Moja rekomendacja:
Większość firm B2B powinna pozwolić na oba. Korzyść z cytowań przewyższa obawę o trening.
Jeśli jesteś wydawcą z wartością licencyjną treści, rozważ blokadę treningu przy jednoczesnym pozwoleniu na wyszukiwanie.
Podzielę się rzeczywistymi wynikami po odblokowaniu AI crawlerów:
Klient A (SaaS):
Przed: GPTBot zablokowany, 0 cytowań AI Po: GPTBot + wszystkie crawlery dozwolone
| Metrika | Przed | 30 dni | 90 dni |
|---|---|---|---|
| Cytowania AI | 0 | 12 | 47 |
| Ruch z AI | 0 | 0,8% | 2,3% |
| Wyszukiwania marki | baza | +8% | +22% |
Klient B (e-commerce):
Przed: Wszystko zablokowane Po: Crawlery wyszukiwania dozwolone, trening zablokowany
| Metrika | Przed | 30 dni | 90 dni |
|---|---|---|---|
| Cytowania produktów | 0 | 34 | 89 |
| Ruch z AI | 0 | 1,2% | 3,1% |
| Wyszukiwania produktów | baza | +15% | +28% |
Harmonogram:
Ważna uwaga:
Odblokowanie nie daje natychmiastowych efektów. Wymaga 4-8 tygodni, by zobaczyć wyraźny wpływ.
Bezpieczeństwo a AI crawlery:
Prawdziwe obawy:
Jak ograniczyć ryzyko:
Weryfikuj tożsamość crawlera:
Ograniczanie zapytań (na crawler):
GPTBot: 100 zapytań/minutę
ClaudeBot: 100 zapytań/minutę
PerplexityBot: 100 zapytań/minutę
Monitoruj anomalie:
Oficjalne zakresy IP:
Każda firma AI publikuje IP crawlerów:
Zweryfikuj przed umieszczeniem na białej liście.
Dla użytkowników WordPressa – typowe blokery, które widziałem:
Wtyczki bezpieczeństwa blokujące AI:
Jak sprawdzić:
WordPress robots.txt:
WordPress generuje robots.txt dynamicznie. Aby dostosować:
Opcja 1: Yoast SEO → Narzędzia → Edytor plików Opcja 2: Fizyczny plik robots.txt w katalogu głównym (nadpisuje) Opcja 3: Wtyczka “Robots.txt Editor”
Nasza standardowa konfiguracja WordPress:
User-agent: GPTBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
Sitemap: https://yoursite.com/sitemap.xml
Dobre omówienie WordPressa. Dodam: jak utworzyć llms.txt dla WordPressa.
Opcja 1: Plik statyczny
Utwórz llms.txt w katalogu motywu i załaduj do public_html/
Opcja 2: Wtyczka
Kilka wtyczek już wspiera generowanie llms.txt:
Opcja 3: Fragment kodu
// W functions.php
add_action('init', function() {
if ($_SERVER['REQUEST_URI'] == '/llms.txt') {
header('Content-Type: text/plain');
// Wyświetl zawartość llms.txt
exit;
}
});
Najlepsza praktyka:
Aktualizuj llms.txt, gdy:
Plik statyczny jest najprostszy, ale wymaga ręcznych aktualizacji.
Po odblokowaniu, oto jak monitorować aktywność AI crawlerów:
Co śledzić:
| Metrika | Gdzie znaleźć | Co pokazuje |
|---|---|---|
| Częstotliwość crawl | Logi serwera | Jak często boty odwiedzają |
| Strony crawl | Logi serwera | Jakie treści indeksują |
| Błędy crawl | Logi serwera | Problemy z blokowaniem |
| Cytowania AI | Am I Cited | Czy crawl przekłada się na widoczność |
Analiza logów serwera:
Szukaj user-agentów:
Prosta komenda grep:
grep -E "GPTBot|ClaudeBot|PerplexityBot|Google-Extended" access.log
Zdrowa aktywność wygląda tak:
Sygnalizacje problemów:
Ta dyskusja dała mi wszystko, czego potrzebowałem. Oto nasz plan wdrożenia:
Zaktualizowany robots.txt:
# Zezwól AI crawlerom wyszukiwania (cytowania)
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-Web
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
Allow: /
# Crawler treningowy – tymczasowo pozwalamy
User-agent: GPTBot
Allow: /
# Standardowe zasady
User-agent: *
Disallow: /private/
Disallow: /admin/
Sitemap: https://clientsite.com/sitemap.xml
Wdrożenie llms.txt:
Stworzony uporządkowany przegląd strony klienta z:
Aktualizacje firewalla:
Konfiguracja monitoringu:
Oczekiwany harmonogram:
Mierniki sukcesu:
Dzięki wszystkim za szczegóły techniczne i realne konfiguracje.
Get personalized help from our team. We'll respond within 24 hours.
Śledź, które AI boty crawlą Twoją stronę i jak Twoje treści pojawiają się w odpowiedziach generowanych przez AI. Zobacz wpływ swojej konfiguracji crawlerów.
Dyskusja społeczności na temat konfigurowania robots.txt dla crawlerów AI, takich jak GPTBot, ClaudeBot i PerplexityBot. Rzeczywiste doświadczenia webmasterów i...
Dyskusja społeczności na temat zwiększania częstotliwości wizyt AI crawlerów. Prawdziwe dane i strategie webmasterów, którym udało się zwiększyć liczbę odwiedzi...
Dyskusja społeczności na temat testowania dostępu AI crawlerów do stron internetowych. Praktyczne metody weryfikacji, czy GPTBot, PerplexityBot i inne AI crawle...
Zgoda na Pliki Cookie
Używamy plików cookie, aby poprawić jakość przeglądania i analizować nasz ruch. See our privacy policy.