Jak sprawdzić, czy AI crawlery faktycznie mają dostęp do mojej strony? Potrzebny przewodnik testowania

Kompletny przewodnik testowania:

Krok 1: Sprawdzenie robots.txt

Sprawdź swój robots.txt pod adresem yourdomain.com/robots.txt

Szukaj:

# Dobrze - Jawne zezwolenie dla AI crawlerów
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

Uwaga na:

# Źle - Wildcard blokujący wszystkie niesprecyzowane boty
User-agent: *
Disallow: /

# Źle - Jawne blokowanie AI crawlerów
User-agent: GPTBot
Disallow: /

Krok 2: Tester robots.txt

Użyj testera robots.txt Google lub narzędzi online. Testuj z tymi user agentami:

• GPTBot
• PerplexityBot
• ClaudeBot
• anthropic-ai

Wprowadź kluczowe adresy URL i sprawdź, czy są dozwolone.

Krok 3: Analiza logów serwera

Szukaj w logach sygnatur AI botów. Szczegóły w kolejnej odpowiedzi.

Typowe problemy blokujące AI crawlery:

1. Wildcard w robots.txt

User-agent: *
Disallow: /

To blokuje WSZYSTKIE niesprecyzowane boty, w tym AI crawlery.

Napraw:

User-agent: Googlebot
Allow: /

User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: *
Disallow: /

2. Ograniczanie liczby żądań (rate limiting) Agresywne limity mogą blokować IP crawlerów. Sprawdź, czy Twój WAF lub CDN blokuje.

3. Blokady IP Niektóre wtyczki bezpieczeństwa blokują „podejrzane” IP. IP crawlerów AI mogą być oznaczone.

4. Wymóg logowania Jakikolwiek wymóg logowania blokuje crawlery. Upewnij się, że treści publiczne są naprawdę publiczne.

5. Renderowanie JavaScript Treść renderowana tylko przez JS może być niewidoczna. AI crawlery mogą nie wykonywać pełnego JavaScriptu.

6. Wolna odpowiedź Strony ładujące się powyżej 5-10 sekund mogą powodować timeout. Crawlery mogą zrezygnować.

Testowanie każdego przypadku:

• robots.txt: Bezpośrednie sprawdzenie URL
• Ograniczanie żądań: Sprawdź logi WAF/CDN
• Blokady IP: Test z różnych IP
• Autoryzacja: Przeglądanie anonimowe
• JS: Porównaj źródło strony z widokiem renderowanym
• Szybkość: GTmetrix lub podobne

Pełna lista user agentów AI crawlerów:

OpenAI:

GPTBot

Używany do trenowania i przeglądania przez ChatGPT.

Perplexity:

PerplexityBot

Używany przez wyszukiwarkę Perplexity AI.

Anthropic:

ClaudeBot
anthropic-ai

Używany przez Claude AI.

Google:

Google-Extended

Używany do trenowania Google AI/Gemini.

Common Crawl:

CCBot

Używany przez wiele systemów AI do trenowania danych.

Twój robots.txt powinien uwzględniać:

# AI Crawlery
User-agent: GPTBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: CCBot
Allow: /

Jeśli chcesz zablokować konkretnego, użyj Disallow. Większość firm chce zezwolić wszystkim.

Narzędzia online do testowania:

1. Tester robots.txt Google (W Search Console)

• Podaj własny user agent
• Testuj konkretne adresy URL
• Zobacz wynik allow/disallow

2. Narzędzia typu SEO Spider

• Screaming Frog
• Sitebulb
• DeepCrawl Potrafią crawlować jako określone user agenty.

3. Testowanie ręczne

# Testuj za pomocą curl jako GPTBot
curl -A "GPTBot" https://yoursite.com/page

# Sprawdź kod odpowiedzi
curl -I -A "GPTBot" https://yoursite.com/page

4. Walidatory robots.txt

• Tester robots.txt Google
• robots.txt Validator (wiele dostępnych online)
• Narzędzia sprawdzające składnię

Co testować:

• Strona główna
• Kluczowe strony z treścią
• Wpisy na blogu
• Strony produktów
• Strony FAQ

Przetestuj explicite najważniejsze strony.

Jeśli nie czujesz się pewnie z linią poleceń:

Graficzne narzędzia analizy logów:

• GoAccess (darmowy, wizualny analizator logów)
• AWStats (klasyczny analizator logów)
• Matomo (analityka self-hosted)

Chmurowa analiza logów:

• Cloudflare Analytics (jeśli używasz CF)
• AWS CloudWatch (jeśli na AWS)
• Google Cloud Logging

Usługi zewnętrzne:

• Loggly
• Papertrail
• Datadog

Na co zwracać uwagę: Utwórz filtr/wyszukiwanie dla user agentów AI botów. Ustaw alerty na odpowiedzi 403/500 dla AI botów. Śledź trendy w czasie.

Proste metryki dashboardu:

• Wizyty AI botów dziennie
• Najczęściej crawl’owane strony
• Wskaźnik błędów
• Trendy crawlowań

Jeśli przez 2+ tygodnie nie ma ruchu AI botów, coś jest nie tak.

CDN i WAF często blokują AI crawlery:

Cloudflare:

• Bot Fight Mode może blokować AI boty
• Sprawdź Security > Bots settings
• Dodaj wyjątki dla IP AI crawlerów w razie potrzeby

AWS CloudFront/WAF:

• Zasady AWS WAF mogą blokować
• Sprawdź logi WAF pod kątem zablokowanych żądań
• Dodaj reguły allow dla AI botów

Akamai:

• Ustawienia Bot Managera
• Może wymagać jawnego allowlistowania

Jak sprawdzić:

1. Sprawdź logi CDN/WAF, nie tylko logi serwera
2. Sprawdź żądania zablokowane/wystawione na wyzwanie
3. Wyszukaj konkretne user agenty AI botów

Z naszych obserwacji: Bot Fight Mode w Cloudflare blokował GPTBot. Wyłączony dla AI crawlerów. Pierwsze wizyty GPTBot w ciągu 24 godzin.

Sprawdź warstwę edge, nie tylko origin.

Miesięczna rutyna sprawdzania dostępności AI crawlerów:

Cotygodniowy szybki przegląd (5 min):

1. Szybkie przeszukanie logów pod kątem AI botów
2. Zwróć uwagę na odpowiedzi błędów
3. Sprawdź trend liczby odwiedzin

Miesięczna szczegółowa kontrola (30 min):

1. Audyt robots.txt

   • Czy nadal zezwalasz AI crawlerom?
   • Czy pojawiły się nowe reguły blokujące?

2. Analiza logów

   • Które AI boty odwiedzają stronę?
   • Które strony są najczęściej crawl’owane?
   • Czy są wzorce błędów?

3. Sprawdzenie szybkości stron

   • Czy kluczowe strony są nadal szybkie?
   • Czy pojawiły się nowe problemy z wydajnością?

4. Dostępność treści

   • Nowe ściany logowania?
   • Nowe treści zależne od JS?
   • Nowe przekierowania?

5. Przegląd CDN/WAF

   • Nowe reguły bezpieczeństwa?
   • Wzorce zablokowanych żądań?

Dokumentowanie wyników: Stwórz prosty arkusz do śledzenia:

• Data
• Widziane AI boty
• Liczba odwiedzin
• Wykryte problemy
• Podjęte działania

To pozwala wychwycić problemy, zanim staną się niewidoczne.

Jeśli nie widzisz żadnych wizyt AI crawlerów:

Lista kontrolna rozwiązywania problemów:

1. Zweryfikuj, że robots.txt pozwala na dostęp ✓ Brak Disallow dla AI botów ✓ Brak blokady wildcard

2. Sprawdź dostępność serwera ✓ Strona ładuje się z różnych IP ✓ Brak blokady geolokalizacyjnej

3. Przejrzyj CDN/WAF ✓ Ochrona przed botami nie blokuje ✓ Brak blokady IP AI botów

4. Sprawdź szybkość strony ✓ Strony ładują się poniżej 3 sekund ✓ Brak problemów z timeoutem

5. Zweryfikuj dostępność HTML ✓ Treść widoczna bez JS ✓ Brak wymogu logowania

6. Sprawdź sitemapę ✓ Sitemap istnieje i jest poprawna ✓ Ważne strony uwzględnione

7. Sygnały zewnętrzne ✓ Strona ma linki z zewnątrz ✓ Jakaś obecność w sieci poza własną domeną

Jeśli wszystko się zgadza, a wizyt nadal brak: Być może Twoja strona nie została jeszcze odkryta. Buduj sygnały zewnętrzne, by przyciągnąć uwagę.

Typowy czas pierwszej wizyty:

• Nowa strona: 2-4 tygodnie po pojawieniu się w sieci
• Strona istniejąca po zmianach: 1-2 tygodnie po poprawkach
• Dobrze linkowana: Wizyty codzienne

Idealnie. Teraz mam prawidłowy framework testowania.

Mój plan testów:

Dziś:

1. Sprawdzić robots.txt pod /robots.txt
2. Zweryfikować, że AI crawlery są explicite dozwolone
3. Przetestować komendą curl

W tym tygodniu:

1. Przeanalizować logi serwera pod kątem wizyt AI botów
2. Sprawdzić CDN/WAF pod kątem blokowania
3. Ustawić monitoring logów dla AI botów

Miesięcznie:

1. Przegląd trendów wizyt AI crawlerów
2. Sprawdzić, czy pojawiają się błędy
3. Zweryfikować utrzymanie szybkości strony
4. Audytować nowe zmiany w robots.txt

Zidentyfikowane działania:

• Dodać jawne Allow dla AI crawlerów
• Sprawdzić Cloudflare Bot Management
• Ustawić automatyczne alerty z logów

Kluczowy wniosek: Testowanie dostępu to nie jednorazowa czynność. Nowe reguły, nowe zabezpieczenia mogą zablokować dostęp. Regularny monitoring pozwala szybko wykryć problemy.

Dzięki wszystkim – to framework testowania, którego potrzebowałem.