Zespół marketingu panikuje, bo mamy zerową widoczność w AI. Poprosili mnie, żebym sprawdziła, czy boty AI w ogóle mogą nas indeksować.
Mój problem:
Pytania:
Szukam praktycznych narzędzi i komend, nie teorii.
Oto kompletny zestaw diagnostyczny crawlability dla AI:
Darmowe narzędzia do szybkich testów:
Rankability AI Search Indexability Checker
LLMrefs AI Crawlability Checker
MRS Digital AI Crawler Access Checker
Ręczne testy w konsoli:
# Test GPTBot (ChatGPT)
curl -A "GPTBot/1.0" -I https://twojastrona.com
# Test PerplexityBot
curl -A "PerplexityBot" -I https://twojastrona.com
# Test ClaudeBot
curl -A "ClaudeBot/1.0" -I https://twojastrona.com
# Test Google-Extended (Gemini)
curl -A "Google-Extended" -I https://twojastrona.com
Na co zwracać uwagę:
Blokowanie wybiórcze oznacza, że masz gdzieś reguły dla konkretnych user-agentów. Sprawdź kolejno:
1. Robots.txt (najczęstsze)
# Szukaj linii typu:
User-agent: GPTBot
Disallow: /
# Lub:
User-agent: *
Disallow: /
2. Cloudflare (bardzo częste – domyślnie blokuje AI)
3. Konfiguracja serwera www
# Apache .htaccess
RewriteCond %{HTTP_USER_AGENT} GPTBot [NC]
RewriteRule .* - [F,L]
# Nginx
if ($http_user_agent ~* "GPTBot") {
return 403;
}
4. Reguły WAF
5. Blokowanie na poziomie aplikacji
Szybka poprawka w robots.txt:
User-agent: GPTBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: ClaudeBot
Allow: /
Dodaj to przed jakimikolwiek regułami Disallow: /.
Z perspektywy enterprise – wiele warstw blokowania:
Lista audytowa naszej infrastruktury:
Używamy jej przy diagnozowaniu blokad crawlerów AI:
| Warstwa | Gdzie sprawdzić | Typowy problem |
|---|---|---|
| DNS | ustawienia providera DNS | Blokady geo |
| CDN | Cloudflare/Fastly/Akamai | Domyślna ochrona przed botami |
| Load Balancer | reguły AWS ALB/ELB | Limitowanie zapytań |
| WAF | reguły bezpieczeństwa | Sygnatury botów |
| Web Server | nginx/Apache config | Blokady user-agent |
| Aplikacja | Middleware/wtyczki | Moduły bezpieczeństwa |
| Robots.txt | plik /robots.txt | Jawne disallow |
Podstępny przypadek: Cloudflare
W lipcu 2025 Cloudflare zaczął domyślnie blokować crawlery AI. Wiele stron jest zablokowanych nieświadomie.
Jak naprawić w Cloudflare:
Weryfikacja po poprawce:
Odczekaj 15-30 minut na propagację, potem powtórz testy curl.
Po naprawieniu dostępu potrzebujesz ciągłego monitoringu:
Narzędzia klasy enterprise:
Conductor Monitoring
Am I Cited
Co monitorować:
| Metryka | Dlaczego ważna |
|---|---|
| Częstotliwość crawlów | Czy boty AI odwiedzają regularnie? |
| Strony crawlowane | Które treści przyciągają uwagę? |
| Wskaźnik sukcesu | Czy niektóre strony są blokowane? |
| Głębokość crawl | Jak dużą część strony eksplorują? |
| Czas do cytowania | Ile trwa cytowanie po crawl? |
Konfiguracja alertów:
Skonfiguruj alerty na:
Nasz obserwowany wzorzec:
Problemy z crawlability często wracają, bo:
Ciągły monitoring pozwala wychwycić to, zanim wpłynie na widoczność.
Z perspektywy bezpieczeństwa – dlaczego możesz blokować AI:
Uzasadnione powody blokowania:
Jeśli zdecydujesz się dopuścić crawlery AI:
Rozważ selektywny dostęp:
# Zezwól crawlerom AI na treści marketingowe
User-agent: GPTBot
Allow: /blog/
Allow: /products/
Allow: /features/
Disallow: /internal/
Disallow: /admin/
# Blokuj treści wrażliwe na trening
User-agent: CCBot
Disallow: /
Podejście kompromisowe:
Dyskusja biznesowa:
To nie powinna być decyzja wyłącznie działu DevOps. Zaangażuj:
Następnie wdrożcie wspólnie ustaloną politykę.
Znalazłam przyczynę – Cloudflare domyślnie blokował GPTBot. Co zrobiłam:
Etapy diagnozy, które zadziałały:
Poprawka:
Cloudflare > Security > Bots > AI Scrapers and Crawlers > Allow
Weryfikacja:
# Przed poprawką
curl -A "GPTBot/1.0" -I https://naszastrona.com
# Wynik: 403 Forbidden
# Po poprawce (30 minut później)
curl -A "GPTBot/1.0" -I https://naszastrona.com
# Wynik: 200 OK
Narzędzia, których będę używać dalej:
Ulepszenie procesu:
Tworzę kwartalną checklistę audytu crawlability AI:
Komunikacja:
Wysłałam podsumowanie do marketingu. Teraz czekają na poprawę cytowań w kolejnych tygodniach.
Dzięki wszystkim za praktyczne wskazówki!
Get personalized help from our team. We'll respond within 24 hours.
Śledź, czy boty AI mają dostęp do Twoich treści i jak często jesteś cytowany. Kompleksowy monitoring widoczności w AI.
Dyskusja społeczności na temat testowania dostępu AI crawlerów do stron internetowych. Praktyczne metody weryfikacji, czy GPTBot, PerplexityBot i inne AI crawle...
Odkryj najlepsze narzędzia do sprawdzania crawlability AI. Dowiedz się, jak monitorować dostęp GPTBot, ClaudeBot i PerplexityBot do Twojej strony dzięki darmowy...
Dowiedz się, jak przetestować, czy crawlery AI, takie jak ChatGPT, Claude i Perplexity, mogą uzyskać dostęp do treści Twojej strony internetowej. Poznaj metody ...