Jak zweryfikować, czy AI crawlery faktycznie widzą całą moją treść? Niektóre strony wydają się niewidoczne

Pozwól, że pomogę Ci przejść przez debugowanie systematycznie.

Krok 1: Analiza logów

Sprawdź logi serwera pod kątem wizyt AI crawlerów na „niewidocznych” stronach:

# Sprawdź, czy GPTBot odwiedza konkretne strony
grep "GPTBot" access.log | grep "/invisible-page-path/"

Brak wizyt crawlera: Nie odkrywają tych stron. Są wizyty, ale brak cytowań: Problem z jakością treści, nie z dostępem.

Krok 2: Bezpośredni test dostępu

Sprawdź, co crawlery widzą, gdy odwiedzają stronę:

curl -A "GPTBot" -s https://yoursite.com/page-path/ | head -200

Sprawdź:

• Czy pełna treść pojawia się w HTML
• Brak przekierowania do logowania/paywalla
• Brak komunikatu “bot detected”
• Kluczowa treść nie jest tylko w JavaScript

Krok 3: Test renderowania

AI crawlery różnią się możliwościami renderowania JS. Przetestuj z wyłączonym JS:

• Otwórz stronę w przeglądarce
• Wyłącz JavaScript (Narzędzia deweloperskie)
• Czy główna treść nadal się pojawia?

Jeśli treść znika bez JS, tu jest problem.

Krok 4: Sprawdzenie limitów zapytań

Czy agresywnie ograniczasz zapytania botów? Sprawdź, czy Twój WAF lub CDN blokuje po X żądaniach. AI crawlery mogą być blokowane w trakcie crawl’owania.

Najczęstsze problemy, które znajduję:

1. Strony niepodlinkowane wewnętrznie (osierocone)
2. Treść renderowana przez JavaScript
3. Agresywna ochrona przed botami
4. Strony nie są w sitemapie

Linkowanie wewnętrzne to prawdopodobnie Twój problem, jeśli 300 stron nie jest odkrywanych.

Zrób audyt struktury linków wewnętrznych:

Narzędzia typu Screaming Frog pokażą:

• Które strony mają najmniej linków wewnętrznych
• Strony osierocone (0 linków wewnętrznych)
• Liczbę kliknięć od homepage

Typowe schematy, które widzę:

1. Wpisy na blogu linkowane tylko z archiwum Twoje archiwum bloga na stronie 15 linkuje do starych wpisów. Crawlery nie idą tak głęboko.

2. Strony produktów linkowane tylko z kategorii Strona kategorii 8 linkuje do produktów. Zbyt głęboko.

3. Strony z zasobami bez linkowania krzyżowego Świetna treść, ale nic do niej nie linkuje.

Rozwiązania:

1. Strony-huby Utwórz strony „Zasoby” lub „Poradniki” linkujące do wielu powiązanych materiałów.

2. Powiązane treści Na końcu każdego wpisu linkuj do 3-5 powiązanych artykułów.

3. Breadcrumbs Pomaga crawlerom zrozumieć hierarchię i znaleźć strony.

4. Aktualizacja nawigacji Czy możesz dodać popularne, głębokie strony do głównej nawigacji lub stopki?

Linkowanie wewnętrzne to nie tylko najlepsza praktyka SEO – to sposób, w jaki crawlery odkrywają Twoją treść.

Pozwól, że rozwinę temat renderowania JavaScript:

Co potrafią AI crawlery:

Bezpieczne założenie: Większość AI crawlerów widzi to, co Ty przy wyłączonym JS.

Typowe problemy z JS:

1. Treść renderowana po stronie klienta Aplikacje React/Vue/Angular renderujące treść tylko w przeglądarce. Crawlery widzą puste kontenery.

2. Lazy loading bez fallbacków Obrazy i treść poniżej „folda” nigdy nie ładują się dla crawlerów.

3. Interaktywne komponenty ukrywające treść Zakładki, akordeony, karuzele – treść w nieaktywnych stanach może nie być w początkowym HTML.

4. Schemat wstrzykiwany przez JS Schema dodawana przez JavaScript może nie być przetwarzana.

Testowanie:

# Zobacz surowy HTML (to widzą crawlery)
curl -s https://yoursite.com/page/

# Porównaj z renderowanym HTML (Narzędzia deweloperskie > Wyświetl źródło strony)

Jeśli kluczowej treści nie ma w wyjściu curl, masz problem z JS.

Rozwiązania:

• Renderowanie po stronie serwera (SSR)
• Pre-rendering dla treści statycznych
• Fallbacki HTML dla lazy loaded content
• Upewnij się, że kluczowa treść jest w początkowym HTML

Ochrona przed botami może po cichu blokować AI crawlery.

Typowe zabezpieczenia powodujące problemy:

1. Cloudflare Bot Fight Mode Może wyzwaniać lub blokować AI crawlery. Sprawdź: Security > Bots > Bot Fight Mode

2. Limity zapytań Jeśli ograniczasz żądania/IP/minutę, AI crawlery mogą osiągać limity.

3. Wyzwania JavaScript Jeśli serwujesz botom JS challenges, AI crawlery mogą ich nie przejść.

4. Blokady user agentów Niektóre WAF blokują nieznane lub podejrzane user-agenty.

Jak zweryfikować:

1. Sprawdź logi CDN/WAF pod kątem zablokowanych żądań z AI user-agentami
2. Szukaj żądań z wyzwaniami (strony captcha)
3. Testuj z różnych IP, by sprawdzić działanie limitów

Rekomendowane ustawienia dla AI crawlerów:

Większość platform CDN/WAF pozwala whitelistować po user-agencie:

• Whitelistuj GPTBot, ClaudeBot, PerplexityBot
• Ustal łagodniejsze limity zapytań
• Pomijaj JS challenges

Chcesz chronić się przed złośliwymi botami, a nie przed AI crawlerami indeksującymi Twoją treść.

Optymalizacja sitemapy dla odkrywania przez AI crawlery:

Najlepsze praktyki sitemapy:

1. Zawieraj WSZYSTKIE ważne strony Nie tylko nowe treści. Wszystko, co ma być odkryte.

2. Sygnalizuj aktualizacje Używaj <lastmod>, by pokazać, kiedy treść była aktualizowana. Niedawne zmiany mogą być crawl’owane priorytetowo.

3. Sitemap w robots.txt

Sitemap: https://yoursite.com/sitemap.xml

To zapewnia, że wszystkie crawlery wiedzą, gdzie jej szukać.

4. Limity wielkości Sitemapy powyżej 50 tys. adresów lub 50MB powinny być dzielone. Duże sitemapy mogą nie być w pełni przetwarzane.

Weryfikacja:

# Sprawdź dostępność sitemapy
curl -I https://yoursite.com/sitemap.xml
# Powinien zwrócić 200

# Policz liczbę stron w sitemapie
curl -s https://yoursite.com/sitemap.xml | grep -c "<url>"

Jeśli Twoje niewidoczne strony nie są w sitemapie – dodaj je.

Wskazówka dot. priorytetu:

Możesz użyć tagu <priority>, ale większość crawlerów go ignoruje. Lepiej polegać na linkowaniu wewnętrznym i sygnałach świeżości.

Znalazłam problemy! Oto co wykazało debugowanie:

Problem 1: Odkrywanie (główny)

• 280 „niewidocznych” stron miało słabe linkowanie wewnętrzne
• Linkowane tylko z głębokich stron archiwum (głębokość 5+ kliknięć)
• Brak w głównej sitemapie (mieliśmy kilka sitemap, część była osierocona)

Problem 2: Ochrona przed botami (dodatkowy)

• Cloudflare Bot Fight Mode wyzwaniał część AI crawlerów
• 15% żądań crawlerów otrzymywało JS challenges

Problem 3: Treść JS (pomniejszy)

• 12 stron miało treść w komponentach React nie renderowaną po stronie serwera

Wdrożone naprawy:

1. Przebudowa linkowania wewnętrznego

   • Dodano sekcje „Powiązane treści” do wszystkich wpisów
   • Utworzono strony-huby linkujące do klastrów tematycznych
   • Zredukowano maksymalną głębokość do 3 kliknięć

2. Konsolidacja sitemap

   • Połączono wszystkie sitemapy w jedną
   • Zweryfikowano obecność wszystkich 500 stron
   • Dodano sitemapę do robots.txt

3. Dostosowanie ochrony przed botami

   • Whitelistowano GPTBot, ClaudeBot, PerplexityBot
   • Zmniejszono limity zapytań dla AI user-agentów

4. Wdrożenie SSR

   • Włączono renderowanie po stronie serwera dla problematycznych stron

Kluczowy wniosek:

Strony nie były blokowane – po prostu nie były odkrywane. Linkowanie wewnętrzne i pokrycie sitemapą są kluczowe dla dostępu AI crawlerów.

Dzięki wszystkim za framework debugowania!