Boty AI odwiedzają naszą stronę, ale nie jesteśmy cytowani. Jak debugować problemy z indeksowaniem?

Pozwól, że pomogę w debugowaniu. Indeksowanie ≠ cytowanie. Oto ramy diagnostyczne:

Krok 1: Zweryfikuj, co boty faktycznie widzą

Użyj curl z user-agentem AI:

curl -A "GPTBot" -s https://yoursite.com/page | head -100

Sprawdź:

• Czy cała treść się pojawia?
• Czy są jakieś meta robots lub nagłówki X-Robots-Tag?
• Czy treść jest w HTML, a nie wymaga wykonania JS?

Krok 2: Sprawdź ukryte blokady

Typowe problemy:

• meta tag noindex (blokuje indeksowanie)
• nagłówek X-Robots-Tag: noindex
• Kanoniczny adres wskazujący gdzie indziej
• Treść ładowana przez JavaScript po załadowaniu strony
• Wykrywanie logowania/paywalla, które serwuje inną treść botom

Krok 3: Ocena jakości treści

Jeśli indeksowanie działa, problem tkwi w treści:

• Czy jest naprawdę unikalna, czy to wariacja często spotykanych treści?
• Czy jest odpowiednio zbudowana do ekstrakcji przez AI?
• Czy są sygnały autorytetu (autor, cytowania)?
• Czy jest wystarczająco wyczerpująca, by być GŁÓWNYM źródłem?

Najczęstszy problem:

Technicznie indeksowanie jest ok. Treść po prostu nie zasługuje na cytowanie. Boty odwiedzają, ale systemy AI wybierają lepsze źródła.

Różnica między „dostępna” a „warta cytowania” to jakość i struktura treści, nie tylko techniczny dostęp.

Oto jak analizuję zachowanie botów AI w logach:

Analiza logów dla botów AI:

# Znajdź wszystkie wejścia botów AI
grep -E "(GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended)" access.log

# Sprawdź kody statusu
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c

# Zobacz, które strony odwiedzają najczęściej
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn

Na co zwracać uwagę:

1. Kody statusu

   • 200: OK, bot otrzymał treść
   • 301/302: Przekierowania – sprawdź, czy trafiają na właściwe strony
   • 403/404: Problemy – napraw natychmiast
   • 500: Błędy serwera – do zbadania

2. Wzorce indeksowania

   • Które strony są najczęściej odwiedzane?
   • Czy najlepsze strony są odwiedzane?
   • Czy są strony nigdy nieindeksowane?

3. Częstotliwość indeksowania

   • GPTBot: Zwykle kilka razy dziennie
   • PerplexityBot: Bardzo częsty (wyszukiwanie w czasie rzeczywistym)
   • Brak wejść przez tygodnie? Sprawdź robots.txt

Typowe problemy w logach:

• CDN ukrywa prawdziwe user-agenty
• Load balancer usuwa nagłówki
• Rotacja logów gubi wejścia botów

Upewnij się, że widzisz surowe, nieprzefiltrowane logi.

Skoro potwierdziłeś dostęp techniczny, pozwól, że odniosę się do kwestii treści:

Dlaczego AI może indeksować, ale nie cytować:

1. Treść jest ogólna “5 porad dotyczących email marketingu” – jest takich 10 000. AI cytuje najlepszą, nie wszystkie.

2. Brak wyodrębnialnej odpowiedzi Treść narracyjna bez jasnych wniosków jest trudna do cytowania przez AI.

3. Nieaktualne informacje Jeśli piszesz “trendy 2023”, AI wybierze nowsze źródła.

4. Słabe sygnały autorytetu Brak autora, brak cytowań, brak podanych kompetencji.

5. Słaba struktura AI potrzebuje jasnych sekcji do parsowania. Płynny tekst trudniej wyodrębnić.

Test diagnostyczny:

Zadaj sobie pytanie: Gdybym był AI i musiał wskazać JEDNO źródło na ten temat, wybrałbym swoje treści czy konkurencji?

Bądź szczery. Co ma konkurencja, czego Ty nie masz?

Zwykle to:

• Bardziej kompleksowe omówienie tematu
• Lepsza struktura do ekstrakcji
• Mocniejsze sygnały autorytetu
• Bardziej aktualne informacje

Popraw to, a cytowania się pojawią.

Techniczne spojrzenie na renderowanie JavaScriptu:

Nawet jeśli główna treść jest renderowana po stronie serwera, sprawdź:

1. Leniwie ładowane sekcje treści Ważna treść poniżej ekranu może się ładować po renderze.

// Tej treści boty mogą nie zobaczyć
<div data-lazy="true">Ważna treść tutaj</div>

2. Elementy interaktywne, które ukrywają treść Zakładki, akordeony, rozwijane sekcje mogą zawierać treść niedostępną dla AI.

3. Dane strukturalne generowane przez JavaScript Jeśli schema jest dodawana przez JS, boty mogą jej nie widzieć.

Narzędzie testowe:

Test Google Mobile-Friendly pokazuje renderowany HTML: https://search.google.com/test/mobile-friendly

Porównaj wynik z rzeczywistą stroną. Różnice mogą wyjaśnić problemy z widocznością.

Szybka wskazówka:

Wyświetl stronę z wyłączonym JavaScriptem. To, co wtedy widoczne, na pewno zobaczą boty. Jeśli brakuje kluczowych treści, to jest Twój problem.

Problemy ze schematem, które uniemożliwiają cytowanie:

Nawet jeśli treść jest widoczna, zły schema szkodzi:

1. Nieprawidłowy znacznik schema Użyj testu Rich Results Google do walidacji. Błędny schema może być całkowicie ignorowany.

2. Brak schema Brak schema Organization, Article lub FAQ sprawia, że AI musi zgadywać typ treści.

3. Konfliktujące schema Wiele schematów Organization z różnymi danymi. AI nie wie, któremu ufać.

Jak testować:

# Pobierz i sprawdź schema
curl -s https://yoursite.com | grep -o 'application/ld+json' | wc -l

Następnie waliduj każdy blok schema na: https://validator.schema.org/

Typowe błędy schema:

• Brak @context
• Zły @type
• Nieprawidłowe formaty dat
• Pola URL bez http/https
• Brak wymaganych właściwości

Napraw błędy schema. Systemy AI analizują schemat, by zrozumieć treść. Zły schema = niejasna treść.

Ta dyskusja uświadomiła mi: nasz problem nie jest techniczny.

Co przetestowałem:

• curl z user-agentami AI: treść wyświetla się poprawnie
• Brak tagów noindex
• Schema poprawnie się waliduje
• JavaScript nie ukrywa kluczowych treści
• Logi pokazują regularne odwiedziny botów z kodem 200

Co zauważyłem porównując z cytowanymi konkurentami:

U nich:

• Bezpośrednia odpowiedź w pierwszym akapicie (u nas odpowiedź jest ukryta)
• Sekcje FAQ ze schematem (my nie mamy żadnej)
• Bio autora z kwalifikacjami (u nas są ogólne)
• Tabele porównawcze (u nas narracja)
• Aktualizowane daty (u nas brak zmian od 18 miesięcy)

Plan działania:

1. Przestać szukać problemów technicznych (to nie one są przyczyną)
2. Skupić się na jakości i strukturze treści
3. Dodać sekcje FAQ ze schematem
4. Przebudować treści na bezpośrednie odpowiedzi
5. Dodać kwalifikacje autorów
6. Zaktualizować stare treści

Kluczowy wniosek:

Indeksowanie działa + brak cytowań = problem z jakością/strukturą treści, nie techniczny.

Diagnozowałem zły poziom problemu. Dzięki wszystkim!