AI boti navštevujú náš web, ale nie sme citovaní. Ako diagnostikovať problémy s crawlingom?

Nechajte ma to pomôcť diagnostikovať. Crawling ≠ citovanie. Tu je diagnostický rámec:

Krok 1: Overte, čo crawlery naozaj vidia

Použite curl s AI user-agentom:

curl -A "GPTBot" -s https://yoursite.com/page | head -100

Skontrolujte:

• Zobrazuje sa celý obsah?
• Sú tam meta robots alebo X-Robots-Tag hlavičky?
• Je obsah priamo v HTML, nevyžaduje JS?

Krok 2: Skryté blokátory

Bežné problémy:

• noindex meta tag (blokuje indexáciu)
• X-Robots-Tag: noindex hlavička
• Kanonický odkaz smerujúci inam
• Obsah načítavaný cez JavaScript po načítaní stránky
• Prihlásenie/paywall, ktorý botom zobrazuje iný obsah

Krok 3: Kontrola kvality obsahu

Ak je crawling v poriadku, problém je v obsahu:

• Je naozaj unikátny, alebo len variácia bežného obsahu?
• Je štruktúrovaný pre AI extrakciu?
• Má signály autority (autor, citácie)?
• Je dostatočne komplexný, aby bol HLAVNÝM zdrojom?

Najčastejšie, čo vidím:

Technicky je crawling v poriadku. Obsah však nie je hodný citácie. Crawlery prídu, ale AI si vyberá lepšie zdroje.

Rozdiel medzi „prístupný“ a „citovateľný“ je v kvalite a štruktúre obsahu, nie iba v technickom prístupe.

Takto analyzujem správanie AI crawlerov v logoch:

Analýza logov pre AI crawlery:

# Nájdite všetky návštevy AI crawlerov
grep -E "(GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended)" access.log

# Skontrolujte stavové kódy
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c

# Zistite, ktoré stránky navštevujú najviac
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn

Na čo sa zamerať:

1. Stavové kódy

   • 200: Dobre, získali obsah
   • 301/302: Presmerovania – skontrolujte, kam vedú
   • 403/404: Problémy – okamžite opraviť
   • 500: Chyby servera – prešetriť

2. Vzory crawlovania

   • Ktoré stránky sa crawlujú najviac?
   • Navštevujú vaše najlepšie stránky?
   • Sú stránky, ktoré neboli nikdy crawlované?

3. Frekvencia crawlovania

   • GPTBot: Zvyčajne viackrát denne
   • PerplexityBot: Veľmi často (real-time vyhľadávanie)
   • Ak žiadne návštevy týždne, skontrolujte robots.txt

Bežné problémy v logoch:

• CDN skrýva skutočné user agenty
• Load balancer odstraňuje hlavičky
• Rotácia logov spôsobuje vynechané hity crawlerov

Uistite sa, že vidíte surové, nefiltrované logy.

Keďže ste overili technický prístup, zameriam sa na obsah:

Prečo AI môže crawlovať, ale necitovať:

1. Obsah je všeobecný “5 tipov na lepší email marketing” – existuje ich 10 000. AI cituje ten najlepší, nie všetky.

2. Neexistuje extrahovateľná odpoveď Príbehový obsah bez jasných záverov je pre AI ťažko citovateľný.

3. Zastarané informácie Ak váš obsah hovorí o “trendoch 2023”, AI uprednostní aktuálne zdroje.

4. Slabé signály autority Žiadny autor, žiadne citácie, žiadne zobrazené kvalifikácie.

5. Slabá štruktúra AI potrebuje jasné sekcie, ktoré vie spracovať. Spleť textu je ťažšie extrahovať.

Diagnostický test:

Spýtajte sa: Ak by som bol AI a mal citovať JEDEN zdroj k tejto téme, vybral by som si svoj obsah alebo konkurenciu?

Buďte úprimní. Čo má konkurencia, čo vy nemáte?

Zvyčajne je to:

• Komplexnejšie pokrytie
• Lepšia štruktúra na extrakciu
• Silnejšie signály autority
• Aktuálnejšie informácie

Zlepšite tieto oblasti a citácie prídu.

Technický pohľad na JS rendering:

Aj keď je hlavný obsah serverovo renderovaný, skontrolujte:

1. Lazy-loadované sekcie Dôležitý obsah pod záhybom sa môže načítavať až po úvodnom rendrovaní.

// Tento obsah crawler nemusí vidieť
<div data-lazy="true">Dôležitý obsah tu</div>

2. Interaktívne prvky skrývajúce obsah Karty, akordeóny, rozbaľovacie sekcie môžu obsahovať obsah, ku ktorému sa AI nedostane.

3. JavaScript-generované štruktúrované dáta Ak je schéma vkladaná cez JS, crawlery ju nemusia vidieť.

Nástroj na testovanie:

Google Mobile-Friendly Test zobrazí vykreslené HTML: https://search.google.com/test/mobile-friendly

Porovnajte, čo vidíte tam, s reálnou stránkou. Ak sú rozdiely, môžu vysvetliť problémy s viditeľnosťou.

Rýchla kontrola:

Pozrite si stránku s vypnutým JavaScriptom. Čokoľvek je vtedy viditeľné, to crawlery určite vidia. Ak chýba kľúčový obsah, to je váš problém.

Problémy so schémou, ktoré bránia citáciám:

Aj keď je obsah viditeľný, zlá schéma vám môže škodiť:

1. Neplatná schéma Použite Google Rich Results Test na validáciu. Neplatná schéma môže byť úplne ignorovaná.

2. Chýbajúca schéma Bez Organization, Article alebo FAQ schémy musí AI hádať, o aký typ obsahu ide.

3. Konflikt schém Viac Organization schém s rôznymi údajmi. AI nevie, ktorú veriť.

Ako testovať:

# Získajte a skontrolujte schému
curl -s https://yoursite.com | grep -o 'application/ld+json' | wc -l

Každý blok schémy validujte na: https://validator.schema.org/

Bežné chyby v schéme:

• Chýbajúci @context
• Nesprávny @type
• Neplatné formáty dátumov
• URL bez http/https
• Chýbajúce povinné polia

Opravte chyby v schéme. AI systémy ju používajú na pochopenie obsahu. Neplatná schéma = nejasný obsah.

Táto diskusia mi otvorila oči: náš problém nie je technický.

Čo som testoval:

• curl s AI user-agentmi: obsah sa správne zobrazuje
• Nikde žiadne noindex tagy
• Schéma je validná
• JavaScript neskrýva kľúčový obsah
• Logy ukazujú pravidelné návštevy crawlerov s 200

Čo som zistil pri porovnaní s citovanými konkurentmi:

Ich obsah má:

• Priamu odpoveď v prvom odstavci (my odpoveď schovávame)
• FAQ sekcie so schémou (my nemáme ani jedno)
• Autorské bio s kvalifikáciami (naše sú generické)
• Porovnávacie tabuľky (my máme iba text)
• Aktualizované dátumy (naše sme nemenili 18 mesiacov)

Môj akčný plán:

1. Prestať riešiť technické problémy (nie sú príčinou)
2. Zamerať sa na kvalitu a štruktúru obsahu
3. Pridať FAQ sekcie so schémou
4. Preštruktúrovať na priame odpovede
5. Pridať autorské kvalifikácie
6. Aktualizovať zastaraný obsah

Kľúčový poznatok:

Crawling funguje + chýbajúce citácie = problém s kvalitou/štruktúrou obsahu, nie technický problém.

Ladil som zlú vrstvu. Vďaka všetkým!