Cum verific dacă crawlerii AI văd tot conținutul meu? Unele pagini par invizibile

Hai să depanăm sistematic.

Pasul 1: Analiza logurilor

Verifică în logurile serverului vizitele crawlerilor AI pe paginile „invizibile”:

# Verifică dacă GPTBot vizitează pagini specifice
grep "GPTBot" access.log | grep "/invisible-page-path/"

Dacă nu există vizite: Nu descoperă aceste pagini. Dacă există vizite dar nu sunt citate: Problemă de calitate a conținutului, nu de acces.

Pasul 2: Test de acces direct

Testează ce văd crawlerii când accesează pagina:

curl -A "GPTBot" -s https://yoursite.com/page-path/ | head -200

Verifică:

• Conținutul complet apare în HTML
• Fără redirect către logare/paywall
• Fără mesaj „bot detectat”
• Conținutul cheie nu este doar în JavaScript

Pasul 3: Test de redare

Crawlerii AI diferă în capacitatea de redare JS. Testează cu JS dezactivat:

• Deschide pagina în browser
• Dezactivează JavaScript (Developer Tools)
• Conținutul principal apare?

Dacă dispare fără JS, aici e problema.

Pasul 4: Verificare limitare rată

Limitezi agresiv boții? Verifică dacă WAF sau CDN blochează după X cereri. Crawlerii AI pot fi blocați în mijlocul crawlării.

Cele mai comune probleme pe care le găsesc:

1. Pagini nelinkuite intern (orfane)
2. Conținut redat prin JavaScript
3. Protecție agresivă anti-bot
4. Pagini lipsă din sitemap

Linkarea internă probabil e problema dacă 300 de pagini nu sunt descoperite.

Audit la structura linkurilor interne:

Unelte ca Screaming Frog pot arăta:

• Ce pagini au cele mai puține linkuri interne
• Pagini orfane (0 linkuri interne)
• Adâncimea de click din homepage

Patternuri des întâlnite:

1. Articole de blog linkuite doar din pagini de arhivă Pagina 15 din arhiva blogului leagă către postări vechi. Crawlerii nu merg atât de adânc.

2. Pagini de produs linkuite doar din categorii Categoria 8 leagă către produse. Prea adânc.

3. Pagini de resurse fără cross-linkuri Conținut valoros dar nimic nu leagă către ele.

Soluții:

1. Pagini hub Creează pagini „Resurse” sau „Ghiduri” care leagă către mai multe articole conexe.

2. Linkuri către conținut conex La finalul fiecărui articol, leagă către 3-5 materiale relevante.

3. Breadcrumbs Ajută crawlerii să înțeleagă ierarhia și să găsească pagini.

4. Actualizări navigație Poți adăuga pagini populare adânci în meniul principal sau footer?

Linkarea internă nu e doar pentru SEO – așa descoperă crawlerii conținutul tău.

Intrăm în detaliu despre problemele de redare JavaScript:

Ce pot gestiona crawlerii AI:

Presupunere sigură: Majoritatea crawlerilor AI văd ce vezi tu cu JS dezactivat.

Probleme JS frecvente:

1. Conținut redat doar pe client Aplicații React/Vue/Angular care afișează conținutul doar în browser. Crawlerii văd containere goale.

2. Lazy loading fără fallback Imagini și conținut sub „fold” nu sunt încărcate pentru crawlere.

3. Componente interactive care ascund conținut Tab-uri, acordeoane, carusele – conținutul în stări inactive poate lipsi din HTML-ul inițial.

4. Schema injectată cu JS Schema adăugată prin JavaScript s-ar putea să nu fie interpretată.

Testare:

# Vezi HTML-ul brut (ce văd crawlerii)
curl -s https://yoursite.com/page/

# Compară cu HTML-ul redat (browser Dev Tools > View Source)

Dacă conținutul cheie lipsește în outputul curl, ai o problemă de JavaScript.

Soluții:

• Redare pe server (SSR)
• Pre-render pentru conținut static
• Fallback HTML pentru lazy-loaded
• Asigură-te că informația critică este în HTML-ul inițial

Protecția anti-bot poate bloca silențios crawlerii AI.

Măsuri anti-bot ce pot cauza probleme:

1. Cloudflare Bot Fight Mode Poate provoca challenge sau bloca crawlerii AI. Verifică: Security > Bots > Bot Fight Mode

2. Limitare rată Dacă limitezi cereri/IP/minut, crawlerii AI pot atinge limita.

3. Challenge-uri JavaScript Dacă servești challenge-uri JS boților, crawlerii AI pot eșua.

4. Blocare user agent Unele WAF blochează agent-urile necunoscute sau suspecte.

Cum verifici:

1. Verifică logurile CDN/WAF pentru cereri blocate cu user-agent AI
2. Caută cereri challenge (pagini captcha)
3. Testează din IP-uri diferite să vezi dacă se aplică limitări

Setări recomandate pentru crawlere AI:

Majoritatea platformelor CDN/WAF permit whitelisting după user-agent:

• Permite GPTBot, ClaudeBot, PerplexityBot
• Aplică limite mai permisive
• Fără challenge-uri JS pentru ei

Vrei protecție de la boți rău intenționați, nu de la crawlerele AI care vor să indexeze conținutul.

Optimizare sitemap pentru descoperirea de către crawlere AI:

Cele mai bune practici pentru sitemap:

1. Include TOATE paginile importante Nu doar conținut nou. Toate paginile pe care vrei să le descopere.

2. Semnale de frecvență update Folosește <lastmod> pentru a arăta când a fost actualizat conținutul. Update-urile recente pot fi prioritizate la crawlare.

3. Sitemap în robots.txt

Sitemap: https://yoursite.com/sitemap.xml

Așa te asiguri că toți crawlerii îl găsesc.

4. Limite de dimensiune Sitemaps peste 50k URL-uri sau 50MB ar trebui împărțite. Sitemaps prea mari pot fi procesate incomplet.

Verificare:

# Verifică accesibilitatea sitemapului
curl -I https://yoursite.com/sitemap.xml
# Ar trebui să returneze 200

# Verifică numărul de pagini în sitemap
curl -s https://yoursite.com/sitemap.xml | grep -c "<url>"

Dacă paginile invizibile nu sunt în sitemap, adaugă-le.

Sfat prioritate:

Poți folosi tag-ul <priority>, dar majoritatea crawlerilor îl ignoră. Mai bine te bazezi pe linking intern și semnale de prospețime.

Am găsit problemele! Iată ce a relevat depanarea:

Problemă 1: Descoperire (principală)

• 280 din paginile „invizibile” aveau linking intern slab
• Linkuite doar din pagini de arhivă adânci (adâncime 5+ clickuri)
• Nu erau în sitemapul principal (aveam mai multe sitemaps, unele orfane)

Problemă 2: Protecție anti-bot (secundară)

• Cloudflare Bot Fight Mode provoca challenge unor crawleri AI
• 15% din cererile crawlerilor primeau challenge JS

Problemă 3: Conținut JS (minoră)

• 12 pagini aveau conținut în componente React nerenderizate pe server

Soluții implementate:

1. Revizie linking intern

   • Am adăugat secțiuni „Conținut conex” la toate postările
   • Am creat pagini hub cu linkuri către clustere tematice
   • Am redus adâncimea maximă la 3 clickuri

2. Consolidare sitemap

   • Am combinat toate sitemaps într-unul singur
   • Am verificat includerea tuturor celor 500 de pagini
   • Am adăugat sitemapul în robots.txt

3. Ajustare protecție anti-bot

   • Am whitelistat GPTBot, ClaudeBot, PerplexityBot
   • Am redus limita de rată pentru user-agent-urile AI

4. Implementare SSR

   • Am activat redarea pe server pentru paginile afectate

Insight cheie:

Paginile nu erau blocate – doar nu erau descoperite. Linkingul intern și acoperirea în sitemap sunt critice pentru accesul crawlerilor AI.

Mulțumesc tuturor pentru framework-ul de depanare!