Boții AI accesează site-ul nostru, dar nu suntem citați. Cum depanez problemele de crawling?

Hai să te ajut să depanezi. Crawling ≠ citare. Iată cadrul de diagnosticare:

Pasul 1: Verifică ce văd efectiv boții

Folosește curl cu user-agent de AI:

curl -A "GPTBot" -s https://yoursite.com/page | head -100

Verifică:

• Apare tot conținutul?
• Există meta robots sau headere X-Robots-Tag?
• Conținutul e în HTML, nu necesită execuție JS?

Pasul 2: Verifică blocaje ascunse

Probleme comune:

• tag meta noindex (blochează indexarea)
• header X-Robots-Tag: noindex
• Canonical care indică altă pagină
• Conținut încărcat prin JavaScript după load
• Detectare login/paywall care servește alt conținut boților

Pasul 3: Verifică calitatea conținutului

Dacă partea tehnică e ok, problema e conținutul:

• Este cu adevărat unic sau doar o variație a unor informații comune?
• Este structurat pentru extragerea de către AI?
• Există semnale de autoritate (autor, citări)?
• E suficient de complet ca să fie SURSA?

Cea mai comună problemă pe care o văd:

Tehnic crawling-ul e ok. Conținutul pur și simplu nu merită citat. Boții vizitează, dar AI-ul alege surse mai bune.

Diferența dintre „accesibil” și „citabil” ține de calitate și structură, nu doar de acces tehnic.

Așa analizez comportamentul boților AI în loguri:

Analiză loguri pentru boți AI:

# Găsește toate accesările boților AI
grep -E "(GPTBot|ChatGPT-User|ClaudeBot|PerplexityBot|Google-Extended)" access.log

# Verifică codurile de status
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c

# Vezi ce pagini accesează cel mai mult
grep "GPTBot" access.log | awk '{print $7}' | sort | uniq -c | sort -rn

La ce să te uiți:

1. Coduri de status

   • 200: Ok, au luat conținutul
   • 301/302: Redirecturi - verifică dacă ajung unde trebuie
   • 403/404: Probleme - rezolvă imediat
   • 500: Erori server - investighează

2. Tipare de crawling

   • Ce pagini sunt accesate cel mai mult?
   • Sunt accesate paginile tale cele mai bune?
   • Există pagini niciodată accesate?

3. Frecvența crawling-ului

   • GPTBot: De obicei de mai multe ori pe zi
   • PerplexityBot: Foarte des (căutare în timp real)
   • Dacă nu vezi accesări de săptămâni, verifică robots.txt

Probleme comune în loguri:

• CDN-ul ascunde user agent-urile reale
• Load balancer-ul elimină headerele
• Rotirea logurilor pierde accesările boților

Asigură-te că vezi loguri brute, nefiltrate.

De vreme ce ai verificat accesul tehnic, lasă-mă să abordez partea de conținut:

De ce un AI poate accesa dar să nu citeze:

1. Conținut generic „5 sfaturi pentru email marketing mai bun” - există 10.000 astfel de articole. AI-ul îl citează pe cel mai bun, nu pe toate.

2. Fără răspuns extractibil Conținut narativ fără concluzii clare e greu de citat pentru AI.

3. Informații învechite Dacă articolul menționează „tendințe 2023”, AI-ul va prefera surse mai recente.

4. Semnale slabe de autoritate Fără autor, fără surse citate, fără acreditări afișate.

5. Structură slabă AI-ul are nevoie de secțiuni clare pentru a le parsa. Textul curgător e greu de extras.

Test de diagnostic:

Întreabă-te: Dacă aș fi AI și ar trebui să citez O singură sursă pentru acest subiect, aș alege conținutul meu sau pe cel al unui concurent?

Fii sincer. Ce are concurentul și tu nu ai?

De obicei:

• Acoperire mai cuprinzătoare
• Structură mai bună pentru extracție
• Semnale mai puternice de autoritate
• Informații mai actuale

Îmbunătățește aceste aspecte și vor veni și citările.

Analiză tehnică detaliată despre randarea JavaScript:

Chiar dacă conținutul principal e generat pe server, verifică:

1. Secțiuni de conținut încărcate lent Conținut important sub fold poate fi încărcat după randarea inițială.

// Acest conținut s-ar putea să nu apară pentru boți
<div data-lazy="true">Conținut important aici</div>

2. Elemente interactive care ascund conținut Taburi, acordeoane, secțiuni extensibile pot avea conținut inaccesibil pentru AI.

3. Date structurate generate cu JavaScript Dacă schema e injectată prin JS, boții s-ar putea să nu o vadă.

Instrument de testare:

Testul Mobile-Friendly Google arată HTML-ul randat: https://search.google.com/test/mobile-friendly

Compară ce vezi acolo cu pagina reală. Orice diferență poate explica problemele de vizibilitate.

Soluție rapidă:

Vezi pagina ta cu JavaScript dezactivat. Tot ce e vizibil așa e garantat vizibil și pentru boți. Dacă lipsește conținut cheie, acolo e problema.

Probleme de schemă care împiedică citarea:

Chiar dacă conținutul e vizibil, o schemă greșită te poate afecta:

1. Markup schema invalid Folosește Rich Results Test de la Google pentru validare. Schema invalidă poate fi ignorată.

2. Lipsă de schemă Fără Organization, Article sau FAQ schema, AI-ul trebuie să ghicească tipul de conținut.

3. Scheme conflictuale Mai multe Organization schema cu informații diferite. AI-ul nu știe pe care să o creadă.

Cum testezi:

# Preia și verifică schema
curl -s https://yoursite.com | grep -o 'application/ld+json' | wc -l

Apoi validează fiecare bloc de schema la: https://validator.schema.org/

Erori frecvente de schemă:

• Lipsă @context
• @type greșit
• Formate greșite de dată
• Câmpuri URL fără http/https
• Proprietăți obligatorii lipsă

Rezolvă erorile de schemă. Sistemele AI parsează schema pentru a înțelege conținutul. Schema invalidă = conținut neclar.

Discuția aceasta m-a ajutat să realizez: problema noastră nu e tehnică.

Ce am testat:

• curl cu user-agents AI: conținutul se randază corect
• Niciun tag noindex nicăieri
• Schema validează corect
• JavaScript nu ascunde conținut cheie
• Logurile arată accesări regulate cu 200

Ce am găsit comparând cu concurenții care sunt citați:

Conținutul lor are:

• Răspuns direct în primul paragraf (al nostru ascunde răspunsul)
• Secțiuni FAQ cu schemă (noi nu avem deloc)
• Biorafii autori cu acreditări (ale noastre sunt generice)
• Tabele de comparație (noi folosim paragrafe narative)
• Date actualizate (ale noastre n-au mai fost modificate de 18 luni)

Planul meu de acțiune:

1. Nu mai depanez probleme tehnice (nu ele sunt cauza)
2. Mă concentrez pe calitatea și structura conținutului
3. Adaug secțiuni FAQ cu schemă
4. Restructurez pentru răspunsuri directe
5. Adaug acreditări autorilor
6. Actualizez conținutul învechit

Concluzie:

Crawling funcționează + nu suntem citați = problemă de calitate/structură a conținutului, nu tehnică.

Depanam greșit nivelul. Mulțumesc tuturor!