Cum măsurăm rezultatele SEO și de vizibilitate AI

Un rezultat este o modificare măsurată față de un punct de plecare datat, calculată cu o definiție aleasă înainte de începerea lucrării și interpretată în contextul tuturor celorlalte schimbări. Nu este un număr favorabil descoperit după livrare. Această metodologie este contractul din spatele fiecărui rezultat pe care îl publicăm: un cititor ar trebui să poată prelua aceleași date sursă, să aplice formula menționată și să ajungă la același număr.

Acest standard contează deoarece performanța în căutare este un sistem observațional. Paginile se modifică, concurenții reacționează, cererea se mișcă, motoarele de căutare se actualizează, iar campaniile de marketing se suprapun. Putem dovedi ce am livrat și când. Putem măsura ce s-a întâmplat în continuare. Putem pretinde că munca noastră a cauzat întreaga mișcare doar atunci când designul de cercetare susține această afirmație.

Înregistrarea măsurătorii pe care trebuie să o includă fiecare rezultat

Fiecare rezultat publicat trebuie să furnizeze suficiente informații pentru a putea fi auditat. Cel puțin, înregistrarea sa conține:

• obiectivul de afaceri și metrica selectată înainte de implementare;
• formula metrică, sursa, fusul orar, moneda acolo unde este relevant și modelul de atribuire;
• domeniul site-ului, directorul, șablonul, cohorta de pagini, piața, dispozitivul, motorul de căutare și domeniul prompturilor;
• datele de bază și de comparație, inclusiv numărul de zile complete din fiecare fereastră;
• valoarea absolută de pornire, valoarea absolută finală și modificarea calculată;
• datele de implementare și munca exactă inclusă în afirmație;
• adnotări materiale și explicații concurente cunoscute;
• date lipsă, modificări de urmărire, excluderi și dimensiunea eșantionului sau a numitorului;
• puterea limbajului de atribuire pe care avem dreptul să o folosim; și
• persoana care a aprobat cifrele destinate clientului.

Dacă unul dintre aceste câmpuri nu este disponibil, fie dezvăluim limitarea lângă rezultat, fie nu îl publicăm. O foaie de calcul privată care conține avertizarea nu repară o afirmație publică necalificată.

1. Ce contează ca rezultat

Scopul măsurării este de a arăta dacă munca a schimbat ceva valoros. Organizăm metricile într-un lanț, deoarece fiecare etapă răspunde la o întrebare diferită:

1. Livrare: Modificarea intenționată a fost publicată corect? Exemple includ pagini lansate, șabloane actualizate, redirecționări rezolvate și accesul crawler-ului restaurat.
2. Descoperire și vizibilitate: Sistemele de căutare sau AI au găsit și au afișat munca? Exemple includ pagini indexate valide, impresii, distribuția clasamentelor, scorul de vizibilitate AI, mențiuni și citări.
3. Selecție și implicare: Oamenii sau motoarele de răspuns au selectat-o? Exemple includ clicuri organice, sesiuni calificate, URL-uri citate, vizite implicate și vizite pe o pagină de pas următor.
4. Rezultat de afaceri: Acest comportament a creat valoare? Exemple includ lead-uri calificate, trialuri, achiziții, venituri din abonamente, programări sau un alt rezultat convenit cu clientul înainte de începerea lucrării.

Livrarea este dovada că munca a avut loc. Vizibilitatea este un indicator principal: o măsură despre care ne așteptăm să se miște înaintea unui rezultat de afaceri. Implicarea arată răspunsul. Rezultatul de afaceri este rezultatul pe care majoritatea organizațiilor îl finanțează în cele din urmă.

Prin urmare, traficul singur nu este un rezultat pentru majoritatea modelelor de afaceri. O companie SaaS nu beneficiază doar pentru că 20.000 de vizitatori în plus au citit un articol irelevant; beneficiază atunci când potențialii potriviți încep sau influențează trialuri, demo-uri și abonamente. O afacere de comerț electronic are nevoie de comenzi profitabile, nu de sesiuni deconectate de venituri și marjă. Un editor poate trata în mod legitim vizualizările de pagină calificate ca un rezultat de afaceri atunci când acele vizualizări produc valoare publicitară sau de abonament, dar chiar și atunci, traficul bot, vizitele accidentale și geografia publicului pot modifica valoarea aceluiași număr de vizite.

Raportăm traficul atunci când acesta este locul potrivit al metricii în lanț și îl asociem cu dovezi de calitate sau din aval ori de câte ori modelul de afaceri o permite. Refuzăm să prezentăm impresii, un singur clasament, numărul de pagini, traficul brut, rata de implicare sau un scor proprietar ca impact final de afaceri atunci când nu a fost demonstrată nicio conexiune validată.

Rezultatul este selectat în avans. Dacă rezultatul principal convenit este cererile calificate de demo, nu îl înlocuim după livrare cu impresii doar pentru că impresiile au crescut, iar cererile de demo nu.

2. Valori de bază: îngheață punctul de plecare

O valoare de bază este o măsurătoare datată, imuabilă, a domeniului relevant înainte ca prima modificare din domeniu să fie livrată. Faza de măsurare a valorii de bază P5 explică cum să o capturezi. Valoarea de bază trebuie să utilizeze aceeași formulă, aceleași surse, filtre, segmente, fus orar, monedă, model de atribuire, set de prompturi, set de concurenți și excluderi pe care le va folosi punctul de control ulterior.

Pentru metricile de rată, salvăm numărătorul și numitorul, nu doar rata. Pentru totalurile la nivel de site, salvăm și cohorta afectată. Dacă 40 de pagini de produs sunt optimizate, valoarea lor de bază rămâne separată de celelalte 8.000 de URL-uri; altfel, creșterea necorelată a site-ului poate masca ce s-a întâmplat cu munca depusă.

O valoare de bază reconstruită retroactiv nu este o valoare de bază. Odată ce echipa cunoaște rezultatul, alegerile privind datele, filtrele, segmentele și excluderile sunt vulnerabile la retrospectivă. Instrumentele live pot fi, de asemenea, modificat procesarea, păstrarea, atribuirea sau datele concurenților. A numi o reconstrucție valoare de bază ar implica un nivel de control care nu a existat.

Atunci când un client nu are un istoric curat, folosim una dintre cele trei alternative corecte:

• Valoare de bază prospectivă: conectează și validează măsurarea, nu face nicio modificare în domeniu pe parcursul unei perioade de observație definite, apoi îngheață acea perioadă înainte de implementare.
• Referință reconstruită: exportă cel mai bun istoric disponibil, documentează sursa și modificările de urmărire, etichetează-l „reconstruit" și limitează afirmația la ceea ce suportă datele supraviețuitoare.
• Fără afirmație înainte-după: începe măsurarea acum și raportează performanța absolută a punctului de control până când există o comparație prospectivă validă.

Datele lipsă sunt necunoscute, nu zero. Nu le interpolăm doar pentru a crea un grafic curat. Dacă intervalul lipsă se suprapune cu o modificare materială sau face comparația neechivalentă, rezultatul nu este publicabil ca afirmație înainte-după.

3. Ferestre de comparație și ceasul raportării

Cele două ferestre trebuie să conțină același număr de zile complete, să utilizeze același mix de zile ale săptămânii și să excludă ziua curentă incompletă. Menționăm ambele intervale în rezultat, în loc să folosim etichete precum „luna trecută" care își schimbă sensul în timp.

Comparația anuală compară o fereastră cu fereastra calendaristică echivalentă din urmă cu un an. Este opțiunea noastră implicită atunci când cererea are modele sezoniere și datele anterioare sunt curate. Sărbătorile fixe și mobile sunt adnotate; atunci când o sărbătoare se deplasează între ferestre și afectează semnificativ cererea, aliniem săptămânile comerciale sau dezvăluim nepotrivirea.

Comparația perioadă-cu-perioadă compară ferestre adiacente de lungime egală, de exemplu 28 de zile complete după implementare cu precedentele 28 de zile complete. O folosim atunci când site-ului îi lipsește un an anterior curat, când afacerea nu este semnificativ sezonieră sau când avem nevoie de un semnal operațional recent. Este mai expusă campaniilor, lansărilor, sărbătorilor și schimbărilor de piață, așa că nu o prezentăm niciodată ca fiind controlată sezonier.

Acolo unde există un istoric suficient, le arătăm pe ambele. Comparația anuală răspunde la „suntem înaintea sezonului echivalent?" Comparația perioadă-cu-perioadă răspunde la „s-a schimbat direcția recent?" Dacă nu sunt de acord, dezacordul este o informație de explicat, nu un motiv pentru a ascunde una dintre ele.

Nicio mișcare de performanță nu este raportabilă ca rezultat înainte de 28 de zile complete de la modificarea relevantă. Observațiile anterioare pot verifica că o pagină este live, accesibilă crawler-ului, indexată sau citată, dar sunt verificări de implementare, nu rezultate. Douăzeci și opt de zile este un minimum, nu o aprobare automată. Extindem fereastra atunci când:

• ciclul normal de cumpărare sau de generare de lead-uri este mai lung de 28 de zile;
• modificarea a necesitat timp pentru a ajunge la toate paginile sau pentru a fi procesată de sistemele de căutare și AI;
• volumul săptămânal este prea mic pentru ca câteva evenimente să nu domine rata;
• afacerea are o sezonalitate puternică lunară, trimestrială sau anuală; sau
• o întrerupere, campanie, migrare, modificare de urmărire sau un eveniment extern major contaminează o mare parte din fereastră.

Pre-înregistrăm primul punct de control și fereastra de raportare intenționată. Nu mutăm în mod continuu datele de început sau de sfârșit până când curba arată favorabil.

4. Onestitatea atribuirii

Atribuirea este asignarea unui efect observat unei cauze. Momentul singur nu o stabilește: „după" nu înseamnă neapărat „din cauza". Folosim patru niveluri de afirmație.

Livrare verificată înseamnă că putem atribui modificarea implementată în sine muncii: de exemplu, 120 de pagini specificate au primit tag-uri canonice valide la data de lansare înregistrată. Nu stabilește efectul de performanță.

Efect susținut de experiment necesită un design capabil să estimeze un efect incremental, cum ar fi un grup de control randomizat sau credibil potrivit, cu o ipoteză, metrică, eșantion și dată de sfârșit prestabilite. Descriem designul și incertitudinea; nu transformăm un experiment imperfect de conținut în certitudine de laborator.

Dovezi contributive se aplică atunci când cohorta afectată se mișcă după modificarea înregistrată, direcția corespunde ipotezei prestabilite, iar o cohortă de referință nemodificată sau un reper concurențial nu arată aceeași mișcare. Putem spune că rezultatul este „în concordanță cu", „asociat cu" sau „susține contribuția" muncii.

Doar corelație se aplică atunci când metrica s-a mișcat după modificare, dar nu există un contrafactual valid. Raportăm secvența și explicațiile concurente. Nu spunem „generat", „cauzat" sau „livrat" pentru rezultat.

În munca obișnuită cu clienții, deseori nu putem separa efectul:

• actualizărilor de algoritm ale motoarelor de căutare sau ale furnizorilor de AI;
• sezonalității, sărbătorilor, vremii și schimbărilor în cererea de bază;
• căutării plătite, social media plătit, retargeting-ului și activității afiliate;
• acoperirii PR, activității creatorilor, campaniilor de brand și promovării offline;
• lansărilor de produse, prețurilor, disponibilității, merchandising-ului și modificărilor ratei de conversie;
• migrărilor, reproiectărilor, modificărilor de urmărire, modificărilor de consimțământ și întreruperilor;
• lansărilor concurenților, pierderilor, promoțiilor și modificărilor în cheltuielile media; sau
• schimbărilor economice, de reglementare, culturale și de la nivelul categoriei de piață.

Numim factorii care au avut loc, spunem dacă fiecare afectează probabil cohorta măsurată și reducem puterea afirmației în consecință. Dacă pagina plătită și cea organică ajung pe aceeași pagină în timpul unei lansări, nu atribuim toate conversiile conținutului organic. Dacă o actualizare de algoritm se suprapune cu punctul de control, putem raporta mișcarea relativă față de segmentele sau concurenții neafectați, dar acea comparație este o dovadă, nu o izolare perfectă.

5. Adnotările fac posibilă interpretarea

O adnotare este o înregistrare datată a unei modificări sau a unui eveniment extern, plasată pe aceeași cronologie cu metrica. Fără adnotări, atribuirea devine un exercițiu de memorie luni mai târziu.

Înregistrăm evenimentul când se întâmplă, nu când începe raportarea. Fiecare adnotare înregistrează data și fusul orar, proprietarul, URL-urile sau segmentul afectat, categoria, descrierea, referința de implementare sau campanie, metrica și direcția așteptată, întârzierea așteptată, data punctului de control și activitatea suprapusă cunoscută. Lansările pe mai multe zile au date de început și de finalizare. Reversiunile și rollback-urile primesc propriile intrări, în loc să suprascrie intrarea originală.

Adnotăm lansările de conținut, implementările tehnice, migrările, redirecționările, modificările de șabloane, modificările de analytics și consimțământ, întreruperile, campaniile plătite, PR, modificările de produs și preț, evenimentele majore ale concurenților și actualizările confirmate ale platformelor. Rezultatele adnotărilor păstrează împreună acele modificări, așteptări, puncte de control și rezultate observate, tratând în mod explicit asocierea ca dovadă, nu ca dovadă a cauzalității.

6. Cum măsurăm vizibilitatea AI

Metricile de vizibilitate AI sunt calculate separat deoarece răspund la întrebări diferite. Nu amestecăm niciodată vizibilitatea, vocea, citările, sentimentul și clasamentul într-un număr estimat de „impact AI".

Înainte de a compara perioade, înghețăm textul promptului, subiectul, localizarea, motorul, frecvența de rulare, setul de branduri monitorizat și setul de domenii monitorizat. O observație de prompt este un răspuns stocat de la un prompt, motor, localizare și rulare programată definite. Răspunsul și URL-urile citate sunt păstrate, astfel încât agregatul să poată fi auditat.

Scorul de vizibilitate AI

Scorul de vizibilitate răspunde la întrebarea: „Pentru cât de mult din setul de prompturi urmărit a obținut acest domeniu cel puțin o citare?"

Scor de vizibilitate AI = observații de prompt care citează domeniul cel puțin o dată ÷ toate observațiile de prompt valide din cohorta înghețată × 100

Citările multiple într-un singur răspuns nu fac acea observație mai vizibilă; se numără o singură dată la numărător. O eșec de colectare nu este un răspuns cu zero citări. Este o dată lipsă, raportată prin acoperire și re-rulată sau exclusă în mod consecvent din ambele ferestre. Vizualizarea Vizibilitate AI expune răspunsurile subiacente necesare pentru a inspecta scorul.

Cota de voce

Cota de voce răspunde la întrebarea: „Din brandurile monitorizate menționate în aceste răspunsuri, ce cotă a revenit acestui brand?"

Cotă de voce = mențiuni ale brandului ÷ mențiuni ale fiecărui brand monitorizat din setul competitiv fix × 100

Precizăm dacă unitatea de numărare este o mențiune per răspuns sau fiecare apariție de mențiune și păstrăm această regulă neschimbată. Nu renormăm istoricul atunci când se adaugă un concurent; o modificare a setului de concurenți începe o nouă serie comparabilă sau face ca fereastra anterioară să fie recalculată din răspunsurile stocate.

Ponderea citărilor

Ponderea citărilor răspunde la întrebarea: „Din citările atribuite setului de domenii monitorizat, ce pondere a indicat acest domeniu?"

Ponderea citărilor = citări către domeniu ÷ citări către fiecare domeniu monitorizat din setul fix × 100

Numărătorul numără citările, nu mențiunile de brand. Un răspuns poate cita mai multe URL-uri de pe același domeniu, iar fiecare citare se numără conform regulii declarate. Raportarea la nivel de domeniu nu trebuie prezentată ca performanță la nivel de pagină. Inteligența surselor și a citărilor păstrează detaliul domeniului, URL-ului, promptului și motorului din spatele agregatului.

Aceste metrici au limitări cunoscute. Răspunsurile AI pot varia între rulări; furnizorii modifică modelele, sistemele de regăsire, interfețele și comportamentul de citare; locația, limba, personalizarea și prospețimea pot altera un răspuns; iar seturile de prompturi și concurenți alese definesc universul măsurat. Un set urmărit este un eșantion reproductibil al întrebărilor pe care le-am ales, nu un recensământ al tuturor întrebărilor pe care le pun potențialii clienți. De asemenea, prezența unei citări nu dovedește că o persoană a văzut, a avut încredere sau a vizitat sursa. Prin urmare, raportăm motorul, localizarea, cohorta, frecvența de rulare, acoperirea și numerele absolute cu fiecare afirmație materială de vizibilitate AI.

7. Rotunjire, intervale și valori absolute

Procentele nu sunt niciodată publicate singure. Fiecare procent apare cu valorile absolute folosite pentru a-l calcula.

Pentru o modificare de număr, raportăm valoarea de bază, valoarea finală, diferența absolută și modificarea relativă: „lead-urile organice calificate au crescut de la 40 la 52, cu 12 lead-uri în plus sau 30%." Pentru o rată, raportăm ambele rate în puncte procentuale și includem numărătorii și numitorii lor: „rata de conversie a trecut de la 2,0% (40/2.000) la 2,4% (52/2.167), cu o creștere de 0,4 puncte procentuale." A numi aceasta o creștere de 0,4% ar fi greșit; creșterea relativă este de 20%.

Numerele sunt numere întregi. Procentele sunt în mod normal rotunjite la o zecimală, cu excepția cazului în care aceasta ar transforma o valoare diferită de zero în 0,0%, caz în care adăugăm o a doua zecimală. Calculăm modificările din intrări nerotunjite și rotunjim doar rezultatul afișat. Valorile sub 1.000 nu sunt abreviate. Abrevierile mai mari pot apărea în titluri, dar numărul exact rămâne în corp sau într-un tabel accesibil.

Folosim intervale doar atunci când sursa sau metoda generează în mod real incertitudine. Intervalul trebuie să numească metoda sa, cum ar fi un interval de încredere, un interval al modelului de atribuire sau o limită a acoperirii datelor. Nu inventăm un interval pentru a face o estimare punctuală să pară științifică și nu înlocuim numerele exacte mici cu procente care exagerează mișcarea.

8. Anonimizarea clienților fără a elimina sensul

Un rezultat anonim trebuie să rămână testabil. Putem înlocui numele clientului, domeniul, numele produselor și cifrele comercial sensibile, dar relatarea publicată trebuie să păstreze:

• modelul de afaceri, categoria largă, piața și constrângerile materiale;
• domeniul site-ului sau al cohortei de pagini și tipul de pagini modificate;
• datele exacte de bază și de comparație și lungimile ferestrelor;
• definiția metricii, sursa, modelul de atribuire și numitorul;
• valorile absolute de bază și finale sau o serie indexată explicit atunci când confidențialitatea contractuală interzice valorile absolute;
• intervenția, datele de lansare și timpul scurs înainte de măsurare;
• activitatea concurentă cunoscută și limitarea de atribuire rezultată; și
• suficiente detalii de metodă pentru ca o altă echipă să aplice calculul.

Dacă valorile comerciale exacte nu pot fi afișate, un index poate seta valoarea de bază la 100 și poate aplica aceeași scară fiecărui punct ulterior. Îl etichetăm ca indexat și arătăm în continuare numărul de evenimente sau eșantioane subiacente acolo unde dezvăluirea o permite. Nu combinăm niciodată mai mulți clienți într-un „client tipic" fictiv, nu alterăm datele pentru a întări curba și nu ascundem faptul că rezultatul provine dintr-un singur director, nu de pe întreg site-ul.

Dacă păstrarea acestui context ar identifica clientul, nu publicăm rezultatul. Confidențialitatea este un motiv pentru a reține un caz, nu o permisiune de a publica un procent impresionant, dar neverificabil.

9. Ce nu vom publica

Publicarea este o decizie de selecție, așadar regulile sale trebuie să fie la fel de stricte ca și calculele sale. Nu vom publica:

• o dată de început, dată de sfârșit, motor de căutare, țară, dispozitiv, prompt, cuvânt cheie sau segment ales în mod tendențios;
• o victorie pe o singură pagină descrisă ca o creștere la nivelul întregului site;
• o metrică selectată ulterior pentru că s-a mișcat favorabil;
• un procent fără valoarea sa de bază, valoarea absolută finală și numitorul acolo unde este cazul;
• o comparație care amestecă formule, domenii, surse, modele de atribuire, monede sau cohorte de prompturi diferite;
• o lună parțială comparată cu o lună completă sau ferestre inegale prezentate ca echivalente;
• observații lipsă tratate ca zero sau întreruperi de urmărire ascunse într-un grafic continuu;
• un rezultat raportat înainte de fereastra minimă sau înainte ca ciclul normal de conversie să se finalizeze;
• un scor AI prezentat fără definițiile sale de prompt, motor, localizare, concurent și acoperire;
• un rezultat corelațional scris ca dovadă că doar munca noastră a cauzat rezultatul;
• doar cea mai bună pagină, interogare, motor sau punct de control atunci când întreaga cohortă declarată este disponibilă; sau
• un rezultat al clientului pe care persoana autorizată nu l-a aprobat pentru acuratețe, context și dezvăluire.

De asemenea, nu ștergem punctele de control nefavorabile dintr-o serie. O ipoteză ratată poate învăța în continuare echipa ce să schimbe. Ascunderea ei ar face succesul ulterior mai puțin credibil, nu mai mult.

Aprobarea pentru publicare

Înainte de publicare, persoana responsabilă pentru cifrele destinate clienților trebuie să reproducă calculul din exporturile înghețate, să confirme domeniul de comparație și datele, să inspecteze registrul de adnotări, să verifice fiecare valoare absolută și procent, să aprobe formularea atribuirii și să confirme că anonimizarea respectă acordul clientului. O a doua verificare editorială trebuie să asigure că titlul nu spune mai mult decât dovezile.

Întrebarea finală este simplă: ar putea un cititor sceptic să identifice ce s-a schimbat, ce nu, ce altceva ar putea explica mișcarea și cum a fost calculat fiecare număr? Dacă nu, rezultatul nu este gata de publicat.