Ako meriame výsledky SEO a AI viditeľnosti

Výsledok je nameraná zmena oproti datovanému východiskovému bodu, vypočítaná podľa definície zvolenej pred začiatkom práce a interpretovaná v kontexte všetkého ostatného, čo sa zmenilo. Nie je to priaznivé číslo objavené po dodaní. Táto metodika je zmluvou stojacou za každým výsledkom, ktorý zverejníme: čitateľ by mal byť schopný vziať rovnaké zdrojové údaje, použiť uvedený vzorec a dospieť k rovnakému číslu.

Tento štandard je dôležitý, pretože výkonnosť vyhľadávania je observačný systém. Stránky sa menia, konkurenti reagujú, dopyt sa hýbe, vyhľadávače sa aktualizujú a marketingové kampane sa prekrývajú. Môžeme dokázať, čo sme dodali a kedy. Môžeme merať, čo sa stalo potom. Môžeme tvrdiť, že naša práca spôsobila celý pohyb, len keď to výskumný dizajn podporuje.

Záznam merania, ktorý musí obsahovať každý výsledok

Každý zverejnený výsledok musí poskytovať dostatok informácií na audit. Minimálne jeho záznam obsahuje:

• obchodný cieľ a metriku zvolenú pred implementáciou;
• vzorec metriky, zdroj, časové pásmo, menu (ak relevantné) a model atribúcie;
• rozsah stránky, adresára, šablóny, kohorty stránok, trhu, zariadenia, enginu a promptu;
• základné a porovnávacie dátumy vrátane počtu úplných dní v každom okne;
• absolútnu počiatočnú hodnotu, absolútnu konečnú hodnotu a vypočítanú zmenu;
• dátumy implementácie a presný rozsah práce zahrnutej v tvrdení;
• relevantné anotácie a známe konkurenčné vysvetlenia;
• chýbajúce údaje, zmeny v sledovaní, vylúčenia a veľkosť vzorky alebo menovateľa;
• silu atribučného jazyka, ktorý sme oprávnení použiť; a
• recenzenta, ktorý schválil čísla určené pre klienta.

Ak jedna z týchto položiek nie je k dispozícii, buď obmedzenie zverejníme pri výsledku, alebo ho neuverejníme. Súkromná tabuľka obsahujúca výhradu nenapraví nekvalifikované verejné tvrdenie.

1. Čo sa považuje za výsledok

Účelom merania je ukázať, či práca zmenila niečo hodnotné. Metriky organizujeme ako reťazec, pretože každá fáza odpovedá na inú otázku:

1. Dodanie: Bola zamýšľaná zmena správne publikovaná? Príklady zahŕňajú vydané stránky, aktualizované šablóny, vyriešené presmerovania a obnovený prístup pre crawler.
2. Objavenie a viditeľnosť: Našli a zobrazili vyhľadávacie alebo AI systémy prácu? Príklady zahŕňajú platné indexované stránky, impresie, rozdelenie pozícií, skóre AI viditeľnosti, zmienky a citácie.
3. Výber a angažovanosť: Vybrali si ju ľudia alebo answer enginy? Príklady zahŕňajú organické kliknutia, kvalifikované relácie, citované URL, angažované návštevy a návštevy stránky s ďalším krokom.
4. Obchodný výsledok: Vytvorilo toto správanie hodnotu? Príklady zahŕňajú kvalifikované leady, skúšobné verzie, nákupy, príjmy z predplatného, rezervované stretnutia alebo iný výsledok dohodnutý s klientom pred začatím práce.

Dodanie je dôkaz, že práca prebehla. Viditeľnosť je vedúci indikátor: miera, o ktorej sa očakáva, že sa pohne skôr ako obchodný výsledok. Angažovanosť ukazuje odozvu. Obchodný výsledok je výsledok, ktorý väčšina organizácií v konečnom dôsledku financuje.

Samotná návštevnosť preto nie je výsledkom pre väčšinu obchodných modelov. SaaS spoločnosť neprofituje len z toho, že 20 000 návštevníkov navyše číta irelevantný článok; profituje, keď vhodní potenciálni zákazníci spustia alebo ovplyvnia skúšobné verzie, demá a predplatné. E‑commerce podnik potrebuje ziskové objednávky, nie relácie oddelené od príjmov a marže. Vydavateľ môže legitímne považovať kvalifikované zobrazenia stránok za obchodný výsledok, ak tieto zobrazenia prinášajú hodnotu z reklamy alebo predplatného, ale aj vtedy môžu botová návštevnosť, náhodné návštevy a geografia publika zmeniť hodnotu rovnakého počtu návštev.

Návštevnosť vykazujeme vtedy, keď je na svojom správnom mieste v reťazci, a dopĺňame ju dôkazmi o kvalite alebo následnom efekte, kedykoľvek to obchodný model umožňuje. Odmietame prezentovať impresie, jednu pozíciu, počet stránok, surovú návštevnosť, mieru angažovanosti alebo proprietárne skóre ako konečný obchodný vplyv, ak nebol preukázaný žiadny overený súvis.

Výsledok je zvolený vopred. Ak je dohodnutým primárnym výsledkom počet kvalifikovaných žiadostí o demo, nenahrádzame ho po dodaní impresiami len preto, že impresie vzrástli a žiadosti o demo nie.

2. Základné hodnoty: zmrazte východiskový bod

Základná hodnota je datované, nemenné meranie relevantného rozsahu pred zavedením prvej zmeny v rozsahu. Fáza merania základnej hodnoty P5 vysvetľuje, ako ju zachytiť. Základná hodnota musí používať rovnaký vzorec, zdroje, filtre, segmenty, časové pásmo, menu, model atribúcie, sadu promptov, sadu konkurentov a vylúčenia, ktoré bude používať neskorší kontrolný bod.

Pri metrikách miery ukladáme čitateľa a menovateľa, nielen mieru. Pri celkových hodnotách za celý web ukladáme aj dotknutú kohortu. Ak sa optimalizuje 40 produktových stránok, ich základná hodnota zostáva oddelená od ostatných 8 000 URL; inak by nesúvislý rast webu mohol zamaskovať, čo sa stalo s prácou.

Retrospektívne rekonštruovaná základná hodnota nie je základná hodnota. Akonáhle tím pozná výsledok, voľby týkajúce sa dátumov, filtrov, segmentov a vylúčení sú zraniteľné voči spätnému pohľadu. Živé nástroje tiež mohli zmeniť svoje spracovanie, uchovávanie, atribúciu alebo údaje o konkurentoch. Nazvať rekonštrukciu základnou hodnotou by naznačovalo úroveň kontroly, ktorá neexistovala.

Keď klient nemá čistú históriu, používame jednu z troch čestných alternatív:

• Prospektívna základná hodnota: pripojte a overte meranie, počas definovaného obdobia pozorovania nevykonávajte žiadnu zmenu v rozsahu, potom toto obdobie pred implementáciou zmrazte.
• Rekonštruovaná referencia: exportujte najlepšiu dostupnú históriu, zdokumentujte zdroj a zmeny v sledovaní, označte ju ako „rekonštruovaná“ a obmedzte tvrdenie na to, čo zachované údaje podporujú.
• Žiadne tvrdenie „pred a po“: začnite merať teraz a vykazujte absolútnu výkonnosť v kontrolnom bode, kým neexistuje platné prospektívne porovnanie.

Chýbajúce údaje sú neznáme, nie nulové. Neinterpolujeme ich len preto, aby sme vytvorili čistý graf. Ak sa chýbajúci interval prekrýva s významnou zmenou alebo robí porovnanie neekvivalentným, výsledok nie je publikovateľný ako tvrdenie „pred a po“.

3. Porovnávacie okná a vykazovacie hodiny

Obe okná musia obsahovať rovnaký počet úplných dní, používať rovnakú kombináciu dní v týždni a vylúčiť neukončený aktuálny deň. Vo výsledku uvádzame oba rozsahy namiesto používania označení ako „minulý mesiac“, ktoré časom menia význam.

Medziročné porovnanie porovnáva okno s ekvivalentným kalendárnym oknom spred jedného roka. Je to náš predvolený postup, keď má dopyt sezónne vzorce a staršie údaje sú čisté. Pevné a pohyblivé sviatky sú anotované; keď sa sviatok presunie medzi oknami a významne ovplyvní dopyt, zosúladíme obchodné týždne alebo zverejníme nezrovnalosť.

Porovnanie obdobie za obdobie porovnáva susedné okná rovnakej dĺžky, napríklad 28 úplných dní po implementácii s predchádzajúcimi 28 úplnými dňami. Používame ho, keď web nemá čistý predchádzajúci rok, keď podnik nie je významne sezónny, alebo keď potrebujeme aktuálny prevádzkový signál. Je viac vystavené kampaniam, spusteniam, sviatkom a zmenám na trhu, preto ho nikdy neprezentujeme ako sezónne kontrolované.

Ak existuje dostatočná história, uvádzame oboje. Medziročné porovnanie odpovedá na otázku „sme pred ekvivalentnou sezónou?“ Porovnanie obdobie za obdobie odpovedá na otázku „zmenil sa nedávny smer?“ Ak sa nezhodujú, nesúlad je informácia na vysvetlenie, nie dôvod jeden skryť.

Žiadny pohyb výkonnosti nie je vykazovateľný ako výsledok pred uplynutím 28 úplných dní po relevantnej zmene. Skoršie pozorovania môžu overiť, že stránka je živá, prehľadávateľná, indexovaná alebo citovaná, ale sú to kontroly implementácie, nie výsledky. Dvadsaťosem dní je minimum, nie automatické schválenie. Okno predlžujeme, keď:

• normálny nákupný alebo leadový cyklus je dlhší ako 28 dní;
• zmena trvala, kým sa dostala na všetky stránky alebo bola spracovaná vyhľadávacími a AI systémami;
• týždenný objem je príliš malý na to, aby niekoľko udalostí prestalo dominovať miere;
• podnik má silnú mesačnú, štvrťročnú alebo ročnú sezónnosť; alebo
• výpadok, kampaň, migrácia, zmena v sledovaní alebo veľká externá udalosť kontaminuje veľkú časť okna.

Vopred zaregistrujeme prvý kontrolný bod a zamýšľané vykazovacie okno. Nepresúvame dátumy začiatku alebo konca, kým krivka nevyzerá priaznivo.

4. Úprimnosť atribúcie

Atribúcia je priradenie pozorovaného účinku príčine. Samotné načasovanie ju nezakladá: „po“ nemusí nutne znamenať „kvôli“. Používame štyri úrovne tvrdení.

Overené dodanie znamená, že môžeme samotnú implementovanú zmenu pripísať práci: napríklad 120 určených stránok dostalo platné kanonické tagy v zaznamenaný dátum vydania. Nezakladá to vplyv na výkonnosť.

Experimentom podporený účinok vyžaduje dizajn schopný odhadnúť prírastkový účinok, ako je randomizovaný alebo vierohodne spárovaný holdout s vopred špecifikovanou hypotézou, metrikou, vzorkou a koncovým dátumom. Opisujeme dizajn a neistotu; nepremieňame nedokonalý obsahový experiment na laboratórnu istotu.

Príspevkový dôkaz platí, keď sa dotknutá kohorta pohne po zaznamenanej zmene, smer zodpovedá vopred špecifikovanej hypotéze a nezmenená referenčná kohorta alebo konkurenčný benchmark nevykazuje rovnaký pohyb. Môžeme povedať, že výsledok je „v súlade s“, „spojený s“ alebo „podporuje príspevok“ práce.

Iba korelácia platí, keď sa metrika pohla po zmene, ale neexistuje platný kontrafaktuál. Nahlasujeme postupnosť a konkurenčné vysvetlenia. Nehovoríme „vygeneroval“, „spôsobil“ alebo „dodal“ pre výsledok.

V bežnej práci s klientom často nedokážeme oddeliť účinok:

• aktualizácií algoritmov vyhľadávačov alebo AI poskytovateľov;
• sezónnosti, sviatkov, počasia a zmien v základnom dopyte;
• platenej reklamy vo vyhľadávaní, platenej reklamy v sociálnych sieťach, retargetingu a affiliate aktivít;
• PR pokrytia, aktivít tvorcov, brandových kampaní a offline propagácie;
• uvedenia produktov, cien, dostupnosti, merchandisingu a zmien miery konverzie;
• migrácií, redizajnov, zmien v sledovaní, zmien súhlasov a výpadkov;
• uvedenia produktov konkurencie, strát, propagácií a zmien v mediálnych výdavkoch; alebo
• ekonomických, regulačných, kultúrnych a kategóriových zmien na trhu.

Pomenúvame faktory, ktoré nastali, hovoríme, či každý pravdepodobne ovplyvňuje meranú kohortu, a primerane znižujeme silu tvrdenia. Ak sa platená a organická reklama stretnú na rovnakej stránke počas spustenia, nepripisujeme všetky konverzie organickému obsahu. Ak sa aktualizácia algoritmu prekrýva s kontrolným bodom, môžeme vykázať relatívny pohyb voči neovplyvneným segmentom alebo konkurentom, ale toto porovnanie je dôkaz, nie dokonalá izolácia.

5. Anotácie umožňujú interpretáciu

Anotácia je datovaný záznam zmeny alebo externej udalosti umiestnený na rovnakej časovej osi ako metrika. Bez anotácií sa atribúcia o mesiace neskôr stáva cvičením v pamäti.

Udalosť zaznamenávame vtedy, keď nastane, nie keď sa začína s vykazovaním. Každá anotácia obsahuje dátum a časové pásmo, vlastníka, ovplyvnené URL alebo segment, kategóriu, opis, referenciu nasadenia alebo kampane, očakávanú metriku a smer, očakávané oneskorenie, dátum kontrolného bodu a známu prekrývajúcu sa aktivitu. Viacdňové vydania majú dátumy začiatku a ukončenia. Zrušenia a rollbacky dostávajú vlastné záznamy, nie prepísanie pôvodného.

Anotujeme vydania obsahu, technické nasadenia, migrácie, presmerovania, zmeny šablón, zmeny v analytike a súhlasoch, výpadky, platené kampane, PR, zmeny produktov a cien, významné udalosti konkurencie a potvrdené aktualizácie platforiem. Výsledky anotácií udržiava tieto zmeny, očakávania, kontrolné body a pozorované výsledky pohromade, pričom explicitne považuje asociáciu za dôkaz, nie za dôkaz príčinnej súvislosti.

6. Ako meriame AI viditeľnosť

Metriky AI viditeľnosti sa počítajú oddelene, pretože odpovedajú na iné otázky. Nikdy nespájame viditeľnosť, hlas, citácie, sentiment a pozíciu do odhadovaného čísla „AI vplyvu“.

Pred porovnávaním období zmrazíme text promptu, tému, lokalitu, engine, kadenciu behov, sledovanú sadu značiek a sledovanú sadu domén. Pozorovanie promptu je jedna uložená odpoveď z jedného definovaného promptu, enginu, lokality a naplánovaného behu. Odpoveď a jej citované URL sú uchované, aby bolo možné agregát skontrolovať.

Skóre AI viditeľnosti

Skóre viditeľnosti odpovedá na otázku: „V akej časti sledovanej sady promptov získala táto doména aspoň jednu citáciu?“

Skóre AI viditeľnosti = pozorovania promptov citujúce doménu aspoň raz ÷ všetky platné pozorovania promptov v zmrazenej kohorte × 100

Viaceré citácie v jednej odpovedi nerobia toto pozorovanie viditeľnejším; počíta sa raz v čitateli. Zlyhanie zberu nie je odpoveď s nulovou citáciou. Ide o chýbajúce údaje, ktoré sa vykazujú prostredníctvom pokrytia a opakovaného behu alebo sú konzistentne vylúčené z oboch okien. Zobrazenie AI viditeľnosť odhaľuje základné odpovede potrebné na preskúmanie skóre.

Podiel hlasu

Podiel hlasu odpovedá na otázku: „Aký podiel zo sledovaných značiek spomínaných v týchto odpovediach patril tejto značke?“

Podiel hlasu = zmienky o značke ÷ zmienky o všetkých sledovaných značkách v pevnej konkurenčnej sade × 100

Uvádzame, či je počítacou jednotkou jedna zmienka na odpoveď alebo každý výskyt zmienky, a toto pravidlo ponechávame nezmenené. Nevykonávame renormalizáciu histórie, keď je pridaný konkurent; zmena v sade konkurentov začína novú porovnateľnú sériu alebo spôsobí prepočítanie skoršieho okna z uložených odpovedí.

Podiel citácií

Podiel citácií odpovedá na otázku: „Aký podiel citácií priradených sledovanej sade domén smeroval na túto doménu?“

Podiel citácií = citácie na doménu ÷ citácie na všetky sledované domény v pevnej sade × 100

Čitateľ počíta citácie, nie zmienky o značke. Jedna odpoveď môže citovať niekoľko URL z rovnakej domény a každá citácia sa počíta podľa deklarovaného pravidla. Reporting na úrovni domény sa nesmie prezentovať ako výkonnosť na úrovni stránky. Inteligencia zdrojov a citácií uchováva doménu, URL, prompt a detail enginu za agregátom.

Tieto metriky majú známe obmedzenia. AI odpovede sa môžu líšiť medzi behmi; poskytovatelia menia modely, systémy vyhľadávania, rozhrania a správanie pri citovaní; poloha, jazyk, personalizácia a aktuálnosť môžu zmeniť odpoveď; a zvolená sada promptov a konkurentov definuje meraný vesmír. Sledovaná sada je opakovateľná vzorka otázok, ktoré sme si zvolili, nie cenzus všetkého, čo potenciálni zákazníci pýtajú. Prítomnosť citácie tiež nedokazuje, že osoba zdroj videla, dôverovala mu alebo ho navštívila. Preto s každým materiálnym tvrdením o AI viditeľnosti uvádzame engine, lokalitu, kohortu, frekvenciu behov, pokrytie a absolútne počty.

7. Zaokrúhľovanie, rozsahy a absolútne hodnoty

Percentá nikdy nie sú publikované samostatne. Každé percento sa uvádza s absolútnymi hodnotami použitými na jeho výpočet.

Pri zmene počtu uvádzame základnú hodnotu, konečnú hodnotu, absolútny rozdiel a relatívnu zmenu: „kvalifikované organické leady vzrástli zo 40 na 52, čo je nárast o 12 leadov alebo 30%“. Pri miere uvádzame obe miery v percentuálnych bodoch a uvádzame ich čitateľov a menovateľov: „miera konverzie sa posunula z 2,0% (40/2 000) na 2,4% (52/2 167), čo je nárast o 0,4 percentuálneho bodu“. Nazvať to 0,4% nárastom by bolo nesprávne; relatívny nárast je 20%.

Počty sú celé čísla. Percentá sa zvyčajne zaokrúhľujú na jedno desatinné miesto, okrem prípadov, keď by sa tým nenulová hodnota zmenila na 0,0%, vtedy pridáme druhé desatinné miesto. Zmeny počítame z nezaokrúhlených vstupov a zaokrúhľujeme len zobrazený výsledok. Hodnoty pod 1 000 sa neskracujú. Väčšie skratky sa môžu objaviť v nadpisoch, ale presné číslo zostáva v tele alebo v dostupnej tabuľke.

Rozsahy používame len vtedy, keď zdroj alebo metóda skutočne vytvára neistotu. Rozsah musí uvádzať svoju metódu, napríklad interval spoľahlivosti, rozsah atribučného modelu alebo hranicu pokrytia údajov. Nevymýšľame rozsah, aby bodový odhad vyzeral vedecky, a nenahrádzame malé presné počty percentami, ktoré zveličujú pohyb.

8. Anonymizácia klienta bez straty významu

Anonymný výsledok musí zostať testovateľný. Môžeme nahradiť meno klienta, doménu, názvy produktov a komerčne citlivé údaje, ale publikovaný záznam musí zachovať:

• obchodný model, širokú kategóriu, trh a podstatné obmedzenia;
• rozsah stránky alebo kohorty stránok a typ zmenených stránok;
• presné základné a porovnávacie dátumy a dĺžky okien;
• definíciu metriky, zdroj, model atribúcie a menovateľa;
• absolútne základné a konečné hodnoty, alebo explicitne indexovanú sériu, keď zmluvná dôvernosť zakazuje absolútne hodnoty;
• zásah, dátumy vydania a uplynutý čas pred meraním;
• známu súbežnú aktivitu a vyplývajúce obmedzenie atribúcie; a
• dostatok metodických detailov, aby iný tím mohol aplikovať výpočet.

Ak presné komerčné hodnoty nemožno zobraziť, index môže nastaviť základnú hodnotu na 100 a aplikovať rovnakú mierku na každý neskorší bod. Označíme ho ako indexovaný a stále zobrazíme základné počty udalostí alebo vzoriek tam, kde to zverejnenie umožňuje. Nikdy nespájame niekoľkých klientov do fiktívneho „typického klienta“, neupravujeme dátumy na posilnenie krivky a neskrývame, že výsledok pochádzal z jedného adresára, nie z celého webu.

Ak by zachovanie tohto kontextu identifikovalo klienta, výsledok nezverejníme. Dôvernosť je dôvod na zadržanie prípadovej štúdie, nie povolenie na zverejnenie pôsobivého, ale neoveriteľného percenta.

9. Čo nezverejníme

Publikovanie je rozhodnutie o výbere, preto jeho pravidlá musia byť rovnako prísne ako jeho výpočty. Nezverejníme:

• vybraný dátum začiatku, konca, vyhľadávač, krajinu, zariadenie, prompt, kľúčové slovo alebo segment;
• výhru na jednej stránke opísanú ako celkový rast webu;
• metriku zvolenú dodatočne, pretože sa pohla priaznivo;
• percento bez jeho základnej hodnoty, konečnej absolútnej hodnoty a menovateľa, ak je relevantný;
• porovnanie, ktoré mieša rôzne vzorce, rozsahy, zdroje, modely atribúcie, meny alebo kohorty promptov;
• čiastočný mesiac porovnávaný s celým mesiacom alebo nerovnaké okná prezentované ako ekvivalentné;
• chýbajúce pozorovania považované za nulu alebo zmeny v sledovaní skryté v spojitom grafe;
• výsledok vykázaný pred minimálnym oknom alebo pred dokončením normálneho konverzného cyklu;
• AI skóre prezentované bez jeho definícií promptu, enginu, lokality, konkurenta a pokrytia;
• korelačný výsledok napísaný ako dôkaz, že naša práca sama spôsobila výsledok;
• iba najlepšiu stránku, dopyt, engine alebo kontrolný bod, keď je k dispozícii celá deklarovaná kohorta; alebo
• výsledok klienta, ktorý oprávnený recenzent neschválil z hľadiska presnosti, kontextu a zverejnenia.

Tiež nevymazávame nepriaznivé kontrolné body zo série. Hypotéza, ktorá nevyšla, môže tým stále naučiť, čo zmeniť. Skrytie by neskorší úspech neuveriteľnejším, nie dôveryhodnejším.

Schválenie publikovania

Pred publikovaním musí osoba zodpovedná za čísla určené pre klienta reprodukovať výpočet z zmrazených exportov, potvrdiť rozsah a dátumy porovnania, skontrolovať register anotácií, overiť každú absolútnu hodnotu a percento, schváliť znenie atribúcie a potvrdiť, že anonymizácia je v súlade so zmluvou s klientom. Druhá redakčná kontrola musí zabezpečiť, že nadpis nehovorí viac ako dôkazy.

Posledná otázka je jednoduchá: dokázal by skeptický čitateľ identifikovať, čo sa zmenilo, čo nie, čo iné by mohlo vysvetliť pohyb a ako bolo každé číslo vypočítané? Ak nie, výsledok nie je pripravený na publikovanie.