Jak měříme výsledky SEO a AI viditelnosti

Výsledek je měřitelná změna oproti datovanému výchozímu bodu, vypočtená pomocí definice zvolené před zahájením práce a interpretovaná v kontextu všeho ostatního, co se změnilo. Není to příznivé číslo objevené až po dodání. Tato metodika je smlouvou stojící za každým výsledkem, který zveřejňujeme: čtenář by měl být schopen vzít stejná zdrojová data, použít uvedený vzorec a dospět ke stejnému číslu.

Tento standard je důležitý, protože výkon vyhledávání je observační systém. Stránky se mění, konkurenti reagují, poptávka se vyvíjí, vyhledávače se aktualizují a marketingové kampaně se překrývají. Můžeme prokázat, co jsme nasadili a kdy. Můžeme změřit, co se stalo poté. Můžeme tvrdit, že naše práce způsobila celý pohyb, pouze pokud to výzkumný design podporuje.

Záznam měření, který musí každý výsledek obsahovat

Každý zveřejněný výsledek musí poskytovat dostatek informací k auditu. Jeho záznam minimálně obsahuje:

• obchodní cíl a metriku zvolenou před implementací;
• vzorec metriky, zdroj, časové pásmo, případně měnu a atribuční model;
• web, adresář, šablonu, kohortu stránek, trh, zařízení, vyhledávač a rozsah promptů;
• výchozí a srovnávací data včetně počtu celých dnů v každém okně;
• absolutní výchozí hodnotu, absolutní konečnou hodnotu a vypočtenou změnu;
• data implementace a přesný rozsah práce zahrnuté v tvrzení;
• podstatné anotace a známá konkurenční vysvětlení;
• chybějící data, změny ve sledování, vyloučení a velikost vzorku či jmenovatele;
• sílu atribučního jazyka, který jsme oprávněni použít; a
• recenzenta, který schválil údaje určené pro klienta.

Pokud není některé z těchto polí k dispozici, buďto omezení zveřejníme vedle výsledku, nebo výsledek nezveřejníme. Soukromá tabulka obsahující upozornění nenapravuje nekvalifikované veřejné tvrzení.

1. Co se počítá jako výsledek

Účelem měření je ukázat, zda práce změnila něco hodnotného. Metriky organizujeme jako řetězec, protože každá fáze odpovídá na jinou otázku:

1. Doručení: Byla zamýšlená změna správně publikována? Příklady zahrnují vydané stránky, aktualizované šablony, vyřešená přesměrování a obnovený přístup crawleru.
2. Objevitelnost a viditelnost: Našly a zobrazily vyhledávací nebo AI systémy danou práci? Příklady zahrnují platné indexované stránky, imprese, distribuci pozic, skóre AI viditelnosti, zmínky a citace.
3. Výběr a zapojení: Vybrali si ji lidé nebo odpovědní engine? Příklady zahrnují organické prokliky, kvalifikované relace, citované URL, angažované návštěvy a návštěvy navazující stránky.
4. Obchodní výsledek: Vytvořilo toto chování hodnotu? Příklady zahrnují kvalifikované leady, trialy, nákupy, příjmy z předplatného, rezervované schůzky nebo jiný výsledek dohodnutý s klientem před zahájením práce.

Doručení je důkaz, že práce proběhla. Viditelnost je předstihový ukazatel – měřítko, u kterého se očekává pohyb před obchodním výsledkem. Zapojení ukazuje reakci. Obchodní výsledek je výsledek, který většina organizací nakonec financuje.

Samotná návštěvnost proto není pro většinu obchodních modelů výsledkem. SaaS společnost nemá prospěch jen proto, že 20 000 návštěvníků navíc přečetlo irelevantní článek; těží, když vhodní potenciální zákazníci zahájí nebo ovlivní trialy, dema a předplatná. E-commerce podnik potřebuje ziskové objednávky, nikoli relace odtržené od příjmů a marže. Vydavatel může legitimně považovat kvalifikovaná zobrazení stránek za obchodní výsledek, pokud tato zobrazení generují hodnotu z reklamy nebo předplatného, ale i v takovém případě mohou boti, náhodné návštěvy a geografie publika změnit hodnotu stejného počtu návštěv.

Návštěvnost vykazujeme, když je na svém správném místě v řetězci, a doplňujeme ji o důkazy kvality nebo následného efektu, pokud to obchodní model umožňuje. Odmítáme prezentovat imprese, jednu pozici, počet stránek, hrubou návštěvnost, míru zapojení nebo proprietární skóre jako konečný obchodní dopad, pokud není prokázána žádná validovaná souvislost.

Výsledek je zvolen předem. Pokud je dohodnutým primárním výsledkem kvalifikované žádosti o demo, nenahrazujeme jej po dodání impresemi jen proto, že imprese vzrostly a žádosti o demo nikoli.

2. Výchozí hodnoty: zmrazte výchozí bod

Výchozí hodnota je datované, neměnné měření relevantního rozsahu před nasazením první změny v rozsahu projektu. Fáze měření výchozího stavu P5 vysvětluje, jak ji zachytit. Výchozí hodnota musí používat stejný vzorec, zdroje, filtry, segmenty, časové pásmo, měnu, atribuční model, sadu promptů, sadu konkurentů a vyloučení, které bude použito i při pozdější kontrole.

U poměrových metrik ukládáme čitatel i jmenovatel, nikoli pouze poměr. U celkových hodnot za celý web ukládáme také dotčenou kohortu. Pokud je optimalizováno 40 produktových stránek, jejich výchozí hodnota zůstává oddělená od ostatních 8 000 URL; jinak by nesouvisející růst webu mohl zastřít, co se s dotčenou prací stalo.

Retrospektivně rekonstruovaná výchozí hodnota není výchozí hodnotou. Jakmile tým zná výsledek, jsou volby ohledně dat, filtrů, segmentů a vyloučení zranitelné zpětným pohledem. Živé nástroje také mohly změnit své zpracování, uchovávání, atribuci nebo údaje o konkurentech. Nazývat rekonstrukci výchozí hodnotou by implikovalo úroveň kontroly, která neexistovala.

Pokud klient nemá čistou historii, použijeme jednu ze tří poctivých alternativ:

• Prospektivní výchozí hodnota: připojte a validujte měření, během definovaného pozorovacího období neprovádějte žádnou změnu v rozsahu, poté toto období zmrazte před implementací.
• Rekonstruovaná reference: exportujte nejlepší dostupnou historii, zdokumentujte zdroj a změny ve sledování, označte ji jako „rekonstruovaná“ a omezte tvrzení na to, co zbylá data podporují.
• Žádné tvrzení „před a po“: začněte měřit nyní a vykazujte absolutní výkon kontrolního bodu, dokud neexistuje platné prospektivní srovnání.

Chybějící data jsou neznámá, nikoli nulová. Neinterpolujeme je jen proto, abychom vytvořili čistý graf. Pokud chybějící interval překrývá podstatnou změnu nebo činí srovnání neekvivalentním, výsledek není publikovatelný jako tvrzení „před a po“.

3. Srovnávací okna a časový rámec vykazování

Obě okna musí obsahovat stejný počet celých dnů, používat stejnou skladbu dnů v týdnu a vyloučit neukončený aktuální den. Vždy uvádíme oba rozsahy ve výsledku, místo abychom používali označení jako „minulý měsíc“, která v čase mění význam.

Meziroční srovnání porovnává okno s ekvivalentním kalendářním oknem o jeden rok dříve. Je to náš výchozí postup, pokud má poptávka sezónní vzorce a dřívější data jsou čistá. Pevné a pohyblivé svátky jsou anotovány; pokud se svátek posune mezi okny a materiálně ovlivní poptávku, srovnáme obchodní týdny nebo nesoulad zveřejníme.

Srovnání období s obdobím porovnává sousední okna stejné délky, například 28 celých dnů po implementaci s předchozími 28 celými dny. Používáme jej, pokud web postrádá čistý předchozí rok, pokud podnik není materiálně sezónní, nebo pokud potřebujeme aktuální operativní signál. Je více vystaveno kampaním, spuštěním, svátkům a změnám na trhu, proto jej nikdy neprezentujeme jako sezónně kontrolované.

Pokud existuje dostatečná historie, ukazujeme obojí. Meziroční odpovídá na otázku „Jsme před ekvivalentním obdobím?“ Srovnání období s obdobím odpovídá na otázku „Změnil se nedávný směr?“ Pokud si odporují, je tento rozpor informací k vysvětlení, nikoli důvodem jeden z nich skrýt.

Žádný pohyb výkonu není vykazatelný jako výsledek před uplynutím 28 celých dnů od příslušné změny. Dřívější pozorování mohou ověřit, že stránka je živá, prohledávatelná, indexovaná nebo citovaná, ale jedná se o kontroly implementace, nikoli o výsledky. Dvacet osm dní je minimum, nikoli automatické schválení. Okno prodlužujeme, pokud:

• běžný nákupní nebo leadový cyklus je delší než 28 dní;
• změna trvala, než zasáhla všechny stránky nebo byla zpracována vyhledávacími a AI systémy;
• týdenní objem je příliš malý na to, aby několik událostí přestalo dominovat poměru;
• podnik má výraznou měsíční, čtvrtletní nebo roční sezónnost; nebo
• výpadek, kampaň, migrace, změna sledování nebo významná externí událost kontaminuje velkou část okna.

Předregistrujeme první kontrolní bod a zamýšlené okno pro vykazování. Neposouváme opakovaně počáteční nebo koncová data, dokud křivka nevypadá příznivě.

4. Poctivost atribuce

Atribuce je přiřazení pozorovaného efektu příčině. Samotné načasování ji nezakládá: „po“ nutně neznamená „kvůli“. Používáme čtyři úrovně tvrzení.

Ověřené doručení znamená, že můžeme samotnou implementovanou změnu připsat práci: například 120 specifikovaných stránek obdrželo platné canonical tagy v zaznamenaném datu vydání. Nezakládá to tvrzení o výkonnostním efektu.

Experimentem podpořený efekt vyžaduje design schopný odhadnout přírůstkový efekt, například randomizovaný nebo věrohodně spárovaný holdout s předem specifikovanou hypotézou, metrikou, vzorkem a datem ukončení. Popisujeme design a nejistotu; neproměňujeme nedokonalý obsahový experiment v laboratorní jistotu.

Podpůrný důkaz se uplatní, když se dotčená kohorta pohne po zaznamenané změně, směr odpovídá předem specifikované hypotéze a nezměněná referenční kohorta nebo konkurenční benchmark nevykazuje stejný pohyb. Můžeme říci, že výsledek je „v souladu s“, „spojen s“ nebo „podporuje přínos“ dané práce.

Pouze korelace se uplatní, když se metrika po změně pohnula, ale neexistuje žádný platný kontrafaktuál. Vykazujeme posloupnost a konkurenční vysvětlení. Neříkáme, že výsledek byl „vygenerován“, „způsoben“ nebo „doručen“.

V běžné práci s klienty často nedokážeme oddělit vliv:

• aktualizací algoritmů vyhledávačů nebo AI providerů;
• sezónnosti, svátků, počasí a změn v základní poptávce;
• placeného vyhledávání, placených sociálních sítí, retargetingu a affiliate aktivity;
• PR pokrytí, aktivit tvůrců, brandových kampaní a offline propagace;
• produktových spuštění, cenotvorby, dostupnosti, merchandisingu a změn konverzního poměru;
• migrací, redesignů, změn sledování, změn souhlasů a výpadků;
• spuštění konkurence, ztrát, propagací a změn v mediálních výdajích; nebo
• ekonomických, regulatorních, kulturních změn a změn na úrovni kategorie na trhu.

Pojmenováváme faktory, které nastaly, uvádíme, zda každý z nich pravděpodobně ovlivňuje měřenou kohortu, a odpovídajícím způsobem snižujeme sílu tvrzení. Pokud placená a organická cesta dopadnou na stejnou stránku během spuštění, nepřiřazujeme všechny konverze organickému obsahu. Pokud se aktualizace algoritmu překrývá s kontrolním bodem, můžeme vykázat relativní pohyb oproti neovlivněným segmentům nebo konkurentům, ale toto srovnání je důkaz, nikoli dokonalá izolace.

5. Anotace umožňují interpretaci

Anotace je datovaný záznam změny nebo externí události umístěný na stejné časové ose jako metrika. Bez anotací se atribuce stává měsíce později cvičením v paměti.

Událost zaznamenáváme, když nastane, nikoli až když začínáme s vykazováním. Každá anotace obsahuje datum a časové pásmo, vlastníka, dotčené URL nebo segment, kategorii, popis, referenci na nasazení nebo kampaň, očekávanou metriku a směr, očekávané zpoždění, datum kontrolního bodu a známou překrývající se aktivitu. Vícedenní vydání mají datum zahájení a dokončení. Zrušení a vrácení zpět dostávají vlastní záznamy, nikoli přepsání původního.

Anotujeme vydání obsahu, technická nasazení, migrace, přesměrování, změny šablon, změny v analytice a souhlasech, výpadky, placené kampaně, PR, produktové a cenové změny, významné události konkurence a potvrzené aktualizace platforem. Výstupy anotací udržuje tyto změny, očekávání, kontrolní body a pozorované výsledky pohromadě a zároveň výslovně považuje asociaci za důkaz, nikoli za průkaz kauzality.

6. Jak měříme AI viditelnost

Metriky AI viditelnosti jsou počítány samostatně, protože odpovídají na jiné otázky. Nikdy nemícháme viditelnost, podíl hlasu, citace, sentiment a pozice do odhadovaného čísla „AI dopadu“.

Před srovnáváním období zmrazíme text promptu, téma, lokalitu, engine, frekvenci běhu, sledovanou sadu značek a sledovanou sadu domén. Pozorování promptu je jedna uložená odpověď z jednoho definovaného promptu, enginu, lokality a plánovaného běhu. Odpověď a její citované URL jsou uchovány, aby bylo možné agregát zkontrolovat.

Skóre AI viditelnosti

Skóre viditelnosti odpovídá na otázku: „U kolika sledovaných promptů získala tato doména alespoň jednu citaci?“

Skóre AI viditelnosti = pozorování promptů citujících doménu alespoň jednou ÷ všechna platná pozorování promptů ve zmrazené kohortě × 100

Vícenásobné citace v jedné odpovědi nečiní toto pozorování viditelnějším; počítá se jednou v čitateli. Selhání sběru není odpověď s nulovými citacemi. Jedná se o chybějící data, vykazovaná prostřednictvím pokrytí a opakování běhu nebo konzistentně vyloučená z obou oken. Pohled AI viditelnost zpřístupňuje základní odpovědi potřebné k prozkoumání skóre.

Podíl hlasu

Podíl hlasu odpovídá na otázku: „Ze zmíněných sledovaných značek v těchto odpovědích – jaký podíl patřil této značce?“

Podíl hlasu = zmínky o značce ÷ zmínky o všech sledovaných značkách v pevně stanovené konkurenční sadě × 100

Uvádíme, zda je počítací jednotkou jedna zmínka na odpověď nebo každý výskyt zmínky, a toto pravidlo ponecháváme beze změny. Při přidání konkurenta historii nepřenormalizováváme; změna sady konkurentů zahajuje novou srovnatelnou řadu nebo vede k přepočtu dřívějšího okna z uložených odpovědí.

Podíl citací

Podíl citací odpovídá na otázku: „Z citací přiřazených sledované sadě domén – jaký podíl směřoval na tuto doménu?“

Podíl citací = citace na doménu ÷ citace na všechny sledované domény v pevně stanovené sadě × 100

Čitatel počítá citace, nikoli zmínky o značce. Jedna odpověď může citovat několik URL ze stejné domény a každá citace se počítá podle deklarovaného pravidla. Reporting na úrovni domén nesmí být prezentován jako výkon na úrovni stránek. Inteligence zdrojů a citací uchovává detaily domény, URL, promptu a enginu za agregátem.

Tyto metriky mají známá omezení. AI odpovědi se mohou mezi běhy lišit; poskytovatelé mění modely, vyhledávací systémy, rozhraní a chování citací; poloha, jazyk, personalizace a aktuálnost mohou odpověď změnit; a zvolené prompty a sady konkurentů definují měřený vesmír. Sledovaná sada je opakovatelný vzorek otázek, které jsme zvolili, nikoli soupis všeho, na co se potenciální zákazníci ptají. Přítomnost citace také neprokazuje, že ji osoba viděla, důvěřovala jí nebo navštívila zdroj. Proto u každého podstatného tvrzení o AI viditelnosti vykazujeme engine, lokalitu, kohortu, frekvenci běhu, pokrytí a absolutní počty.

7. Zaokrouhlování, rozsahy a absolutní hodnoty

Procenta nikdy nezveřejňujeme samostatně. Každé procento je doplněno absolutními hodnotami použitými k jeho výpočtu.

U změny počtu uvádíme výchozí hodnotu, konečnou hodnotu, absolutní rozdíl a relativní změnu: „kvalifikované organické leady vzrostly ze 40 na 52, tj. o 12 leadů neboli 30 %.“ U poměru uvádíme oba poměry v procentních bodech včetně jejich čitatelů a jmenovatelů: „konverzní poměr se změnil z 2,0 % (40/2 000) na 2,4 % (52/2 167), tj. nárůst o 0,4 procentního bodu.“ Označit to za 0,4% nárůst by bylo chybné; relativní nárůst je 20 %.

Počty jsou celá čísla. Procenta jsou obvykle zaokrouhlena na jedno desetinné místo, s výjimkou případů, kdy by to změnilo nenulovou hodnotu na 0,0 % – v takovém případě přidáme druhé desetinné místo. Změny počítáme z nezaokrouhlených vstupů a zaokrouhlujeme pouze zobrazený výsledek. Hodnoty pod 1 000 nezkracujeme. Větší zkratky se mohou objevit v nadpisech, ale přesné číslo zůstává v těle textu nebo v přístupné tabulce.

Rozsahy používáme pouze tehdy, když zdroj nebo metoda skutečně vytváří nejistotu. Rozsah musí pojmenovat svou metodu, například interval spolehlivosti, rozsah atribučního modelu nebo hranici pokrytí dat. Nevymýšlíme rozsah, aby bodový odhad vypadal vědecky, a nenahrazujeme malé přesné počty procenty, která zveličují pohyb.

8. Anonymizace klienta bez ztráty významu

Anonymní výsledek musí zůstat testovatelný. Můžeme nahradit jméno klienta, doménu, názvy produktů a obchodně citlivé údaje, ale zveřejněný popis musí zachovat:

• obchodní model, širší kategorii, trh a materiální omezení;
• rozsah webu nebo kohorty stránek a typ změněných stránek;
• přesná výchozí a srovnávací data a délky oken;
• definici metriky, zdroj, atribuční model a jmenovatele;
• absolutní výchozí a konečné hodnoty, nebo explicitně indexovanou řadu, pokud smluvní důvěrnost absolutní hodnoty zakazuje;
• intervenci, data vydání a uplynulý čas před měřením;
• známou souběžnou aktivitu a z toho vyplývající omezení atribuce; a
• dostatek metodických podrobností, aby jiný tým mohl výpočet aplikovat.

Pokud nelze zobrazit přesné obchodní hodnoty, může index nastavit výchozí hodnotu na 100 a aplikovat stejné měřítko na každý další bod. Označíme jej jako indexovaný a stále zobrazujeme základní počty událostí nebo vzorků tam, kde to zveřejnění umožňuje. Nikdy neslučujeme několik klientů do fiktivního „typického klienta“, neupravujeme data pro vylepšení křivky ani neskrýváme, že výsledek pochází z jednoho adresáře, nikoli z celého webu.

Pokud by zachování tohoto kontextu vedlo k identifikaci klienta, výsledek nezveřejňujeme. Důvěrnost je důvodem případ nezveřejnit, nikoli povolením publikovat působivé, ale neověřitelné procento.

9. Co nezveřejníme

Publikace je rozhodnutí o výběru, proto musí mít stejně přísná pravidla jako výpočty. Nezveřejníme:

• vybrané datum zahájení, ukončení, vyhledávač, zemi, zařízení, prompt, klíčové slovo nebo segment;
• vítězství na jedné stránce prezentované jako celkový růst webu;
• metriku zvolenou dodatečně, protože se pohnula příznivým směrem;
• procento bez jeho výchozí hodnoty, konečné absolutní hodnoty a případně jmenovatele;
• srovnání, které mísí různé vzorce, rozsahy, zdroje, atribuční modely, měny nebo kohorty promptů;
• částečný měsíc srovnávaný s celým měsícem nebo nestejná okna prezentovaná jako ekvivalentní;
• chybějící pozorování považovaná za nulu nebo výpadky sledování skryté uvnitř spojitého grafu;
• výsledek vykázaný před minimálním oknem nebo před dokončením běžného konverzního cyklu;
• AI skóre prezentované bez definice promptu, enginu, lokality, konkurentů a pokrytí;
• korelační výsledek napsaný jako důkaz, že pouze naše práce způsobila výsledek;
• pouze nejlepší stránku, dotaz, engine nebo kontrolní bod, pokud je k dispozici celá deklarovaná kohorta; nebo
• výsledek klienta, který autorizovaný recenzent neschválil z hlediska přesnosti, kontextu a zveřejnění.

Také neodstraňujeme nepříznivé kontrolní body z řady. Hypotéza, která nevyšla, může stále naučit tým, co změnit. Její skrytí by pozdější úspěch učinilo méně důvěryhodným, nikoli více.

Schválení k publikaci

Před publikací musí osoba odpovědná za čísla určená pro klienta reprodukovat výpočet ze zmrazených exportů, potvrdit rozsah srovnání a data, zkontrolovat účetní knihu anotací, ověřit každou absolutní hodnotu a procento, schválit znění atribuce a potvrdit, že anonymizace je v souladu se smlouvou s klientem. Druhá redakční kontrola musí zajistit, že nadpis neříká víc než důkazy.

Závěrečná otázka je jednoduchá: Dokázal by skeptický čtenář identifikovat, co se změnilo, co ne, co dalšího by mohlo pohyb vysvětlovat a jak bylo každé číslo vypočteno? Pokud ne, výsledek není připraven k publikaci.