Hvordan vi måler SEO- og AI-synlighetsresultater

Et resultat er en målt endring mot et datert utgangspunkt, beregnet med en definisjon valgt før arbeidet begynte, og tolket i sammenheng med alt annet som endret seg. Det er ikke et gunstig tall oppdaget etter levering. Denne metodikken er kontrakten bak hvert resultat vi publiserer: en leser skal kunne ta de samme kildedataene, anvende den angitte formelen og komme frem til samme tall.

Den standarden betyr noe fordi søkeytelse er et observasjonssystem. Sider endres, konkurrenter reagerer, etterspørselen beveger seg, søkemotorer oppdateres, og markedsføringskampanjer overlapper hverandre. Vi kan bevise hva vi lanserte og når. Vi kan måle hva som skjedde deretter. Vi kan bare hevde at vårt arbeid forårsaket hele bevegelsen når forskningsdesignet støtter den påstanden.

Måleoppføringen hvert resultat må inkludere

Hvert publiserte resultat må gi nok informasjon til å kunne revideres. Som et minimum inneholder oppføringen:

• forretningsmålet og metrikken valgt før implementering;
• metrikkformelen, kilden, tidssonen, valuta der det er relevant, og attribusjonsmodellen;
• nettstedet, katalogen, malen, sidekohorten, markedet, enheten, søkemotoren og prompt-omfanget;
• grunnlinje- og sammenligningsdatoer, inkludert antall hele dager i hvert vindu;
• den absolutte startverdien, absolutte sluttverdien og beregnet endring;
• implementeringsdatoer og det nøyaktige arbeidet som inngår i påstanden;
• vesentlige annotasjoner og kjente konkurrerende forklaringer;
• manglende data, sporingsendringer, ekskluderinger, og utvalgs- eller nevnerstørrelse;
• styrken på attribusjonsspråket vi har rett til å bruke; og
• den som har godkjent de kundevendte tallene.

Hvis et av disse feltene ikke er tilgjengelig, opplyser vi enten om begrensningen ved siden av resultatet, eller vi publiserer det ikke. Et privat regneark med forbeholdet reparerer ikke en ukvalifisert offentlig påstand.

1. Hva teller som et resultat

Formålet med måling er å vise om arbeidet endret noe verdifullt. Vi organiserer måleparametere som en kjede, fordi hvert trinn svarer på et forskjellig spørsmål:

1. Levering: Ble den tiltenkte endringen publisert korrekt? Eksempler inkluderer sider som er lansert, maler oppdatert, omdirigeringer løst, og tilgang for gjennomsøkingsroboter gjenopprettet.
2. Oppdagelse og synlighet: Fant søke- eller AI-systemer arbeidet og presenterte det? Eksempler inkluderer gyldige indekserte sider, visninger, rangeringsfordeling, AI-synlighetspoengsum, omtaler og sitater.
3. Utvelgelse og engasjement: Valgte personer eller svarmotorer det ut? Eksempler inkluderer organiske klikk, kvalifiserte økter, siterte URL-er, engasjerte besøk og besøk til en neste-steg-side.
4. Forretningsresultat: Skapte den atferden verdi? Eksempler inkluderer kvalifiserte leads, prøveperioder, kjøp, abonnementsinntekter, bestilte avtaler eller et annet resultat avtalt med kunden før arbeidet begynte.

Levering er bevis på at arbeidet fant sted. Synlighet er en tidlig indikator: et mål som forventes å bevege seg før et forretningsresultat. Engasjement viser respons. Forretningsresultatet er resultatet de fleste organisasjoner til syvende og sist finansierer.

Trafikk alene er derfor ikke et resultat for de fleste forretningsmodeller. En SaaS-bedrift tjener ikke bare på at 20 000 ekstra besøkende leser en irrelevant artikkel; den tjener på at egnede potensielle kunder starter eller påvirker prøveperioder, demoer og abonnementer. En e-handelsbedrift trenger lønnsomme ordrer, ikke økter uten sammenheng med inntekter og margin. En utgiver kan med rette behandle kvalifiserte sidevisninger som et forretningsresultat når disse visningene gir annonse- eller abonnementsverdi, men selv da kan robot-trafikk, tilfeldige besøk og målgruppens geografi endre verdien av samme besøkstall.

Vi rapporterer trafikk når det er metrikkens rettmessige plass i kjeden, og vi kombinerer det med kvalitets- eller nedstrømsbevis når forretningsmodellen tillater det. Vi nekter å presentere visninger, en enkelt rangering, sideantall, rå trafikk, engasjementsrate eller en proprietær poengsum som endelig forretningspåvirkning når ingen validert sammenheng er vist.

Resultatet velges på forhånd. Hvis det avtalte primære resultatet er kvalifiserte demoforespørsler, erstatter vi det ikke etter levering med visninger bare fordi visningene økte og demoforespørslene ikke gjorde det.

2. Grunnlinjer: frys utgangspunktet

En grunnlinje er en datert, uforanderlig måling av det relevante omfanget før den første endringen innenfor omfanget lanseres. P5 fasen for grunnlinjemåling forklarer hvordan man fanger den. Grunnlinjen må bruke samme formel, kilder, filtre, segmenter, tidssone, valuta, attribusjonsmodell, promptsett, konkurrentsett og ekskluderinger som det senere kontrollpunktet vil bruke.

For ratemetrikker lagrer vi teller og nevner, ikke bare raten. For nettstedomfattende totaler lagrer vi også den berørte kohorten. Hvis 40 produktsider optimaliseres, forblir deres grunnlinje separat fra de andre 8 000 URL-ene; ellers kan ubeslektet nettstedsvekst skjule hva som faktisk skjedde med arbeidet.

En retrospektivt rekonstruert grunnlinje er ikke en grunnlinje. Når teamet kjenner resultatet, blir valg om datoer, filtre, segmenter og ekskluderinger sårbare for etterpåklokskap. Live-verktøy kan også ha endret behandling, lagring, attribusjon eller konkurrentdata. Å kalle en rekonstruksjon en grunnlinje ville antyde et kontrollnivå som ikke eksisterte.

Når en klient ikke har en ren historikk, bruker vi en av tre ærlige alternativer:

• Prospektiv grunnlinje: koble til og valider måling, gjør ingen endring innenfor omfanget i en definert observasjonsperiode, frys deretter den perioden før implementering.
• Rekonstruert referanse: eksporter den best tilgjengelige historikken, dokumenter kilden og sporingsendringer, merk den som «rekonstruert», og begrens påstanden til det de gjenværende dataene støtter.
• Ingen før-og-etter-påstand: start måling nå og rapporter absolutt kontrollpunkt-ytelse inntil en gyldig prospektiv sammenligning eksisterer.

Manglende data er ukjent, ikke null. Vi interpolerer det ikke bare for å lage et rent diagram. Hvis det manglendeintervallet overlapper en vesentlig endring eller gjør sammenligningen ikke-ekvivalent, er resultatet ikke publiserbart som en før-og-etter-påstand.

3. Sammenligningsvinduer og rapporteringsklokken

De to vinduene må inneholde samme antall hele dager, bruke samme ukedagsblanding, og ekskludere den ufullstendige gjeldende dagen. Vi oppgir begge områdene i resultatet i stedet for å bruke merkelapper som «forrige måned» som endrer betydning over tid.

År-over-år-sammenligning sammenligner et vindu med det tilsvarende kalendervinduet ett år tidligere. Det er vår standard når etterspørselen har sesongmessige mønstre og de tidligere dataene er rene. Faste og bevegelige helligdager er annotert; når en helligdag flytter seg mellom vinduer og vesentlig påvirker etterspørselen, justerer vi handleuker eller opplyser om avviket.

Periode-over-periode-sammenligning sammenligner tilstøtende like lange vinduer, for eksempel 28 hele dager etter implementering med de foregående 28 hele dagene. Vi bruker det når nettstedet mangler et rent foregående år, når virksomheten ikke er vesentlig sesongbasert, eller når vi trenger et nylig operasjonelt signal. Det er mer utsatt for kampanjer, lanseringer, helligdager og markedsendringer, så vi presenterer det aldri som sesongkontrollert.

Der det finnes tilstrekkelig historikk, viser vi begge. År over år svarer på «er vi foran tilsvarende sesong?» Periode over periode svarer på «endret den nylige retningen seg?» Hvis de er uenige, er uenigheten informasjon å forklare, ikke en grunn til å skjule en av dem.

Ingen resultatbevegelse kan rapporteres som et resultat før 28 hele dager har gått etter den relevante endringen. Tidligere observasjoner kan bekrefte at en side er live, gjennomsøkbar, indeksert eller sitert, men de er implementeringskontroller snarere enn resultater. Tjueåtte dager er et gulv, ikke en automatisk godkjenning. Vi utvider vinduet når:

• den normale kjøps- eller lead-syklusen er lengre enn 28 dager;
• endringen tok tid å nå alle sider eller bli behandlet av søke- og AI-systemer;
• ukentlig volum er for lite til at noen få hendelser slutter å dominere raten;
• virksomheten har sterk månedlig, kvartalsvis eller årlig sesongvariasjon; eller
• et avbrudd, en kampanje, migrering, sporingsendring eller større ekstern hendelse forurenser store deler av vinduet.

Vi forhåndsregistrerer det første kontrollpunktet og det tiltenkte rapporteringsvinduet. Vi flytter ikke start- eller sluttdatoene gjentatte ganger før kurven ser gunstig ut.

4. Attribusjonsærlighet

Attribusjon er tilordningen av en observert effekt til en årsak. Timing alene etablerer det ikke: «etter» betyr ikke nødvendigvis «på grunn av». Vi bruker fire nivåer av påstander.

Verifisert levering betyr at vi kan tilskrive selve den implementerte endringen til arbeidet: for eksempel mottok 120 spesifiserte sider gyldige canonical-tagger på den loggede lanseringsdatoen. Det etablerer ikke ytelseseffekten.

Eksperimentstøttet effekt krever et design som kan estimere en inkrementell effekt, for eksempel en randomisert eller troverdig matchet holdout med en forhåndsspesifisert hypotese, metrikk, utvalg og sluttdato. Vi beskriver designet og usikkerheten; vi omgjør ikke et ufullkomment innholdseksperiment til laboratoriesikkerhet.

Bidragsbevis gjelder når den berørte kohorten beveger seg etter den loggede endringen, retningen samsvarer med den forhåndsspesifiserte hypotesen, og en uendret referansekohort eller konkurransedyktig referanseindeks ikke viser samme bevegelse. Vi kan si at resultatet er «konsistent med», «assosiert med» eller «støtter bidraget fra» arbeidet.

Kun korrelasjon gjelder når metrikken beveget seg etter endringen, men ingen gyldig kontrafaktisk sammenligning eksisterer. Vi rapporterer sekvensen og de konkurrerende forklaringene. Vi sier ikke «genererte», «forårsaket» eller «leverte» for resultatet.

I ordinært kundearbeid kan vi ofte ikke skille effekten av:

• oppdateringer av søkemotor- eller AI-leverandøralgoritmer;
• sesongvariasjoner, helligdager, vær og endringer i underliggende etterspørsel;
• betalt søk, betalte sosiale medier, retargeting og tilknyttet virksomhet;
• PR-dekning, innholdsskaperaktivitet, merkevarekampanjer og offline-promotering;
• produktlanseringer, prising, tilgjengelighet, merchandising og endringer i konverteringsrate;
• migreringer, redesign, sporingsendringer, samtykkeendringer og avbrudd;
• konkurrentlanseringer, -tap, -kampanjer og endringer i medieforbruk; eller
• økonomiske, regulatoriske, kulturelle og kategorinivåmessige markedsendringer.

Vi navngir faktorene som oppstod, sier om hver enkelt sannsynligvis påvirker den målte kohorten, og senker styrken på påstanden tilsvarende. Hvis betalt og organisk lander på samme side under en lansering, tilskriver vi ikke alle konverteringer til organisk innhold. Hvis en algoritmeoppdatering overlapper kontrollpunktet, kan vi rapportere relativ bevegelse mot upåvirkede segmenter eller konkurrenter, men den sammenligningen er bevis, ikke perfekt isolasjon.

5. Annotasjoner gjør tolkning mulig

En annotasjon er en datert registrering av en endring eller ekstern hendelse plassert på samme tidslinje som metrikken. Uten annotasjoner blir attribusjon en hukommelsesøvelse måneder senere.

Vi logger hendelsen når den skjer, ikke når rapporteringen begynner. Hver annotasjon registrerer dato og tidssone, eier, berørte URL-er eller segment, kategori, beskrivelse, distribusjons- eller kampanjereferanse, forventet metrikk og retning, forventet forsinkelse, kontrollpunktdato og kjent overlappende aktivitet. Flerdagerslanseringer har start- og sluttdatoer. Tilbakeføringer og rulleback får egne oppføringer i stedet for å overskrive originalen.

Vi annoterer innholdslanseringer, tekniske distribusjoner, migreringer, omdirigeringer, malendringer, analyse- og samtykkeendringer, avbrudd, betalte kampanjer, PR, produkt- og prisendringer, større konkurrenthendelser og bekreftede plattformoppdateringer. Annotasjonsresultater holder disse endringene, forventningene, kontrollpunktene og observerte resultatene sammen, samtidig som det eksplisitt behandler assosiasjon som bevis snarere enn bevis på årsakssammenheng.

6. Hvordan vi måler AI-synlighet

AI-synlighetsmålinger beregnes separat fordi de svarer på forskjellige spørsmål. Vi blander aldri synlighet, stemmeandel, sitater, sentiment og rangering til et estimert «AI-påvirkningstall».

Før vi sammenligner perioder, fryser vi promptteksten, emnet, lokale, motor, kjørekadens, overvåkede merkesett og overvåkede domene sett. En promptobservasjon er ett lagret svar fra én definert prompt, motor, lokale og planlagt kjøring. Svaret og dets siterte URL-er beholdes slik at summeringen kan revideres.

AI-synlighetspoengsum

Synlighetspoengsummen svarer på: «For hvor stor del av det sporede promptsettet tjente dette domenet minst ett sitat?»

AI-synlighetspoengsum = promptobservasjoner som siterer domenet minst én gang ÷ alle gyldige promptobservasjoner i den frosne kohorten × 100

Flere sitater i ett svar gjør ikke den observasjonen mer synlig; den telles én gang i telleren. En innsamlingsfeil er ikke et svar uten sitater. Det er manglende data, rapportert gjennom dekning og kjørt på nytt eller ekskludert konsekvent fra begge vinduer. AI-synlighet -visningen eksponerer de underliggende svarene som trengs for å inspisere poengsummen.

Stemmeandel

Stemmeandel svarer på: «Av de overvåkede merkene som er nevnt i disse svarene, hvilken andel tilhørte dette merket?»

Stemmeandel = omtaler av merket ÷ omtaler av alle overvåkede merker i det faste konkurrentsettet × 100

Vi oppgir om telleenheten er én omtale per svar eller hver forekomst av omtale, og holder den regelen uendret. Vi renormaliserer ikke historikken når en konkurrent legges til; en endring i konkurrentsettet starter en ny sammenlignbar serie eller fører til at det tidligere vinduet beregnes på nytt fra lagrede svar.

Sitatandel

Sitatandel svarer på: «Av sitatene som er tilordnet det overvåkede domenesettet, hvilken andel pekte til dette domenet?»

Sitatandel = sitater til domenet ÷ sitater til alle overvåkede domener i det faste settet × 100

Telleren teller sitater, ikke merkeomtaler. Ett svar kan sitere flere URL-er fra samme domene, og hvert sitat telles i henhold til den erklærte regelen. Rapportering på domenenivå må ikke presenteres som ytelse på sidenivå. Kilde- og sitatinnsikt beholder domenet, URL-en, prompten og motordetaljene bak summeringen.

Disse måleparametrene har kjente begrensninger. AI-svar kan variere mellom kjøringer; leverandører endrer modeller, hentesystemer, grensesnitt og siteringsatferd; plassering, språk, personalisering og ferskhet kan endre et svar; og de valgte prompt- og konkurrentsettene definerer det målte universet. Et sporet sett er et repeterbart utvalg av spørsmålene vi valgte, ikke en folketelling av alt potensielle kunder spør om. Sitatnærvær beviser heller ikke at en person så, stolte på eller besøkte kilden. Vi rapporterer derfor motor, lokale, kohort, kjørefrekvens, dekning og absolutte tall med enhver vesentlig AI-synlighetspåstand.

7. Avrunding, områder og absolutte verdier

Prosentandeler publiseres aldri alene. Hver prosentandel vises med de absolutte verdiene som ble brukt til å beregne den.

For en telleendring rapporterer vi grunnlinjen, sluttverdien, absolutt differanse og relativ endring: «kvalifiserte organiske leads økte fra 40 til 52, opp 12 leads eller 30%.» For en rate rapporterer vi begge ratene i prosentpoeng og inkluderer tellerne og nevnerne deres: «konverteringsrate endret seg fra 2,0% (40/2 000) til 2,4% (52/2 167), opp 0,4 prosentpoeng.» Å kalle det en 0,4% økning ville vært feil; den relative økningen er 20%.

Tellinger er hele tall. Prosentandeler avrundes normalt til én desimal, unntatt når det ville gjort en verdi som ikke er null til 0,0%, i så fall legger vi til en andre desimal. Vi beregner endringer fra uavrundede inndata og avrunder bare det viste resultatet. Verdier under 1 000 forkortes ikke. Større forkortelser kan forekomme i overskrifter, men det nøyaktige tallet forblir i brødteksten eller tilgjengelig tabell.

Vi bruker områder bare når kilden eller metoden faktisk produserer usikkerhet. Området må navngi metoden, for eksempel et konfidensintervall, attribusjonsmodellområde eller datadekningsgrense. Vi oppfinner ikke et område for å få et punktestimat til å se vitenskapelig ut, og vi erstatter ikke små eksakte tall med prosentandeler som overdriver bevegelse.

8. Klientanonymisering uten å fjerne mening

Et anonymt resultat må forbli testbart. Vi kan erstatte klientnavnet, domenet, produktnavnene og kommersielt sensitive tall, men den publiserte fremstillingen må bevare:

• forretningsmodell, bred kategori, marked og vesentlige begrensninger;
• nettstedets eller sidekohortens omfang og typen sider som ble endret;
• eksakte grunnlinje- og sammenligningsdatoer og vinduslengder;
• metrikkdefinisjon, kilde, attribusjonsmodell og nevner;
• absolutte grunnlinje- og sluttverdier, eller en eksplisitt indeksert serie når kontraktsmessig konfidensialitet forhindrer absoluttverdier;
• tiltaket, lanseringsdatoer og forløpt tid før måling;
• kjent samtidig aktivitet og den resulterende attribusjonsbegrensningen; og
• nok metodikkdetaljer til at et annet team kan anvende beregningen.

Hvis eksakte kommersielle verdier ikke kan vises, kan en indeks sette grunnlinjen til 100 og anvende samme skala på hvert senere punkt. Vi merker det som indeksert og viser fortsatt de underliggende hendelses- eller utvalgstallene der offentliggjøring tillater det. Vi kombinerer aldri flere klienter til en fiktiv «typisk klient», endrer datoer for å styrke kurven, eller skjuler at resultatet kom fra én katalog i stedet for hele nettstedet.

Hvis det å bevare denne konteksten ville identifisert klienten, publiserer vi ikke resultatet. Konfidensialitet er en grunn til å holde tilbake en case, ikke en tillatelse til å publisere en imponerende, men uverifiserbar prosentandel.

9. Hva vi ikke vil publisere

Publisering er en utvelgelsesbeslutning, så reglene må være like strenge som beregningene. Vi vil ikke publisere:

• en plukket startdato, sluttdato, søkemotor, land, enhet, prompt, nøkkelord eller segment;
• en enkeltsides gevinst beskrevet som nettstedomfattende vekst;
• en metrikk valgt i ettertid fordi den beveget seg gunstig;
• en prosentandel uten grunnlinjen, den endelige absolutte verdien og nevneren der det er aktuelt;
• en sammenligning som blander forskjellige formler, omfang, kilder, attribusjonsmodeller, valutaer eller promptkohorter;
• en delvis måned sammenlignet med en hel måned, eller ulike vinduer presentert som likeverdige;
• manglende observasjoner behandlet som null, eller sporingsbrudd skjult i et kontinuerlig diagram;
• et resultat rapportert før minimumsvinduet eller før den normale konverteringssyklusen er fullført;
• en AI-poengsum presentert uten prompt-, motor-, lokale-, konkurrent- og dekningsdefinisjonene;
• et korrelasjonsresultat skrevet som bevis på at bare vårt arbeid forårsaket resultatet;
• bare den beste siden, søket, motoren eller kontrollpunktet når hele den erklærte kohorten er tilgjengelig; eller
• et klientresultat som den autoriserte godkjenneren ikke har godkjent for nøyaktighet, kontekst og offentliggjøring.

Vi sletter heller ikke ugunstige kontrollpunkter fra en serie. En hypotese som bommet kan fortsatt lære teamet hva de bør endre. Å skjule den ville gjort den senere suksessen mindre troverdig, ikke mer.

Publiseringsgodkjenning

Før publisering må personen som er ansvarlig for kundevendte tall, gjengi beregningen fra de frosne eksportene, bekrefte sammenligningsomfanget og datoene, inspisere annotasjonsjournalen, verifisere hver absolutte verdi og prosentandel, godkjenne attribusjonsordlyden og bekrefte at anonymiseringen er i samsvar med klientavtalen. En andre redaksjonell kontroll må sikre at overskriften ikke sier mer enn bevisene.

Det endelige spørsmålet er enkelt: kunne en skeptisk leser identifisere hva som endret seg, hva som ikke gjorde det, hva annet som kan forklare bevegelsen, og hvordan hvert tall ble beregnet? Hvis ikke, er resultatet ikke klart til å publiseres.