Sådan måler vi SEO- og AI-synlighedsresultater

Et resultat er en målt ændring i forhold til et dateret udgangspunkt, beregnet med en definition valgt før arbejdet begyndte og fortolket i sammenhæng med alt andet, der ændrede sig. Det er ikke et gunstigt tal opdaget efter levering. Denne metode er kontrakten bag ethvert resultat, vi publicerer: en læser skal kunne tage de samme kildedata, anvende den angivne formel og nå frem til det samme tal.

Den standard er vigtig, fordi søgepræstation er et observationssystem. Sider ændrer sig, konkurrenter reagerer, efterspørgslen bevæger sig, søgemaskiner opdateres, og marketingkampagner overlapper. Vi kan bevise, hvad vi sendte, og hvornår. Vi kan måle, hvad der skete derefter. Vi kan kun hævde, at vores arbejde forårsagede hele bevægelsen, når forskningsdesignet understøtter den påstand.

Måleregistreringen ethvert resultat skal indeholde

Ethvert publiceret resultat skal give tilstrækkelig information til at kunne revideres. Som minimum indeholder registreringen:

• forretningsmålet og den metrik, der blev valgt før implementering;
• den metriske formel, kilde, tidszone, valuta hvor relevant, og attributionsmodel;
• webstedet, mappen, skabelonen, sidekohorten, markedet, enheden, motoren og promptomfanget;
• baseline- og sammenligningsdatoer, herunder antallet af komplette dage i hvert vindue;
• den absolutte startværdi, absolutte slutværdi og beregnede ændring;
• implementeringsdatoer og det præcise arbejde, der indgår i påstanden;
• væsentlige annoteringer og kendte konkurrerende forklaringer;
• manglende data, sporingsændringer, udelukkelser og stikprøve- eller nævnerstørrelse;
• styrken af det attributionssprog, vi er berettiget til at bruge; og
• den reviewer, der godkendte de kundevendte tal.

Hvis et af disse felter ikke er tilgængeligt, oplyser vi enten begrænsningen ved siden af resultatet eller publicerer det ikke. Et privat regneark med forbeholdet reparerer ikke et ukvalificeret offentligt krav.

1. Hvad tæller som et resultat

Formålet med måling er at vise, om arbejdet ændrede noget værdifuldt. Vi organiserer metrikker som en kæde, fordi hvert trin besvarer et forskelligt spørgsmål:

1. Levering: Blev den tilsigtede ændring publiceret korrekt? Eksempler omfatter sider udgivet, skabeloner opdateret, omdirigeringer løst og crawler-adgang genoprettet.
2. Opdagelse og synlighed: Fandt søge- eller AI-systemer arbejdet og viste det frem? Eksempler omfatter gyldige indekserede sider, visninger, rangeringsfordeling, AI-synlighedsscore, omtaler og citeringer.
3. Udvalg og engagement: Valgte mennesker eller svarmotorer det? Eksempler omfatter organiske klik, kvalificerede sessioner, citerede URL’er, engagerede besøg og besøg på en næste-trins-side.
4. Forretningsresultat: Skabte den adfærd værdi? Eksempler omfatter kvalificerede leads, prøveperioder, køb, abonnementsindtægter, bookede aftaler eller et andet resultat aftalt med kunden før arbejdet begyndte.

Levering er bevis på, at arbejdet fandt sted. Synlighed er en førende indikator: en måling, der forventes at bevæge sig før et forretningsresultat. Engagement viser respons. Forretningsresultatet er det resultat, de fleste organisationer i sidste ende finansierer.

Trafik alene er derfor ikke et resultat for de fleste forretningsmodeller. En SaaS-virksomhed drager ikke fordel af, at 20.000 ekstra besøgende læser en irrelevant artikel; den drager fordel, når egnede potentielle kunder starter eller påvirker prøveperioder, demoer og abonnementer. En e-handelsvirksomhed har brug for profitable ordrer, ikke sessioner løsrevet fra omsætning og margin. En udgiver kan med rette behandle kvalificerede sidevisninger som et forretningsresultat, når disse visninger skaber annonce- eller abonnementsværdi, men selv da kan robot-trafik, utilsigtede besøg og målgruppens geografi ændre værdien af det samme antal besøg.

Vi rapporterer trafik, når det er metricens rette plads i kæden, og vi parrer det med kvalitets- eller nedstrømsbevis, når forretningsmodellen tillader det. Vi nægter at præsentere visninger, en enkelt rangering, sideantal, rå trafik, engagementsrate eller en proprietær score som endelig forretningspåvirkning, når der ikke er vist nogen valideret sammenhæng.

Resultatet vælges på forhånd. Hvis det aftalte primære resultat er kvalificerede demoforespørgsler, erstatter vi det ikke efter levering med visninger, blot fordi visningerne steg, og demoforespørgslerne ikke gjorde.

2. Baselinjer: fastfrys udgangspunktet

En baseline er en dateret, uforanderlig måling af det relevante omfang, før den første ændring inden for omfanget sendes. P5-baselinjemålingsfasen forklarer, hvordan man indfanger den. Baselinjen skal bruge den samme formel, kilder, filtre, segmenter, tidszone, valuta, attributionsmodel, promptsæt, konkurrentsæt og udelukkelser, som det senere kontrolpunkt vil bruge.

For ratemetrikker gemmer vi tælleren og nævneren, ikke kun raten. For webstedsdækkende totaler gemmer vi også den berørte kohorte. Hvis 40 produktsider optimeres, forbliver deres baseline adskilt fra de andre 8.000 URL’er; ellers kan uafhængig vækst på webstedet skjule, hvad der skete med arbejdet.

En retrospektivt rekonstrueret baseline er ikke en baseline. Når teamet kender resultatet, er valg af datoer, filtre, segmenter og udelukkelser sårbare over for bagklogskab. Live-værktøjer kan også have ændret deres behandling, datalagring, attribution eller konkurrentdata. At kalde en rekonstruktion for en baseline ville antyde et kontrolniveau, der ikke eksisterede.

Når en kunde ikke har en ren historik, bruger vi et af tre ærlige alternativer:

• Prospektiv baseline: Tilslut og valider måling, foretag ingen ændring inden for omfanget i en defineret observationsperiode, og fastfrys derefter perioden før implementering.
• Rekonstrueret reference: Eksporter den bedst tilgængelige historik, dokumenter kilde- og sporingsændringer, mærk den “rekonstrueret,” og begræns kravet til, hvad de overlevende data understøtter.
• Ingen før-og-efter-påstand: Begynd måling nu og rapporter absolut kontrolpunktspræstation, indtil en gyldig prospektiv sammenligning eksisterer.

Manglende data er ukendte, ikke nul. Vi interpolerer dem ikke blot for at skabe et pænt diagram. Hvis det manglende interval overlapper en væsentlig ændring eller gør sammenligningen ikke-ækvivalent, er resultatet ikke publicerbart som en før-og-efter-påstand.

3. Sammenligningsvinduer og rapporteringsuret

De to vinduer skal indeholde det samme antal komplette dage, bruge den samme ugedagsblanding og udelukke den uafsluttede nuværende dag. Vi angiver begge intervaller i resultatet frem for at bruge etiketter som “sidste måned,” der skifter betydning over tid.

År-over-år-sammenligning sammenligner et vindue med det tilsvarende kalendervindue et år tidligere. Det er vores standard, når efterspørgslen har sæsonmønstre, og de tidligere data er rene. Faste helligdage og bevægelige helligdage annoteres; når en helligdag flytter sig mellem vinduer og væsentligt påvirker efterspørgslen, justerer vi handelsuger eller oplyser uoverensstemmelsen.

Periode-over-periode-sammenligning sammenligner tilstødende vinduer af samme længde, såsom 28 komplette dage efter implementering med de foregående 28 komplette dage. Vi bruger det, når webstedet mangler et rent foregående år, når virksomheden ikke er væsentligt sæsonbestemt, eller når vi har brug for et nyligt operationelt signal. Det er mere udsat for kampagner, lanceringer, helligdage og markedsændringer, så vi præsenterer det aldrig som sæsonkontrolleret.

Hvor der eksisterer tilstrækkelig historik, viser vi begge dele. År over år svarer på “er vi foran den tilsvarende sæson?” Periode over periode svarer på “ændrede den seneste retning sig?” Hvis de er uenige, er uenigheden information at forklare, ikke en grund til at skjule den ene.

Ingen præstationsbevægelse er rapporterbar som et resultat før 28 komplette dage er forløbet efter den relevante ændring. Tidligere observationer kan verificere, at en side er live, crawlbare, indekseret eller citeret, men de er implementeringskontrol snarere end resultater. Otteogtyve dage er et gulv, ikke en automatisk godkendelse. Vi forlænger vinduet, når:

• den normale købs- eller leadcyklus er længere end 28 dage;
• ændringen tog tid at nå alle sider eller blive behandlet af søge- og AI-systemer;
• ugentlig volumen er for lille til, at få hændelser stopper med at dominere raten;
• virksomheden har stærk månedlig, kvartalsvis eller årlig sæsonudsving; eller
• en nedetid, kampagne, migration, sporingsændring eller større ekstern begivenhed forurener en stor del af vinduet.

Vi forhåndsregistrerer det første kontrolpunkt og det tilsigtede rapporteringsvindue. Vi bliver ikke ved med at flytte start- eller slutdatoerne, før kurven ser gunstig ud.

4. Attributionsærlighed

Attribution er tildelingen af en observeret effekt til en årsag. Timing alene etablerer det ikke: “efter” betyder ikke nødvendigvis “på grund af.” Vi bruger fire niveauer af påstande.

Verificeret levering betyder, at vi kan tilskrive den implementerede ændring i sig selv til arbejdet: for eksempel modtog 120 specificerede sider gyldige canonical-tags på den loggede udgivelsesdato. Det etablerer ikke præstationseffekten.

Eksperimentunderstøttet effekt kræver et design, der er i stand til at estimere en inkrementel effekt, såsom en randomiseret eller troværdigt matchet holdout med en forhåndsspecificeret hypotese, metrik, stikprøve og slutdato. Vi beskriver designet og usikkerheden; vi omdanner ikke et uperfekt indholdseksperiment til laboratoriesikkerhed.

Bidragende bevis gælder, når den berørte kohorte bevæger sig efter den loggede ændring, retningen matcher den forhåndsspecificerede hypotese, og en uændret referencekohorte eller konkurrencemæssig benchmark ikke viser den samme bevægelse. Vi kan sige, at resultatet er “i overensstemmelse med,” “associeret med” eller “understøtter bidraget fra” arbejdet.

Kun korrelation gælder, når metricen bevægede sig efter ændringen, men der ikke eksisterer nogen gyldig kontrafaktisk situation. Vi rapporterer sekvensen og de konkurrerende forklaringer. Vi siger ikke “genererede,” “forårsagede” eller “leverede” for resultatet.

I almindeligt kundearbejde kan vi ofte ikke adskille effekten af:

• søgemaskine- eller AI-udbyderalgoritmeopdateringer;
• sæsonudsving, helligdage, vejr og ændringer i underliggende efterspørgsel;
• betalt søgning, betalt social, retargeting og affiliate-aktivitet;
• PR-dækning, creator-aktivitet, brandkampagner og offline-promovering;
• produktlanceringer, prissætning, tilgængelighed, merchandising og konverteringsrateændringer;
• migrationer, redesigns, sporingsændringer, samtykkeændringer og nedetid;
• konkurrentlanceringer, -tab, -kampagner og ændringer i medieforbrug; eller
• økonomiske, regulatoriske, kulturelle og kategoriniveau-markedsændringer.

Vi navngiver de faktorer, der opstod, siger, om hver sandsynligvis påvirker den målte kohorte, og sænker styrken af påstanden tilsvarende. Hvis betalt og organisk lander på samme side under en lancering, tildeler vi ikke alle konverteringer til organisk indhold. Hvis en algoritmeopdatering overlapper kontrolpunktet, kan vi rapportere relativ bevægelse mod upåvirkede segmenter eller konkurrenter, men den sammenligning er bevis, ikke perfekt isolation.

5. Annoteringer gør fortolkning mulig

En annotering er en dateret registrering af en ændring eller ekstern begivenhed placeret på samme tidslinje som metricen. Uden annoteringer bliver attribution til en hukommelsesøvelse måneder senere.

Vi logger begivenheden, når den sker, ikke når rapporteringen begynder. Hver annotering registrerer dato og tidszone, ejer, berørte URL’er eller segment, kategori, beskrivelse, implementerings- eller kampagnereference, forventet metrik og retning, forventet forsinkelse, kontrolpunktsdato og kendt overlappende aktivitet. Flerdagesudgivelser har start- og slutdatoer. Tilbageførsler og rollbacks får deres egne indtastninger frem for at overskrive den originale.

Vi annoterer indholdsudgivelser, tekniske implementeringer, migrationer, omdirigeringer, skabelonændringer, analyse- og samtykkeændringer, nedetid, betalte kampagner, PR, produkt- og prisændringer, større konkurrentbegivenheder og bekræftede platformopdateringer. Annotation Outcomes holder disse ændringer, forventninger, kontrolpunkter og observerede resultater sammen, mens den eksplicit behandler association som bevis snarere end bevis for kausalitet.

6. Hvordan vi måler AI-synlighed

AI-synlighedsmetrikker beregnes separat, fordi de besvarer forskellige spørgsmål. Vi blander aldrig synlighed, stemme, citeringer, stemning og rangering til et estimeret “AI-påvirknings”-tal.

Før vi sammenligner perioder, fastfryser vi promptteksten, emnet, sproget, motoren, kørselsfrekvensen, det overvågede brandsæt og det overvågede domænesæt. En promptobservation er ét gemt svar fra én defineret prompt, motor, sprog og planlagt kørsel. Svaret og dets citerede URL’er bevares, så aggregatet kan revideres.

AI-synlighedsscore

Synlighedsscoren svarer på: “For hvor stor en del af det spores promptsæt optjente dette domæne mindst én citering?”

AI-synlighedsscore = promptobservationer, der citerer domænet mindst én gang ÷ alle gyldige promptobservationer i den fastfrosne kohorte × 100

Flere citeringer i ét svar gør ikke den observation mere synlig; den tæller én gang i tælleren. En indsamlingsfejl er ikke et svar uden citeringer. Det er manglende data, rapporteret gennem dækning og genkørsel eller udelukket konsekvent fra begge vinduer. AI Visibility visningen eksponerer de underliggende svar, der er nødvendige for at inspicere scoren.

Share of voice

Share of voice svarer på: “Af de overvågede brands nævnt i disse svar, hvilken andel tilhørte dette brand?”

Share of voice = omtaler af brandet ÷ omtaler af alle overvågede brands i det faste konkurrentsæt × 100

Vi angiver, om tælleenheden er én omtale pr. svar eller hver forekomst af omtale, og holder den regel uændret. Vi renormaliserer ikke historikken, når en konkurrent tilføjes; en ændring af konkurrentsættet starter en ny sammenlignelig serie eller får det tidligere vindue til at blive genberegnet fra gemte svar.

Citeringsandel

Citeringsandel svarer på: “Af citeringerne tildelt det overvågede domænesæt, hvilken andel pegede på dette domæne?”

Citeringsandel = citeringer til domænet ÷ citeringer til alle overvågede domæner i det faste sæt × 100

Tælleren tæller citeringer, ikke brandomtaler. Ét svar kan citere flere URL’er fra samme domæne, og hver citering tæller under den erklærede regel. Rapportering på domæneniveau må ikke præsenteres som præstation på sideniveau. Source & Citation Intelligence gemmer domænet, URL’en, prompten og motordetaljerne bag aggregatet.

Disse metrikker har kendte begrænsninger. AI-svar kan variere mellem kørsler; udbydere ændrer modeller, søgesystemer, grænseflader og citeringsadfærd; placering, sprog, personalisering og friskhed kan ændre et svar; og de valgte prompt- og konkurrentsæt definerer det målte univers. Et spores sæt er en gentagelig stikprøve af de spørgsmål, vi valgte, ikke en optælling af alt, hvad potentielle kunder spørger om. Tilstedeværelse af citering beviser heller ikke, at en person så, stolede på eller besøgte kilden. Vi rapporterer derfor motor, sprog, kohorte, kørselsfrekvens, dækning og absolutte antal med enhver væsentlig AI-synlighedspåstand.

7. Afrunding, intervaller og absolutte værdier

Procentsatser publiceres aldrig alene. Enhver procentsats vises med de absolutte værdier, der blev brugt til at beregne den.

For en talsændring rapporterer vi baselinjen, slutværdien, den absolutte forskel og den relative ændring: “kvalificerede organiske leads steg fra 40 til 52, en stigning på 12 leads eller 30%.” For en rate rapporterer vi begge rater i procentpoint og inkluderer deres tællere og nævnere: “konverteringsraten gik fra 2,0% (40/2.000) til 2,4% (52/2.167), en stigning på 0,4 procentpoint.” At kalde det en stigning på 0,4% ville være forkert; den relative stigning er 20%.

Tal er hele tal. Procentsatser afrundes normalt til én decimal, undtagen når det ville gøre en ikke-nul værdi til 0,0%, i hvilket tilfælde vi tilføjer en ekstra decimal. Vi beregner ændringer ud fra uafrundede input og afrunder kun det viste resultat. Værdier under 1.000 forkortes ikke. Større forkortelser kan forekomme i overskrifter, men det nøjagtige tal forbliver i brødteksten eller en tilgængelig tabel.

Vi bruger kun intervaller, når kilden eller metoden faktisk producerer usikkerhed. Intervallet skal angive sin metode, såsom et konfidensinterval, attributionsmodelinterval eller datadækningsgrænse. Vi opfinder ikke et interval for at få et punktestimat til at se videnskabeligt ud, og vi erstatter ikke små præcise tal med procentsatser, der overdriver bevægelse.

8. Kundeanonymisering uden at fjerne betydning

Et anonymt resultat skal forblive testbart. Vi kan erstatte kundenavnet, domænet, produktnavnene og kommercielt følsomme tal, men den publicerede redegørelse skal bevare:

• forretningsmodel, bred kategori, marked og væsentlige begrænsninger;
• webstedets eller sidekohortens omfang og typen af ændrede sider;
• nøjagtige baseline- og sammenligningsdatoer og vindueslængder;
• metrikdefinition, kilde, attributionsmodel og nævner;
• absolutte baseline- og slutværdier eller en eksplicit indekseret serie, når kontraktuel fortrolighed forhindrer absolutter;
• interventionen, udgivelsesdatoer og forløbet tid før måling;
• kendt samtidig aktivitet og den deraf følgende attributionsbegrænsning; og
• nok metodedetaljer til, at et andet team kan anvende beregningen.

Hvis nøjagtige kommercielle værdier ikke kan vises, kan et indeks sætte baselinjen til 100 og anvende samme skala på ethvert senere punkt. Vi mærker det som indekseret og viser stadig de underliggende begivenheds- eller stikprøveantal, hvor offentliggørelse tillader det. Vi kombinerer aldrig flere kunder til en fiktiv “typisk kunde,” ændrer datoer for at styrke kurven eller skjuler, at resultatet kom fra én mappe frem for hele webstedet.

Hvis bevarelse af denne kontekst ville identificere kunden, publicerer vi ikke resultatet. Fortrolighed er en grund til at tilbageholde en case, ikke tilladelse til at publicere en imponerende, men uverificerbar procentdel.

9. Hvad vi ikke vil publicere

Publicering er en udvælgelsesbeslutning, så dens regler skal være lige så strenge som dens beregninger. Vi vil ikke publicere:

• en håndplukket startdato, slutdato, søgemaskine, land, enhed, prompt, søgeord eller segment;
• en enkelt sides succes beskrevet som vækst på hele webstedet;
• en metrik valgt efter kendsgerningen, fordi den bevægede sig gunstigt;
• en procentdel uden dens baseline, endelige absolutte værdi og nævner, hvor relevant;
• en sammenligning, der blander forskellige formler, omfang, kilder, attributionsmodeller, valutaer eller promptkohorter;
• en delvis måned sammenlignet med en hel måned, eller ulige vinduer præsenteret som ækvivalente;
• manglende observationer behandlet som nul, eller sporingsbrud skjult i et sammenhængende diagram;
• et resultat rapporteret før minimumsvinduet eller før den normale konverteringscyklus er fuldført;
• en AI-score præsenteret uden dens prompt-, motor-, sprog-, konkurrent- og dækningsdefinitioner;
• et korrelationelt resultat skrevet som bevis på, at kun vores arbejde forårsagede resultatet;
• kun den bedste side, forespørgsel, motor eller kontrolpunkt, når hele den erklærede kohorte er tilgængelig; eller
• et kunderesultat, som den autoriserede reviewer ikke har godkendt for nøjagtighed, kontekst og offentliggørelse.

Vi sletter heller ikke ugunstige kontrolpunkter fra en serie. En hypotese, der ikke holdt, kan stadig lære teamet, hvad de skal ændre. At skjule den ville gøre den senere succes mindre troværdig, ikke mere.

Publiceringsgodkendelse

Før publicering skal personen med ansvar for kundevendte tal genberegne resultatet ud fra de fastfrosne eksporter, bekræfte sammenligningsomfanget og datoerne, inspicere annoteringsbogen, verificere hvert absolut tal og procentdel, godkende attributionsordlyden og bekræfte, at anonymiseringen overholder kundens aftale. En anden redaktionel kontrol skal sikre, at overskriften ikke siger mere end beviserne.

Det sidste spørgsmål er enkelt: Kan en skeptisk læser identificere, hvad der ændrede sig, hvad der ikke gjorde, hvad der ellers kunne forklare bevægelsen, og hvordan hvert tal blev beregnet? Hvis ikke, er resultatet ikke klar til publicering.