Hur vi mäter SEO- och AI-synlighetsresultat

Ett resultat är en uppmätt förändring mot en daterad startpunkt, beräknad med en definition som valts innan arbetet påbörjades och tolkad i kontexten av allt annat som förändrades. Det är inte ett gynnsamt tal som upptäckts efter leverans. Denna metodik är kontraktet bakom varje resultat vi publicerar: en läsare ska kunna ta samma källdata, tillämpa den angivna formeln och nå samma tal.

Den standarden är viktig eftersom sökprestanda är ett observationssystem. Sidor förändras, konkurrenter reagerar, efterfrågan rör sig, sökmotorer uppdateras och marknadsföringskampanjer överlappar. Vi kan bevisa vad vi levererade och när. Vi kan mäta vad som hände därefter. Vi kan påstå att vårt arbete orsakade hela förändringen endast när forskningsdesignen stödjer det påståendet.

Mätprotokollet varje resultat måste innehålla

Varje publicerat resultat måste tillhandahålla tillräcklig information för att kunna granskas. Som minimum innehåller protokollet:

• affärsmålet och det mått som valdes före implementering;
• måttformeln, källan, tidszonen, valutan där relevant, och attribueringsmodellen;
• webbplatsen, katalogen, mallen, sidkohorten, marknaden, enheten, motorn och promptomfattningen;
• baslinje- och jämförelsedatum, inklusive antalet hela dagar i varje fönster;
• det absoluta startvärdet, absoluta slutvärdet och beräknad förändring;
• implementeringsdatum och det exakta arbete som ingår i påståendet;
• väsentliga kommentarer och kända konkurrerande förklaringar;
• saknad data, spårningsförändringar, undantag och urvals- eller nämnarstorlek;
• styrkan i det attribueringsspråk vi har rätt att använda; och
• granskaren som godkände de kundvända siffrorna.

Om ett av dessa fält inte är tillgängligt, avslöjar vi antingen begränsningen bredvid resultatet eller publicerar det inte. Ett privat kalkylblad med reservationen reparerar inte ett okvalificerat offentligt påstående.

1. Vad räknas som ett resultat

Syftet med mätning är att visa om arbetet förändrade något värdefullt. Vi organiserar mått i en kedja, eftersom varje steg besvarar en annan fråga:

1. Leverans: Publicerades den avsedda ändringen korrekt? Exempel inkluderar sidor som släppts, mallar uppdaterade, omdirigeringar lösta och crawler-åtkomst återställd.
2. Upptäckt och synlighet: Hittade eller exponerade sök- eller AI-system arbetet? Exempel inkluderar giltiga indexerade sidor, visningar, rankningsfördelning, AI-synlighetsresultat, omnämnanden och citeringar.
3. Urval och engagemang: Valde människor eller svarsmotorer det? Exempel inkluderar organiska klick, kvalificerade sessioner, citerade webbadresser, engagerade besök och besök på en nästa-steg-sida.
4. Affärsutfall: Skapade det beteendet värde? Exempel inkluderar kvalificerade leads, provanvändningar, köp, prenumerationsintäkter, bokade tider eller ett annat utfall som överenskommits med kunden innan arbetet påbörjades.

Leverans är bevis på att arbetet utfördes. Synlighet är en ledande indikator: ett mått som förväntas röra sig innan ett affärsutfall. Engagemang visar respons. Affärsutfallet är det resultat de flesta organisationer i slutändan finansierar.

Trafik ensam är därför inte ett resultat för de flesta affärsmodeller. Ett SaaS-företag gynnas inte enbart av att 20 000 extra besökare läser en irrelevant artikel; det gynnas när lämpliga prospects startar eller påverkar provanvändningar, demoer och prenumerationer. En e-handelsverksamhet behöver lönsamma beställningar, inte sessioner frånkopplade från intäkter och marginal. En utgivare kan legitimt behandla kvalificerade sidvisningar som ett affärsutfall när dessa visningar producerar reklam- eller prenumerationsvärde, men även då kan bottrafik, oavsiktliga besök och målgruppsgeografi förändra värdet av samma besöksantal.

Vi rapporterar trafik när det är måttets rätta plats i kedjan, och vi parar ihop det med kvalitets- eller nedströmsbevis när affärsmodellen tillåter. Vi vägrar att presentera visningar, en enskild ranking, sidantal, rå trafik, engagemangsgrad eller ett eget resultat som slutligt affärspåverkan när ingen validerad koppling har visats.

Utfallet väljs i förväg. Om det överenskomna primära utfallet är kvalificerade demoförfrågningar, ersätter vi det inte efter leverans med visningar bara för att visningarna ökade och demoförfrågningarna inte gjorde det.

2. Baslinjer: frys startpunkten

En baslinje är en daterad, oföränderlig mätning av den relevanta omfattningen innan den första inom-omfattningen-ändringen lanseras. P5-fasen för baslinjemätning förklarar hur man fångar den. Baslinjen måste använda samma formel, källor, filter, segment, tidszon, valuta, attribueringsmodell, promptuppsättning, konkurrentuppsättning och undantag som den senare kontrollpunkten kommer att använda.

För andelsmått sparar vi täljaren och nämnaren, inte bara andelen. För webbplatsövergripande totaler sparar vi även den påverkade kohorten. Om 40 produktsidor optimeras, förblir deras baslinje separat från de andra 8 000 webbadresserna; annars kan orelaterad webbplatstillväxt dölja vad som hände med arbetet.

En retroaktivt rekonstruerad baslinje är inte en baslinje. När teamet väl känner till utfallet är val om datum, filter, segment och undantag sårbara för efterhandskunskap. Liveverktyg kan också ha ändrat sin bearbetning, lagring, attribuering eller konkurrentdata. Att kalla en rekonstruktion för en baslinje skulle antyda en kontrollnivå som inte fanns.

När en kund inte har en ren historik använder vi ett av tre ärliga alternativ:

• Prospektiv baslinje: anslut och validera mätning, gör ingen ändring inom omfattning under en definierad observationsperiod, frys sedan den perioden före implementering.
• Rekonstruerad referens: exportera bästa tillgängliga historik, dokumentera källa och spårningsförändringar, märk den “rekonstruerad” och begränsa påståendet till vad den överlevande datan stödjer.
• Inget före-och-efter-påstående: påbörja mätning nu och rapportera absoluta kontrollpunktsresultat tills en giltig prospektiv jämförelse finns.

Saknad data är okänd, inte noll. Vi interpolerar den inte bara för att skapa ett rent diagram. Om det saknade intervallet överlappar en väsentlig förändring eller gör jämförelsen icke-ekvivalent, är resultatet inte publicerbart som ett före-och-efter-påstående.

3. Jämförelsefönster och rapporteringsklockan

De två fönstren måste innehålla samma antal hela dagar, använda samma veckodagsblandning och exkludera den ofullständiga aktuella dagen. Vi anger båda intervallen i resultatet istället för att använda etiketter som “förra månaden” som ändrar betydelse över tid.

År-över-år-jämförelse jämför ett fönster med motsvarande kalenderfönster ett år tidigare. Det är vår standard när efterfrågan har säsongsmönster och den tidigare datan är ren. Fasta helgdagar och rörliga helgdagar kommenteras; när en helgdag flyttas mellan fönster och påverkar efterfrågan väsentligt, justerar vi handelsveckor eller redovisar avvikelsen.

Period-över-period-jämförelse jämför intilliggande fönster av samma längd, såsom 28 hela dagar efter implementering med de föregående 28 hela dagarna. Vi använder det när webbplatsen saknar ett rent föregående år, när verksamheten inte är väsentligt säsongsbunden, eller när vi behöver en aktuell operativ signal. Den är mer exponerad för kampanjer, lanseringar, helgdagar och marknadsförändringar, så vi presenterar den aldrig som säsongskontrollerad.

Där tillräcklig historik finns, visar vi båda. År-över-år besvarar “ligger vi före motsvarande säsong?” Period-över-period besvarar “ändrades den senaste riktningen?” Om de inte överensstämmer är oenigheten information att förklara, inte en anledning att dölja en.

Ingen prestationsförändring är rapporterbar som ett resultat före 28 hela dagar har förflutit efter den relevanta ändringen. Tidigare observationer kan bekräfta att en sida är live, crawlningsbar, indexerad eller citerad, men de är implementeringskontroller snarare än resultat. Tjugoåtta dagar är ett golv, inte ett automatiskt godkännande. Vi förlänger fönstret när:

• den normala köp- eller leadcykeln är längre än 28 dagar;
• ändringen tog tid att nå alla sidor eller bearbetas av sök- och AI-system;
• veckovolymen är för liten för att några få händelser ska sluta dominera andelen;
• verksamheten har stark månads-, kvartals- eller årssäsongsvariation; eller
• ett avbrott, kampanj, migrering, spårningsförändring eller större extern händelse förorenar stora delar av fönstret.

Vi förregistrerar den första kontrollpunkten och det avsedda rapporteringsfönstret. Vi flyttar inte start- eller slutdatum upprepade gånger tills kurvan ser gynnsam ut.

4. Attribueringsärlighet

Attribuering är tilldelningen av en observerad effekt till en orsak. Tidpunkt ensam etablerar den inte: “efter” betyder inte nödvändigtvis “på grund av.” Vi använder fyra nivåer av påståenden.

Verifierad leverans innebär att vi kan tillskriva den implementerade ändringen i sig till arbetet: till exempel fick 120 specificerade sidor giltiga kanoniska taggar på det loggade releasedatumet. Det etablerar inte prestationseffekten.

Experimentstödd effekt kräver en design som kan uppskatta en inkrementell effekt, såsom en randomiserad eller trovärdigt matchad kontrollgrupp med en förspecificerad hypotes, mått, urval och slutdatum. Vi beskriver designen och osäkerheten; vi omvandlar inte ett ofullkomligt innehållsexperiment till laboratoriesäkerhet.

Bidragande bevis gäller när den påverkade kohorten rör sig efter den loggade ändringen, riktningen matchar den förspecificerade hypotesen, och en oförändrad referenskohort eller konkurrentriktmärke inte visar samma rörelse. Vi kan säga att resultatet är “förenligt med,” “associerat med,” eller “stödjer bidraget från” arbetet.

Endast korrelation gäller när måttet rörde sig efter ändringen men inget giltigt kontrafaktiskt finns. Vi rapporterar sekvensen och de konkurrerande förklaringarna. Vi säger inte “genererade,” “orsakade,” eller “levererade” för utfallet.

I ordinärt kundarbete kan vi ofta inte separera effekten av:

• sökmotor- eller AI-leverantörens algoritmuppdateringar;
• säsongsvariation, helgdagar, väder och förändringar i underliggande efterfrågan;
• betald sökning, betalda sociala medier, retargeting och affiliate-aktivitet;
• PR-täckning, kreatörsaktivitet, varumärkeskampanjer och offline-promotion;
• produktlanseringar, prissättning, tillgänglighet, merchandising och konverteringsgradsförändringar;
• migreringar, omdesigner, spårningsförändringar, samtyckesförändringar och avbrott;
• konkurrentlanseringar, förluster, kampanjer och förändringar i medieutgifter; eller
• ekonomiska, regulatoriska, kulturella och kategorinivåmarknadsskiften.

Vi namnger de faktorer som inträffade, säger om var och en sannolikt påverkar den uppmätta kohorten och sänker styrkan i påståendet därefter. Om betald och organisk marknadsföring landar på samma sida under en lansering, tilldelar vi inte alla konverteringar till organiskt innehåll. Om en algoritmuppdatering överlappar kontrollpunkten, kan vi rapportera relativ rörelse mot opåverkade segment eller konkurrenter, men den jämförelsen är bevis, inte perfekt isolering.

5. Kommentarer möjliggör tolkning

En kommentar är en daterad registrering av en ändring eller extern händelse placerad på samma tidslinje som måttet. Utan kommentarer blir attribuering ett minnesövning månader senare.

Vi loggar händelsen när den inträffar, inte när rapporteringen börjar. Varje kommentar registrerar datum och tidszon, ägare, påverkade webbadresser eller segment, kategori, beskrivning, driftsättnings- eller kampanjreferens, förväntat mått och riktning, förväntad fördröjning, kontrollpunktsdatum och känd överlappande aktivitet. Flerdagarslanseringar har start- och slutdatum. Återföringar och återrullningar får egna poster istället för att skriva över originalposten.

Vi kommenterar innehållslanseringar, tekniska driftsättningar, migreringar, omdirigeringar, malländringar, analys- och samtyckesförändringar, avbrott, betalda kampanjer, PR, produkt- och prisförändringar, större konkurrenthändelser och bekräftade plattformsuppdateringar. Kommentarsutfall håller dessa ändringar, förväntningar, kontrollpunkter och observerade utfall samlade samtidigt som association uttryckligen behandlas som bevis snarare än bevis på orsakssamband.

6. Hur vi mäter AI-synlighet

AI-synlighetsmått beräknas separat eftersom de besvarar olika frågor. Vi blandar aldrig synlighet, röst, citeringar, sentiment och rankning till ett uppskattat “AI-påverkansnummer”.

Innan vi jämför perioder fryser vi prompttexten, ämnet, lokalen, motorn, körningsfrekvensen, den övervakade varumärkesuppsättningen och den övervakade domänuppsättningen. En promptobservation är ett lagrat svar från en definierad prompt, motor, lokal och schemalagd körning. Svaret och dess citerade webbadresser sparas så att aggregeringen kan granskas.

AI-synlighetsresultat

Synlighetsresultatet besvarar: “För hur stor del av den spårade promptuppsättningen fick denna domän minst en citering?”

AI-synlighetsresultat = promptobservationer som citerar domänen minst en gång ÷ alla giltiga promptobservationer i den frysta kohorten × 100

Flera citeringar i ett svar gör inte den observationen mer synlig; den räknas en gång i täljaren. Ett insamlingsfel är inte ett noll-citeringssvar. Det är saknad data, rapporterad genom täckning och omkörning eller exkluderad konsekvent från båda fönstren. AI-synlighet visar de underliggande svar som behövs för att inspektera resultatet.

Andel av röst (Share of voice)

Andel av röst besvarar: “Av de övervakade varumärken som nämns i dessa svar, vilken andel tillhörde detta varumärke?”

Andel av röst = omnämnanden av varumärket ÷ omnämnanden av varje övervakat varumärke i den fasta konkurrentuppsättningen × 100

Vi anger om räkningsenheten är ett omnämnande per svar eller varje förekomst av omnämnande och håller den regeln oförändrad. Vi normaliserar inte om historiken när en konkurrent läggs till; en förändring av konkurrentuppsättningen startar en ny jämförbar serie eller gör att det tidigare fönstret räknas om från lagrade svar.

Citeringsandel

Citeringsandel besvarar: “Av citeringarna som tilldelats den övervakade domänuppsättningen, vilken andel pekade på denna domän?”

Citeringsandel = citeringar till domänen ÷ citeringar till varje övervakad domän i den fasta uppsättningen × 100

Täljaren räknar citeringar, inte varumärkesomnämnanden. Ett svar kan citera flera webbadresser från samma domän, och varje citering räknas enligt den deklarerade regeln. Rapportering på domännivå får inte presenteras som sidnivåprestanda. Käll- och citeringsintelligens behåller domänen, webbadressen, prompten och motorinformationen bakom aggregeringen.

Dessa mått har kända begränsningar. AI-svar kan variera mellan körningar; leverantörer ändrar modeller, hämtningssystem, gränssnitt och citeringsbeteende; plats, språk, personalisering och färskhet kan förändra ett svar; och den valda prompt- och konkurrentuppsättningen definierar det uppmätta universumet. En spårad uppsättning är ett repeterbart urval av de frågor vi valde, inte en folkräkning av allt potentiella kunder frågar. Citeringsnärvaro bevisar inte heller att en person såg, litade på eller besökte källan. Vi rapporterar därför motor, lokal, kohort, körningsfrekvens, täckning och absoluta antal med varje väsentligt AI-synlighetspåstående.

7. Avrundning, intervall och absoluta värden

Procentsatser publiceras aldrig ensamma. Varje procentsats visas med de absoluta värden som används för att beräkna den.

För en förändring i antal rapporterar vi baslinjen, slutvärdet, absolut skillnad och relativ förändring: “kvalificerade organiska leads ökade från 40 till 52, upp 12 leads eller 30%.” För en andel rapporterar vi båda andelarna i procentenheter och inkluderar deras täljare och nämnare: “konverteringsgraden gick från 2,0% (40/2 000) till 2,4% (52/2 167), upp 0,4 procentenheter.” Att kalla det en ökning på 0,4% skulle vara felaktigt; den relativa ökningen är 20%.

Antal är heltal. Procentsatser avrundas normalt till en decimal, förutom när det skulle göra ett nollskilt värde till 0,0%, i vilket fall vi lägger till en andra decimal. Vi beräknar förändringar från oavrundade indata och avrundar endast det visade resultatet. Värden under 1 000 förkortas inte. Större förkortningar kan förekomma i rubriker, men det exakta numret finns kvar i brödtexten eller i en tillgänglig tabell.

Vi använder intervall endast när källan eller metoden verkligen producerar osäkerhet. Intervallet måste namnge sin metod, såsom ett konfidensintervall, attribueringsmodellintervall eller datatäckningsgräns. Vi uppfinner inte ett intervall för att få en punktskattning att se vetenskaplig ut, och vi ersätter inte små exakta antal med procentsatser som överdriver förändring.

8. Kundanonymisering utan att förlora innebörd

Ett anonymt resultat måste förbli testbart. Vi kan ersätta kundnamn, domän, produktnamn och kommersiellt känsliga siffror, men den publicerade redogörelsen måste bevara:

• affärsmodell, bred kategori, marknad och väsentliga begränsningar;
• webbplats- eller sidkohortomfattning och typen av sidor som ändrades;
• exakta baslinje- och jämförelsedatum samt fönsterlängder;
• måttdefinition, källa, attribueringsmodell och nämnare;
• absoluta baslinje- och slutvärden, eller en explicit indexerad serie när avtalsenlig sekretess förbjuder absoluta värden;
• interventionen, releasedatum och förfluten tid före mätning;
• känd samtidig aktivitet och den resulterande attribueringsbegränsningen; och
• tillräcklig metodinformation för att ett annat team ska kunna tillämpa beräkningen.

Om exakta kommersiella värden inte kan visas, kan ett index sätta baslinjen till 100 och tillämpa samma skala på varje senare punkt. Vi märker det som indexerat och visar fortfarande de underliggande händelse- eller urvalsräkningarna där offentliggörande tillåter. Vi kombinerar aldrig flera kunder till en fiktiv “typisk kund,” ändrar datum för att stärka kurvan, eller döljer att resultatet kom från en katalog snarare än hela webbplatsen.

Om bevarandet av denna kontext skulle identifiera kunden publicerar vi inte resultatet. Sekretess är en anledning att avstå från en fallstudie, inte tillstånd att publicera en imponerande men overifierbar procentsats.

9. Vad vi inte kommer att publicera

Publicering är ett urvalsbeslut, så dess regler måste vara lika strikta som dess beräkningar. Vi kommer inte att publicera:

• ett noggrant utvalt startdatum, slutdatum, sökmotor, land, enhet, prompt, sökord eller segment;
• en enskild sidvinst som beskrivs som webbplatsövergripande tillväxt;
• ett mått som valts i efterhand eftersom det rörde sig gynnsamt;
• en procentsats utan dess baslinje, slutliga absoluta värde och nämnare där tillämpligt;
• en jämförelse som blandar olika formler, omfattningar, källor, attribueringsmodeller, valutor eller promptkohorter;
• en ofullständig månad jämförd med en hel månad, eller ojämna fönster som presenteras som likvärdiga;
• saknade observationer behandlade som noll, eller spårningsbrott gömda i ett kontinuerligt diagram;
• ett resultat som rapporterats före minimifönstret eller före den normala konverteringscykeln slutförts;
• ett AI-resultat presenterat utan dess prompt-, motor-, lokal-, konkurrent- och täckningsdefinitioner;
• ett korrelationsresultat skrivet som bevis på att endast vårt arbete orsakade utfallet;
• endast den bästa sidan, frågan, motorn eller kontrollpunkten när hela deklarerade kohorten är tillgänglig; eller
• ett kundresultat som den auktoriserade granskaren inte har godkänt för noggrannhet, kontext och offentliggörande.

Vi tar inte heller bort ogynnsamma kontrollpunkter från en serie. En hypotes som misslyckades kan fortfarande lära teamet vad de ska ändra. Att dölja den skulle göra den senare framgången mindre trovärdig, inte mer.

Publiceringsgodkännande

Före publicering måste personen som ansvarar för kundvända siffror återskapa beräkningen från de frysta exportfilerna, bekräfta jämförelseomfattning och datum, granska kommentarsregistret, verifiera varje absolutvärde och procentsats, godkänna attribueringsordalydelsen och bekräfta att anonymiseringen följer kundavtalet. En andra redaktionell kontroll måste säkerställa att rubriken inte säger mer än bevisen.

Den slutgiltiga frågan är enkel: kan en skeptisk läsare identifiera vad som förändrades, vad som inte gjorde det, vad mer som kan förklara förändringen och hur varje siffra beräknades? Om inte, är resultatet inte redo att publiceras.