Como Medimos Resultados de SEO e Visibilidade em IA

Um resultado é uma mudança medida em relação a um ponto de partida datado, calculada com uma definição escolhida antes do início do trabalho e interpretada no contexto de tudo o mais que mudou. Não é um número favorável descoberto após a entrega. Esta metodologia é o contrato por trás de cada resultado que publicamos: um leitor deve ser capaz de pegar os mesmos dados de origem, aplicar a fórmula declarada e chegar ao mesmo número.

Esse padrão é importante porque o desempenho de busca é um sistema observacional. Páginas mudam, concorrentes reagem, a demanda se move, os motores de busca são atualizados e as campanhas de marketing se sobrepõem. Podemos provar o que implementamos e quando. Podemos medir o que aconteceu em seguida. Podemos afirmar que nosso trabalho causou todo o movimento apenas quando o desenho da pesquisa suporta essa afirmação.

O registro de medição que todo resultado deve incluir

Todo resultado publicado deve fornecer informações suficientes para ser auditado. No mínimo, seu registro contém:

• o objetivo de negócio e a métrica selecionada antes da implementação;
• a fórmula da métrica, fonte, fuso horário, moeda quando relevante e modelo de atribuição;
• o site, diretório, template, coorte de páginas, mercado, dispositivo, motor, e escopo de prompt;
• datas de baseline e comparação, incluindo o número de dias completos em cada janela;
• o valor inicial absoluto, valor final absoluto e a mudança calculada;
• datas de implementação e o trabalho exato incluído na alegação;
• anotações materiais e explicações concorrentes conhecidas;
• dados ausentes, mudanças de rastreamento, exclusões e tamanho da amostra ou denominador;
• a força da linguagem de atribuição que temos direito de usar; e
• o revisor que aprovou os números apresentados ao cliente.

Se um desses campos não estiver disponível, divulgamos a limitação junto ao resultado ou não o publicamos. Uma planilha privada contendo a ressalva não repara uma alegação pública não qualificada.

1. O que conta como resultado

O propósito da medição é mostrar se o trabalho mudou algo valioso. Organizamos as métricas em uma cadeia, porque cada estágio responde a uma pergunta diferente:

1. Entrega: A mudança pretendida foi publicada corretamente? Exemplos incluem páginas lançadas, templates atualizados, redirecionamentos resolvidos e acesso de crawler restaurado.
2. Descoberta e visibilidade: Os sistemas de busca ou IA encontraram e exibiram o trabalho? Exemplos incluem páginas indexadas válidas, impressões, distribuição de rankings, pontuação de visibilidade em IA, menções e citações.
3. Seleção e engajamento: As pessoas ou mecanismos de resposta o selecionaram? Exemplos incluem cliques orgânicos, sessões qualificadas, URLs citadas, visitas engajadas e visitas a uma página de próximo passo.
4. Resultado de negócio: Esse comportamento criou valor? Exemplos incluem leads qualificados, trials, compras, receita de assinaturas, agendamentos ou outro resultado acordado com o cliente antes do início do trabalho.

Entrega é a evidência de que o trabalho aconteceu. Visibilidade é um indicador antecedente: uma medida que se espera que se mova antes de um resultado de negócio. Engajamento mostra resposta. O resultado de negócio é o resultado que a maioria das organizações eventualmente financia.

Tráfego sozinho, portanto, não é um resultado para a maioria dos modelos de negócio. Uma empresa de SaaS não se beneficia apenas porque 20.000 visitantes extras leram um artigo irrelevante; ela se beneficia quando prospects adequados iniciam ou influenciam trials, demonstrações e assinaturas. Um negócio de e-commerce precisa de pedidos lucrativos, não de sessões desconectadas de receita e margem. Uma editora pode legitimamente tratar visualizações de página qualificadas como um resultado de negócio quando essas visualizações produzem valor de publicidade ou assinatura, mas mesmo assim, tráfego de bots, visitas acidentais e geografia do público podem alterar o valor da mesma contagem de visitas.

Relatamos tráfego quando ele é o lugar adequado da métrica na cadeia, e o emparelhamos com evidências de qualidade ou downstream sempre que o modelo de negócio permitir. Recusamos apresentar impressões, um ranking único, contagem de páginas, tráfego bruto, taxa de engajamento ou uma pontuação proprietária como impacto final de negócio quando nenhuma conexão validada foi demonstrada.

O resultado é selecionado antecipadamente. Se o resultado primário acordado for solicitações qualificadas de demonstração, não o substituímos após a entrega por impressões simplesmente porque as impressões aumentaram e as solicitações de demonstração não.

2. Baselines: congele o ponto de partida

Um baseline é uma medição datada e imutável do escopo relevante antes que a primeira mudança no escopo seja implementada. A Fase de medição de baseline P5 explica como capturá-lo. O baseline deve usar a mesma fórmula, fontes, filtros, segmentos, fuso horário, moeda, modelo de atribuição, conjunto de prompts, conjunto de concorrentes e exclusões que o checkpoint posterior usará.

Para métricas de taxa, salvamos o numerador e o denominador, não apenas a taxa. Para totais do site inteiro, também salvamos a coorte afetada. Se 40 páginas de produto estão sendo otimizadas, o baseline delas permanece separado das outras 8.000 URLs; caso contrário, o crescimento não relacionado do site pode disfarçar o que aconteceu com o trabalho.

Um baseline reconstruído retrospectivamente não é um baseline. Uma vez que a equipe conhece o resultado, as escolhas sobre datas, filtros, segmentos e exclusões ficam vulneráveis ao viés retrospectivo. Ferramentas ao vivo também podem ter alterado seu processamento, retenção, atribuição ou dados de concorrentes. Chamar uma reconstrução de baseline implicaria um nível de controle que não existiu.

Quando um cliente não tem um histórico limpo, usamos uma de três alternativas honestas:

• Baseline prospectivo: conecte e valide a medição, não faça nenhuma alteração no escopo durante um período de observação definido, então congele esse período antes da implementação.
• Referência reconstruída: exporte o melhor histórico disponível, documente a fonte e as mudanças de rastreamento, rotule como “reconstruída” e restrinja a alegação ao que os dados sobreviventes suportam.
• Nenhuma alegação de antes e depois: comece a medição agora e relate o desempenho absoluto do checkpoint até que exista uma comparação prospectiva válida.

Dados ausentes são desconhecidos, não zero. Não os interpolamos meramente para criar um gráfico limpo. Se o intervalo ausente sobrepuser uma mudança material ou tornar a comparação não equivalente, o resultado não é publicável como uma alegação de antes e depois.

3. Janelas de comparação e o relógio de relato

As duas janelas devem conter o mesmo número de dias completos, usar a mesma mistura de dias da semana e excluir o dia atual incompleto. Declaramos ambos os intervalos no resultado em vez de usar rótulos como “mês passado” que mudam de significado ao longo do tempo.

Comparação ano a ano compara uma janela com a janela calendário equivalente um ano antes. É nosso padrão quando a demanda tem padrões sazonais e os dados anteriores estão limpos. Feriados fixos e feriados móveis são anotados; quando um feriado muda entre janelas e afeta materialmente a demanda, alinhamos as semanas comerciais ou divulgamos a incompatibilidade.

Comparação período a período compara janelas adjacentes de igual duração, como 28 dias completos após a implementação com os 28 dias completos anteriores. Usamos quando o site não tem um ano anterior limpo, quando o negócio não é materialmente sazonal, ou quando precisamos de um sinal operacional recente. É mais exposta a campanhas, lançamentos, feriados e mudanças de mercado, por isso nunca a apresentamos como sazonalmente controlada.

Onde houver histórico suficiente, mostramos ambas. Ano a ano responde “estamos à frente da temporada equivalente?” Período a período responde “a direção recente mudou?” Se elas discordarem, a discordância é uma informação a explicar, não uma razão para esconder uma.

Nenhum movimento de desempenho é reportável como resultado antes de 28 dias completos terem transcorrido após a alteração relevante. Observações anteriores podem verificar se uma página está ativa, rastreável, indexada ou citada, mas são verificações de implementação, não resultados. Vinte e oito dias é um piso, não uma aprovação automática. Estendemos a janela quando:

• o ciclo normal de compra ou lead é maior que 28 dias;
• a alteração levou tempo para alcançar todas as páginas ou ser processada pelos sistemas de busca e IA;
• o volume semanal é muito pequeno para que alguns eventos deixem de dominar a taxa;
• o negócio tem forte sazonalidade mensal, trimestral ou anual; ou
• uma interrupção, campanha, migração, mudança de rastreamento ou evento externo importante contamina grande parte da janela.

Pré-registramos o primeiro checkpoint e a janela de relato pretendida. Não ficamos movendo as datas de início ou término até que a curva pareça favorável.

4. Honestidade na atribuição

Atribuição é a designação de um efeito observado a uma causa. O momento sozinho não a estabelece: “após” não significa necessariamente “por causa de”. Usamos quatro níveis de alegação.

Entrega verificada significa que podemos atribuir a mudança implementada em si ao trabalho: por exemplo, 120 páginas especificadas receberam tags canônicas válidas na data de lançamento registrada. Isso não estabelece o efeito de desempenho.

Efeito suportado por experimento exige um desenho capaz de estimar um efeito incremental, como um holdout randomizado ou credivelmente pareado com uma hipótese, métrica, amostra e data de término pré-especificadas. Descrevemos o desenho e a incerteza; não convertemos um experimento de conteúdo imperfeito em certeza de laboratório.

Evidência contributiva se aplica quando a coorte afetada se move após a mudança registrada, a direção corresponde à hipótese pré-especificada, e uma coorte de referência inalterada ou benchmark competitivo não mostra o mesmo movimento. Podemos dizer que o resultado é “consistente com”, “associado a” ou “suporta a contribuição de” do trabalho.

Correlação apenas se aplica quando a métrica se moveu após a mudança, mas nenhum contrafactual válido existe. Relatamos a sequência e as explicações concorrentes. Não dizemos “gerou”, “causou” ou “entregou” para o resultado.

No trabalho comum com clientes, frequentemente não conseguimos separar o efeito de:

• atualizações de algoritmo do motor de busca ou provedor de IA;
• sazonalidade, feriados, clima e mudanças na demanda subjacente;
• busca paga, mídia social paga, retargeting e atividade de afiliados;
• cobertura de RP, atividade de criadores, campanhas de marca e promoção offline;
• lançamentos de produtos, preços, disponibilidade, merchandising e mudanças na taxa de conversão;
• migrações, redesigns, mudanças de rastreamento, mudanças de consentimento e interrupções;
• lançamentos, perdas, promoções de concorrentes e mudanças em gastos de mídia; ou
• mudanças econômicas, regulatórias, culturais e mudanças de mercado ao nível da categoria.

Nomeamos os fatores que ocorreram, dizemos se cada um provavelmente afeta a coorte medida e reduzimos a força da alegação de acordo. Se busca paga e orgânica chegarem à mesma página durante um lançamento, não atribuímos todas as conversões ao conteúdo orgânico. Se uma atualização de algoritmo sobrepuser o checkpoint, podemos relatar movimento relativo contra segmentos ou concorrentes não afetados, mas essa comparação é evidência, não isolamento perfeito.

5. Anotações tornam a interpretação possível

Uma anotação é um registro datado de uma mudança ou evento externo colocado na mesma linha do tempo da métrica. Sem anotações, a atribuição se torna um exercício de memória meses depois.

Registramos o evento quando ele acontece, não quando o relato começa. Cada anotação registra a data e fuso horário, proprietário, URLs ou segmento afetado, categoria, descrição, referência de implantação ou campanha, métrica e direção esperadas, atraso esperado, data do checkpoint e atividade sobreposta conhecida. Lançamentos de vários dias têm datas de início e conclusão. Reversões e rollbacks recebem suas próprias entradas, em vez de sobrescrever a original.

Anotamos lançamentos de conteúdo, implantações técnicas, migrações, redirecionamentos, mudanças de template, mudanças de análise e consentimento, interrupções, campanhas pagas, RP, mudanças de produto e preço, eventos importantes de concorrentes e atualizações confirmadas de plataforma. Resultados de Anotações mantém essas mudanças, expectativas, checkpoints e resultados observados juntos, tratando explicitamente a associação como evidência, não como prova de causalidade.

6. Como medimos a visibilidade em IA

As métricas de visibilidade em IA são calculadas separadamente porque respondem a perguntas diferentes. Nunca misturamos visibilidade, voz, citações, sentimento e rank em um número estimado de “impacto de IA”.

Antes de comparar períodos, congelamos o texto do prompt, tópico, localidade, motor, cadência de execução, conjunto de marcas monitoradas e conjunto de domínios monitorados. Uma observação de prompt é uma resposta armazenada de um prompt, motor, localidade e execução agendada definidos. A resposta e suas URLs citadas são retidas para que o agregado possa ser auditado.

Pontuação de visibilidade em IA (AI visibility score)

A pontuação de visibilidade responde: “Para quanto do conjunto de prompts monitorados este domínio obteve pelo menos uma citação?”

Pontuação de visibilidade em IA = observações de prompt citando o domínio pelo menos uma vez ÷ todas as observações de prompt válidas na coorte congelada × 100

Múltiplas citações em uma resposta não tornam essa observação mais visível; conta uma vez no numerador. Uma falha de coleta não é uma resposta de zero citações. São dados ausentes, relatados por meio de cobertura e reexecução ou excluídos consistentemente de ambas as janelas. A visualização de Visibilidade em IA expõe as respostas subjacentes necessárias para inspecionar a pontuação.

Participação de voz (Share of voice)

Participação de voz responde: “Das marcas monitoradas mencionadas nestas respostas, qual parcela pertencia a esta marca?”

Participação de voz = menções da marca ÷ menções de toda marca monitorada no conjunto competitivo fixo × 100

Declaramos se a unidade de contagem é uma menção por resposta ou cada ocorrência de menção e mantemos essa regra inalterada. Não renormalizamos o histórico quando um concorrente é adicionado; uma mudança no conjunto de concorrentes inicia uma nova série comparável ou faz com que a janela anterior seja recalculada a partir das respostas armazenadas.

Participação de citações (Citation share)

Participação de citações responde: “Das citações atribuídas ao conjunto de domínios monitorados, qual parcela apontou para este domínio?”

Participação de citações = citações para o domínio ÷ citações para cada domínio monitorado no conjunto fixo × 100

O numerador conta citações, não menções de marca. Uma resposta pode citar várias URLs do mesmo domínio, e cada citação conta sob a regra declarada. O relato ao nível de domínio não deve ser apresentado como desempenho ao nível de página. Inteligência de Fontes e Citações retém o domínio, URL, prompt e detalhe do motor por trás do agregado.

Essas métricas têm limitações conhecidas. As respostas de IA podem variar entre execuções; provedores mudam modelos, sistemas de recuperação, interfaces e comportamento de citação; localização, idioma, personalização e atualidade podem alterar uma resposta; e os conjuntos de prompts e concorrentes escolhidos definem o universo medido. Um conjunto rastreado é uma amostra repetível das perguntas que escolhemos, não um censo de tudo que clientes em potencial perguntam. A presença de citação também não prova que uma pessoa viu, confiou ou visitou a fonte. Portanto, relatamos motor, localidade, coorte, frequência de execução, cobertura e contagens absolutas com toda alegação material de visibilidade em IA.

7. Arredondamento, intervalos e valores absolutos

Porcentagens nunca são publicadas sozinhas. Toda porcentagem aparece com os valores absolutos usados para calculá-la.

Para uma mudança de contagem, relatamos o baseline, valor final, diferença absoluta e mudança relativa: “leads orgânicos qualificados aumentaram de 40 para 52, um aumento de 12 leads ou 30%.” Para uma taxa, relatamos ambas as taxas em pontos percentuais e incluímos seus numeradores e denominadores: “a taxa de conversão mudou de 2,0% (40/2.000) para 2,4% (52/2.167), um aumento de 0,4 ponto percentual.” Chamar isso de aumento de 0,4% seria errado; o aumento relativo é de 20%.

Contagens são números inteiros. Porcentagens são normalmente arredondadas para uma casa decimal, exceto quando isso transformaria um valor não nulo em 0,0%, caso em que adicionamos uma segunda casa decimal. Calculamos as mudanças a partir de entradas não arredondadas e arredondamos apenas o resultado exibido. Valores abaixo de 1.000 não são abreviados. Abreviações maiores podem aparecer em títulos, mas o número exato permanece no corpo ou em tabela acessível.

Usamos intervalos apenas quando a fonte ou o método genuinamente produz incerteza. O intervalo deve nomear seu método, como um intervalo de confiança, intervalo de modelo de atribuição ou limite de cobertura de dados. Não inventamos um intervalo para fazer uma estimativa pontual parecer científica, e não substituímos pequenas contagens exatas por porcentagens que exageram o movimento.

8. Anonimização de clientes sem remover significado

Um resultado anônimo deve permanecer testável. Podemos substituir o nome do cliente, domínio, nomes de produtos e dados comercialmente sensíveis, mas o relato publicado deve preservar:

• modelo de negócio, categoria ampla, mercado e restrições materiais;
• escopo do site ou coorte de páginas e o tipo de páginas alteradas;
• datas exatas de baseline e comparação e comprimentos das janelas;
• definição da métrica, fonte, modelo de atribuição e denominador;
• valores absolutos de baseline e finais, ou uma série explicitamente indexada quando a confidencialidade contratual proíbe absolutos;
• a intervenção, datas de lançamento e tempo decorrido antes da medição;
• atividade concorrente conhecida e a limitação de atribuição resultante; e
• detalhes metodológicos suficientes para que outra equipe possa aplicar o cálculo.

Se valores comerciais exatos não puderem ser mostrados, um índice pode definir o baseline como 100 e aplicar a mesma escala a cada ponto posterior. Rotulamos como indexado e ainda mostramos as contagens subjacentes de eventos ou amostras onde a divulgação permitir. Nunca combinamos vários clientes em um “cliente típico” fictício, alteramos datas para fortalecer a curva ou ocultamos que o resultado veio de um diretório em vez do site inteiro.

Se preservar esse contexto identificasse o cliente, não publicamos o resultado. Confidencialidade é uma razão para reter um caso, não permissão para publicar uma porcentagem impressionante, mas não verificável.

9. O que não publicaremos

Publicação é uma decisão de seleção, portanto suas regras precisam ser tão rigorosas quanto seus cálculos. Não publicaremos:

• uma data de início, data de término, motor de busca, país, dispositivo, prompt, palavra-chave ou segmento escolhidos a dedo;
• uma vitória de página única descrita como crescimento do site inteiro;
• uma métrica selecionada após o fato porque se moveu favoravelmente;
• uma porcentagem sem seu baseline, valor absoluto final e denominador quando aplicável;
• uma comparação que mistura fórmulas, escopos, fontes, modelos de atribuição, moedas ou coortes de prompt diferentes;
• um mês parcial comparado com um mês completo, ou janelas desiguais apresentadas como equivalentes;
• observações ausentes tratadas como zero, ou quebras de rastreamento escondidas dentro de um gráfico contínuo;
• um resultado relatado antes da janela mínima ou antes do ciclo normal de conversão ser concluído;
• uma pontuação de IA apresentada sem seu prompt, motor, localidade, concorrente e definições de cobertura;
• um resultado correlacional escrito como prova de que apenas nosso trabalho causou o resultado;
• apenas a melhor página, consulta, motor ou checkpoint quando a coorte completa declarada está disponível; ou
• um resultado de cliente que o revisor autorizado não aprovou quanto à precisão, contexto e divulgação.

Também não excluímos checkpoints desfavoráveis de uma série. Uma hipótese que errou ainda pode ensinar à equipe o que mudar. Escondê-la tornaria o sucesso posterior menos crível, não mais.

Aprovação de publicação

Antes da publicação, a pessoa responsável pelos números apresentados ao cliente deve reproduzir o cálculo a partir das exportações congeladas, confirmar o escopo e as datas da comparação, inspecionar o livro de anotações, verificar cada valor absoluto e porcentagem, aprovar a redação da atribuição e confirmar que a anonimização está em conformidade com o contrato do cliente. Uma segunda verificação editorial deve garantir que o título não diga mais do que a evidência.

A pergunta final é simples: poderia um leitor cético identificar o que mudou, o que não mudou, o que mais poderia explicar o movimento e como cada número foi calculado? Se não, o resultado não está pronto para publicar.