SEOおよびAI可視性の結果を測定する方法

結果とは、作業開始前に選択された定義に基づいて計算され、その他すべての変化の文脈で解釈される、日付付きの開始点に対する測定可能な変化です。それは納品後に発見された都合の良い数字ではありません。この方法論は、私たちが公開するすべての結果の根底にある契約です。読者が同じソースデータを取得し、明示された計算式を適用して、同じ数字に到達できるべきです。

この基準が重要なのは、検索パフォーマンスが観測システムだからです。ページは変化し、競合他社は反応し、需要は変動し、検索エンジンは更新され、マーケティングキャンペーンは重複します。私たちは何をいつリリースしたかを証明できます。その後に何が起こったかを測定できます。研究デザインがそれを裏付ける場合にのみ、私たちの作業が全体の変動の原因であると主張できます。

すべての結果に含めるべき測定記録

公開されるすべての結果は、監査可能な十分な情報を提供しなければなりません。最低限、その記録には以下を含みます。

• 実装前に選択されたビジネス目標とメトリクス
• メトリクスの計算式、ソース、タイムゾーン、該当する場合は通貨、およびアトリビューションモデル
• サイト、ディレクトリ、テンプレート、ページコホート、市場、デバイス、エンジン、プロンプトの範囲
• ベースラインと比較の日付（各ウィンドウの完全経過日数を含む）
• 絶対的な開始値、絶対的な最終値、および計算された変化量
• 実装日と主張に含まれる正確な作業内容
• 重要なアノテーションと既知の競合説明要因
• 欠損データ、トラッキングの変更、除外対象、サンプルまたは分母のサイズ
• 使用が許可されるアトリビューション文言の強度
• クライアント向け数値を承認したレビューアー

これらの項目のいずれかが利用できない場合は、結果の横にその制限を開示するか、公開しません。注意事項を記載した非公開のスプレッドシートがあっても、限定なしの公の主張を修復することはできません。

1. 結果として認められるもの

測定の目的は、作業が価値のある何かを変えたかどうかを示すことです。各段階が異なる問いに答えるため、メトリクスを連鎖として整理します。

1. デリバリー: 意図した変更が正しく公開されたか。例：リリースされたページ、更新されたテンプレート、解決されたリダイレクト、復元されたクローラーアクセス。
2. 発見と可視性: 検索またはAIシステムがその作業を発見し、表示したか。例：有効なインデックスページ、インプレッション、ランキング分布、AI可視性スコア、言及、引用。
3. 選択とエンゲージメント: 人々や回答エンジンがそれを選択したか。例：オーガニッククリック、質の高いセッション、引用されたURL、エンゲージメント訪問、次のステップページへの訪問。
4. ビジネス成果: その行動が価値を生み出したか。例：質の高いリード、トライアル、購入、サブスクリプション収益、予約されたアポイントメント、または作業開始前にクライアントと合意したその他の成果。

デリバリーは作業が行われた証拠です。可視性は先行指標であり、ビジネス成果の前に変動すると予想される測定値です。エンゲージメントは反応を示します。ビジネス成果は、ほとんどの組織が最終的に資金を投じる結果です。

したがって、ほとんどのビジネスモデルにおいて、トラフィックだけでは結果とはなりません。SaaS企業は、20,000人の追加訪問者が無関係な記事を読んだだけでは利益を得られません。適切な見込み客がトライアル、デモ、サブスクリプションを開始または影響を与えた場合に利益を得ます。Eコマース企業は、収益や利益率から切り離されたセッションではなく、収益性の高い注文を必要とします。パブリッシャーは、そのページビューが広告やサブスクリプションの価値を生み出す場合、質の高いページビューを正当にビジネス成果として扱うことができます。しかし、その場合でもボットトラフィック、偶発的な訪問、オーディエンスの地理的分布によって、同じ訪問数の価値が変わることがあります。

トラフィックがメトリクス連鎖の中で適切な位置にある場合、それを報告します。また、ビジネスモデルが許す限り、品質や下流のエビデンスと組み合わせます。検証された関連性が示されていない場合、インプレッション、単一のランキング、ページ数、生のトラフィック、エンゲージメント率、独自スコアを最終的なビジネス影響として提示することを拒否します。

成果は事前に選択されます。合意された主要成果が質の高いデモ依頼である場合、インプレッションが増加しデモ依頼が増加しなかったとしても、納品後にインプレッションに置き換えることはありません。

2. ベースライン：開始点を固定する

ベースラインとは、最初の対象範囲の変更がリリースされる前の、該当範囲の日付付きで不変の測定値です。P5ベースライン計測フェーズ でその取得方法を説明しています。ベースラインは、後のチェックポイントで使用するものと同じ計算式、ソース、フィルター、セグメント、タイムゾーン、通貨、アトリビューションモデル、プロンプトセット、競合セット、除外条件を使用しなければなりません。

率メトリクスの場合は、率だけでなく分子と分母も保存します。サイト全体の合計については、影響を受けるコホートも保存します。40の商品ページが最適化されている場合、そのベースラインは他の8,000のURLとは別に保持されます。そうしないと、無関係なサイトの成長が、その作業に何が起こったかを隠してしまう可能性があります。

事後的に再構築されたベースラインはベースラインではありません。チームが結果を知った後では、日付、フィルター、セグメント、除外条件に関する選択は後知恵の影響を受けやすくなります。また、ライブツールが処理方法、保存期間、アトリビューション、競合データを変更している可能性もあります。再構築をベースラインと呼ぶことは、存在しなかった管理レベルを暗示することになります。

クライアントにクリーンな履歴がない場合、3つの誠実な代替方法のいずれかを使用します。

• プロスペクティブベースライン: 測定を接続して検証し、定義された観測期間中に対象範囲の変更を行わず、実装前にその期間を固定します。
• 再構築リファレンス: 利用可能な最良の履歴をエクスポートし、ソースとトラッキングの変更を文書化し、「再構築」とラベル付けし、残存データが裏付ける範囲に主張を制限します。
• 事前事後の主張なし: 今から測定を開始し、有効なプロスペクティブ比較が存在するようになるまで、絶対的なチェックポイントパフォーマンスを報告します。

欠損データは不明であり、ゼロではありません。きれいなチャートを作るためだけに補間することはありません。欠損期間が重要な変更と重なっている場合、または比較を非等価にする場合、その結果は事前事後の主張として公開できません。

3. 比較ウィンドウとレポートクロック

2つのウィンドウは同じ数の完全経過日数を含み、同じ曜日構成を使用し、未完了の当日を除外しなければなりません。経時的に意味が変わる「先月」などのラベルではなく、結果では両方の範囲を明記します。

前年同期比較は、1年前の同じカレンダーウィンドウと比較します。需要に季節パターンがあり、過去のデータがクリーンな場合のデフォルトです。固定祝日と移動祝日は注記されます。祝日がウィンドウ間で移動し需要に実質的な影響を与える場合、トレーディングウィークを調整するか、不一致を開示します。

期間比較は、実装後の28完全日とその前の28完全日など、隣接する等しい長さのウィンドウを比較します。サイトにクリーンな前年データがない場合、ビジネスに実質的な季節性がない場合、または最近の運用シグナルが必要な場合に使用します。キャンペーン、ローンチ、祝日、市場の変化の影響を受けやすいため、季節調整済みとして提示することは決してありません。

十分な履歴が存在する場合は、両方を表示します。前年同期比較は「同等のシーズンより優れているか？」に答え、期間比較は「最近の方向性は変わったか？」に答えます。両者が一致しない場合、その不一致は隠す理由ではなく説明すべき情報です。

パフォーマンスの変動は、関連する変更後28完全日が経過するまでは、結果として報告できません。それ以前の観測では、ページが公開され、クロール可能で、インデックス登録または引用されていることを確認できますが、これらは結果ではなく実装確認です。28日は最低条件であり、自動的な承認ではありません。以下の場合、ウィンドウを延長します。

• 通常の購入またはリードサイクルが28日より長い
• 変更がすべてのページに到達するか、検索・AIシステムによって処理されるまでに時間がかかった
• 週間ボリュームが小さすぎて、少数のイベントが率を支配しなくなるまでに十分でない
• ビジネスに強い月次、四半期、または年次の季節性がある
• 障害、キャンペーン、移行、トラッキング変更、または大きな外部イベントがウィンドウの大部分を汚染している

最初のチェックポイントと意図したレポートウィンドウを事前登録します。曲線が好ましく見えるまで開始日や終了日を動かし続けることはしません。

4. アトリビューションの誠実さ

アトリビューションとは、観測された効果を原因に割り当てることです。タイミングだけではそれを確立できません。「その後」は必ずしも「原因」を意味しません。私たちは4段階の主張を使用します。

検証済みデリバリーとは、実装された変更自体を作業に帰属できることを意味します。例：120の指定されたページが、記録されたリリース日に有効な正規タグを受け取った。これはパフォーマンス効果を確立するものではありません。

実験で裏付けられた効果には、無作為化または信頼できるマッチングされたホールドアウトなど、事前に指定された仮説、メトリクス、サンプル、終了日を用いた、増分効果を推定できるデザインが必要です。デザインと不確実性を説明し、不完全なコンテンツ実験を実験室レベルの確実性に変換することはしません。

貢献のエビデンスは、影響を受けるコホートが記録された変更後に変動し、その方向が事前に指定された仮説と一致し、変更されていない参照コホートまたは競合ベンチマークが同様の変動を示さない場合に適用されます。その結果は作業と「一致している」「関連している」、または「貢献を裏付けている」と表現することがあります。

相関のみは、変更後にメトリクスが変動したが、有効な反事実が存在しない場合に適用されます。順序と競合する説明を報告します。成果に対して「生成した」「原因となった」「もたらした」とは言いません。

通常のクライアント業務では、以下の効果を分離できないことが頻繁にあります。

• 検索エンジンまたはAIプロバイダーのアルゴリズムアップデート
• 季節性、祝日、天候、および基礎的需要の変化
• 検索連動型広告、ソーシャル広告、リターゲティング、アフィリエイト活動
• PRカバレッジ、クリエイター活動、ブランドキャンペーン、オフラインプロモーション
• 製品ローンチ、価格設定、在庫状況、マーチャンダイジング、コンバージョン率の変化
• 移行、リデザイン、トラッキング変更、同意変更、障害
• 競合他社のローンチ、損失、プロモーション、メディア支出の変化
• 経済的、規制的、文化的、カテゴリーレベルの市場変動

発生した要因を名前を挙げ、それぞれが測定されたコホートに影響を与える可能性があるかどうかを述べ、それに応じて主張の強度を引き下げます。ローンチ中に有料広告とオーガニックが同じページにランディングする場合、すべてのコンバージョンをオーガニックコンテンツに割り当てることはしません。アルゴリズムアップデートがチェックポイントと重なる場合、影響を受けていないセグメントや競合他社に対する相対的な変動を報告できますが、その比較はエビデンスであり、完全な分離ではありません。

5. アノテーションが解釈を可能にする

アノテーションとは、メトリクスと同じタイムライン上に配置された、変更または外部イベントの日付付き記録です。アノテーションがなければ、アトリビューションは数ヶ月後の記憶頼りになります。

イベントは発生時に記録し、レポート開始時ではありません。各アノテーションは、日付とタイムゾーン、所有者、影響を受けるURLまたはセグメント、カテゴリ、説明、デプロイメントまたはキャンペーンの参照情報、期待されるメトリクスと方向性、期待される遅延、チェックポイント日付、既知の重複活動を記録します。複数日にわたるリリースには開始日と完了日があります。取り消しやロールバックは、元のエントリを上書きするのではなく、独自のエントリとして記録されます。

コンテンツリリース、技術的デプロイメント、移行、リダイレクト、テンプレート変更、アナリティクスと同意の変更、障害、有料キャンペーン、PR、製品と価格の変更、主要な競合イベント、確認されたプラットフォームアップデートをアノテーションとして記録します。アノテーションアウトカム は、これらの変更、期待、チェックポイント、観測された結果をまとめて保持し、関連性を因果関係の証明ではなくエビデンスとして明示的に扱います。

6. AI可視性の測定方法

AI可視性メトリクスは、異なる問いに答えるため別個に計算されます。可視性、ボイス、引用、センチメント、ランクを推定「AI影響」数値に混ぜることは決してありません。

期間を比較する前に、プロンプトテキスト、トピック、ロケール、エンジン、実行頻度、監視するブランドセット、監視するドメインセットを固定します。プロンプト観測とは、1つの定義されたプロンプト、エンジン、ロケール、スケジュール実行からの1つの保存された回答です。回答とその引用URLは、全体が監査可能なように保持されます。

AI可視性スコア

可視性スコアは次の問いに答えます：「追跡しているプロンプトセットのうち、このドメインが少なくとも1回の引用を得た割合は？」

AI可視性スコア = ドメインを少なくとも1回引用したプロンプト観測数 ÷ 固定コホート内のすべての有効なプロンプト観測数 × 100

1つの回答内での複数引用は、その観測の可視性を高めません。分子では1回としてカウントされます。収集失敗はゼロ引用の回答ではありません。それは欠損データであり、カバレッジを通じて報告され、再実行されるか、両方のウィンドウから一貫して除外されます。AI可視性 ビューでは、スコアを検査するために必要な基礎となる回答が公開されています。

シェア・オブ・ボイス

シェア・オブ・ボイスは次の問いに答えます：「これらの回答で言及された監視対象ブランドのうち、このブランドのシェアは？」

シェア・オブ・ボイス = ブランドの言及数 ÷ 固定された競合セット内のすべての監視対象ブランドの言及数 × 100

カウント単位が回答あたり1言及か、すべての言及発生かどうかを明記し、そのルールを変更しません。競合他社が追加された場合、履歴を再正規化しません。競合セットの変更は、新しい比較可能なシリーズを開始するか、保存された回答から以前のウィンドウを再計算する必要があります。

引用シェア

引用シェアは次の問いに答えます：「監視対象ドメインセットに割り当てられた引用のうち、このドメインに向けられたシェアは？」

引用シェア = ドメインへの引用数 ÷ 固定セット内のすべての監視対象ドメインへの引用数 × 100

分子はブランド言及ではなく引用をカウントします。1つの回答が同じドメインからの複数のURLを引用することがあり、各引用は宣言されたルールの下でカウントされます。ドメインレベルのレポートをページレベルのパフォーマンスとして提示してはいけません。ソース＆引用インテリジェンス は、全体の背後にあるドメイン、URL、プロンプト、エンジンの詳細を保持します。

これらのメトリクスには既知の限界があります。AI回答は実行ごとに異なる可能性があります。プロバイダーはモデル、検索システム、インターフェース、引用動作を変更します。場所、言語、パーソナライゼーション、鮮度が回答を変える可能性があります。選択されたプロンプトと競合セットが測定対象の世界を定義します。追跡セットは、私たちが選択した質問の反復可能なサンプルであり、潜在的な顧客が尋ねるすべての質問の全数調査ではありません。また、引用の存在は、ある人がそのソースを見た、信頼した、または訪問したことを証明するものではありません。したがって、重要なAI可視性の主張には、エンジン、ロケール、コホート、実行頻度、カバレッジ、絶対数を常に付記します。

7. 丸め、範囲、絶対値

パーセンテージは単独で公開されることはありません。すべてのパーセンテージは、その計算に使用された絶対値とともに表示されます。

カウントの変化については、ベースライン、最終値、絶対差、相対変化を報告します。「質の高いオーガニックリードが40から52に増加、12リードまたは30％の増加」など。率については、両方の率をパーセンテージポイントで報告し、分子と分母を含めます。「コンバージョン率が2.0％（40/2,000）から2.4％（52/2,167）に変動、0.4パーセンテージポイントの増加」。これを0.4％の増加と呼ぶのは誤りです。相対的な増加は20％です。

カウントは整数です。パーセンテージは通常、小数点第1位に丸められます。ただし、これにより非ゼロの値が0.0％になってしまう場合は、小数点第2位を追加します。変化量は丸められていない入力から計算し、表示される結果のみを丸めます。1,000未満の値は省略形にしません。見出しではより大きな省略形が使用される場合がありますが、正確な数値は本文またはアクセス可能な表に残ります。

範囲は、ソースや手法が実際に不確実性を生み出す場合にのみ使用します。範囲はその手法（信頼区間、アトリビューションモデルの範囲、データカバレッジの境界など）を明記しなければなりません。点推定値を科学的に見せるために範囲をでっち上げることはありません。また、小さな正確なカウントを、変動を誇張するパーセンテージに置き換えることもありません。

8. 意味を失わないクライアント匿名化

匿名化された結果は検証可能でなければなりません。クライアント名、ドメイン、製品名、商業的に機密性の高い数値は置き換えることができますが、公開された説明では以下を保持しなければなりません。

• ビジネスモデル、広義のカテゴリ、市場、および重要な制約条件
• サイトまたはページコホートの範囲と変更したページの種類
• 正確なベースラインと比較の日付およびウィンドウ長
• メトリクスの定義、ソース、アトリビューションモデル、分母
• 絶対的なベースライン値と最終値、または契約上の機密保持が絶対値を禁止する場合は明示的にインデックス化された系列
• 介入、リリース日、測定までの経過時間
• 既知の同時活動およびそれによるアトリビューションの制限
• 別のチームが計算を適用できる十分な手法の詳細

正確な商業的価値を表示できない場合、ベースラインを100に設定し、すべての後の時点に同じスケールを適用するインデックスを使用できます。インデックス化されているとラベル付けし、開示が許す範囲で基礎となるイベント数やサンプル数を依然として表示します。複数のクライアントを架空の「典型的なクライアント」に結合したり、曲線を強化するために日付を変更したり、結果がサイト全体ではなく1つのディレクトリからのものであることを隠したりすることは決してありません。

この文脈を保持するとクライアントが特定される場合、その結果は公開しません。機密性はケースを公開しない理由であり、印象的だが検証不可能なパーセンテージを公開する許可ではありません。

9. 公開しないもの

公開は選択判断であるため、そのルールは計算と同様に厳格でなければなりません。以下は公開しません。

• 選りすぐりの開始日、終了日、検索エンジン、国、デバイス、プロンプト、キーワード、またはセグメント
• 単一ページの成果をサイト全体の成長として説明すること
• 好ましく動いたために事後的に選択されたメトリクス
• ベースライン、最終絶対値、該当する場合は分母を伴わないパーセンテージ
• 異なる計算式、範囲、ソース、アトリビューションモデル、通貨、またはプロンプトコホートを混在させた比較
• 部分的な月と完全な月の比較、または等価として提示された等しくないウィンドウ
• 欠損観測をゼロとして扱うこと、または連続チャート内に隠されたトラッキングの断絶
• 最小ウィンドウ前または通常のコンバージョンサイクル完了前に報告された結果
• プロンプト、エンジン、ロケール、競合他社、カバレッジの定義を伴わないAIスコア
• 私たちの作業のみが結果を引き起こしたという証明として書かれた相関結果
• 完全な宣言コホートが利用可能な場合に、最良のページ、クエリ、エンジン、チェックポイントのみ
• 承認レビューアーが正確性、文脈、開示について承認していないクライアント結果

また、一連の結果から不利なチェックポイントを削除することもしません。外れた仮説でも、チームが何を変更すべきかを教えてくれます。それを隠せば、後の成功の信頼性が低下するのであって、向上することはありません。

公開の承認

公開前に、クライアント向け数値に責任を持つ人物が、固定されたエクスポートから計算を再現し、比較範囲と日付を確認し、アノテーション台帳を検査し、すべての絶対値とパーセンテージを検証し、アトリビューションの文言を承認し、匿名化がクライアント契約に準拠していることを確認しなければなりません。第二の編集チェックにより、見出しがエビデンス以上のことを言っていないことを確認する必要があります。

最終的な問いはシンプルです。懐疑的な読者が、何が変わったのか、何が変わらなかったのか、他に何が変動を説明する可能性があるのか、すべての数値がどのように計算されたのかを特定できるでしょうか？ できない場合、その結果は公開する準備ができていません。