A/B テストは単にテストを実施してウェブページの勝利バリエーションを見つけることだけではありません。どの要素が勝利へ貢献したかを学ぶことも重要です。最高のデザインをWebサイトに実装する前に、実験で得られた結果（勝ち、リード、不明確）を注意深く分析することが大切です。これにより、特定のバリエーションに対するユーザーの行動を理解し、今後の意思決定に適切に役立てることができます。

Zoho PageSense では、A/B テストの結果を判断し、勝者を決定するために満たすべき複数の基準を考慮しています。これには、訪問者数、コンバージョン数、変換率、改善率、有意性、その他各バリエーションページで設定された目標に関連する指標が含まれます。これらの指標は、PageSenseで実施したA/Bテストレポートの結果をどれだけ信頼できるかの精度レベルを提供します。

この記事では、勝利バリエーションに寄与するメジャーアップデートパラメーターや、PageSenseでA/B（または分割URL）実験結果を分析する際に考慮すべき要素について解説します。

頻度主義（Frequentist）手法による結果の宣言

1. 十分な訪問者件数（サンプルサイズ）に達していること
   
2. 主要目標でより高い変換率を持っていること
   
3. 設定された統計的有意水準を達成していること
   

訪問者件数／サンプルサイズ

必須サンプルサイズを事前に計算し、設定した訪問者件数で実験を実施することで、必要な有意水準に無駄なく到達でき、時間やリソースを節約できます。

情報: サンプルサイズはどのようにして目標とする有意水準の達成に役立つのか？

PageSenseでは、A/B テストの最終結果は達成された有意水準に基づいて決定されます。ただし、有意割合（%）の計算は、取得した訪問者トラフィックや変換率に基づく一定の誤差を伴います。

例えば、訪問者数やコンバージョン数が少ない場合、有意水準は大きく変動します。ある時点で有意水準が95%になることもあれば、その後さらに数人の訪問者が加わると70%に下がることもあります。このような場合、サンプルサイズを考慮することで、十分な数の訪問者がバリエーションページに到達した後、有意水準が統計的に安定します。それ以降はこれらの指標が安定した状態を維持します。

変換率

1. 元の内容バージョン：42,000人のユニーク訪問者と10,000件のコンバージョン、変換率は23.8%。
   
2. バリエーション1：86,000人のユニーク訪問者と22,000件のコンバージョン、変換率は25.5%。

情報: テスト終了前に最高の変換率だけを見てバリエーションの勝敗を決めるのは、誤った非効率的な判断となる可能性があります。なぜなら、十分な訪問者数で検証されていない場合があるためです。

有意水準

1. クイックトレンド: 統計的有意水準 > 90%
   
2. 最適: 統計的有意水準 > 95%
   
3. 高精度: 統計的有意水準 > 99%
   

1. 元の内容バージョン: 42,000人のユニーク訪問者と10,000件のコンバージョン、変換率は23.8%。
   
2. Variation 1: 86,000人のユニーク訪問者と22,000件のコンバージョン、変換率は25.5%。
   

統計的有意性を計算した結果、「Variation 1」は元の内容バリエーションよりも効率的であることがわかり、有意割合（%）は96です。この場合、A/Bテストは完了となり、「Variation 1」をウェブページに適用できます。

統計的有意性は2つの変数に依存します:訪問者数（またはサンプルサイズ）と、元の内容および各バリエーションの変換率です。A/Bテストで目標とする統計的有意水準にできるだけ早く到達するためには、これら2つの変数を意識してテスト仮説を計画することが重要です。

以下は、PageSenseでA/Bテスト結果を宣言する際の一般的なケースです。

• 訪問者件数および有意水準に達した場合
  元の内容とバリエーションの両方で訪問者件数に到達した場合、最も高い変換率かつ有意水準に達したバリエーションが勝者として宣言されます。

• 訪問者件数および有意水準が未達の場合
  PageSenseでは、各バリエーションに必要な残りの訪問者件数が表示されます。結論を得るためには、その件数に達するまでA/Bテストを継続してください。

• 訪問者件数は達成したが有意水準が未達の場合
  訪問者件数に到達しても、どちらのバリエーションも統計的に優れていない場合は、テストは結論なしとされます。この場合は、元の内容バリエーションを維持するか、再度テストを実施することができます。また、失敗データを活用して次回テストの新しい仮説を立てる参考にできます。

ベイズ法を用いた結果の宣言

訪問者数およびコンバージョン数指標

A/Bテストのベイズ法では、元の内容とバリエーションページ両方の確率割合（%）を算出します。この確率割合（%）は、主に2つの主要な要素、つまり訪問者数とコンバージョン数に基づいて迅速に算出されます。

• 訪問者数は、各バリエーションへのユニーク訪問者の合計数を示します。理想的には、A/Bテスト結果を正確に解釈するには、十分な件数の訪問者が必要です。つまり、訪問者数が多いほど、勝者を決定できる確率が高まります。
  

• 一方で、コンバージョン数は、指定したゴールに対して訪問者が望ましい操作を完了したユニークな回数を示します。これは、ウェブページ上でユーザーに実行してほしい任意の操作（例：ボタンのクリックから購入、顧客になるまで）を指します。

メモ: 頻度主義的手法と比較して、ベイズ法によるテストでは、有効な結果を得るためにサンプル数を固定する必要がありません。

PageSenseでは、ベイズ法で意思決定を行う前に次の2つのルールに従うことを推奨しています:

• 各バリエーションごとに少なくとも100件のユニーク訪問者が記録されるまで待つ
  

• 主要ゴールで少なくとも50件のコンバージョンに達するまで待つ
  

• 損失値が無視できる程度よりも小さいかどうかを確認する
  

• 主要ゴールの値が、実験を勝者として宣言するための必須基準を満たしているか確認する
  

• すべての記載された値が収集され、条件を満たしていることを確認し、ゴールを勝者として宣言する

期待損失