A/Bテストは、単にテストを実行してウェブページの勝利バリエーションを見つけるだけでなく、異なる要因が勝利にどのように寄与したかを学ぶことも重要です。ウェブサイトに最も勝利するデザインを実装する前に、実験中に得られた結果（勝利、リード、または不確定）を注意深く見ることが重要です。これにより、特定のバリエーションに対するオーディエンスの行動を理解し、将来の適切な意思決定ができます。 

Zoho PageSenseでは、A/Bテストの結果を結論付けて勝者を宣言するために満たすべきいくつかの基準を考慮しています。これには、設定された各目標に関連する訪問者数、変換数、変換率、改善度、有意性などのメトリクスが含まれます。これらのメトリクスは、PageSenseを使用して実行されるA/Bテストレポートの結果を信頼できるレベルの正確さで提供します。

この記事では、勝利バリエーションに寄与する主要なパラメータと、PageSenseでA/B（またはSplit URL）実験結果を分析する際に考慮すべき要素について見ていきます。

頻度主義的手法を使用した結果の宣言

1. 適切な訪問者数（またはサンプルサイズ）に到達していること
   
2. 主要な目標の変換率が高いこと
   
3. 設定された統計的有意水準を達成していること。
   

訪問者数/サンプルサイズ

必要なサンプルサイズを事前に計算し、訪問者数を設定して実験を行うことで、必要な有意水準に到達することができます。これにより、時間とリソースを無駄にすることなく目標を達成することができます。

情報: サンプルサイズは望ましい有意水準を達成するのにどのように役立ちますか？

PageSenseでは、A/Bテストの最終結果は達成された有意水準に基づいて宣言されます。ただし、有意性のパーセンテージの計算は、訪問者のトラフィックと変換率に基づいてある程度の誤差が生じます。

たとえば、訪問者数や変換数が少ない場合、有意水準は大きく変動します。ある時点では有意性が95％になるかもしれませんが、さらにいくつかの訪問者があると70％に下がるかもしれません。この場合、サンプルサイズを考慮することで、変化ページに十分な訪問者数が集まった後に統計的な有意性を安定させることができます。これらの指標はそこから安定します。  

変換率

1. オリジナルバージョン：42,000人のユニーク訪問者と10,000のコンバージョン、変換率は23.8%です。
   
2. バリエーション1：86,000人のユニーク訪問者と22,000のコンバージョン、変換率は25.5%です。

情報: テスト終了前に最高の変換率だけを見て、バリエーションを勝者または敗者と決めることは、多くの訪問者数でテストされていないため、間違っており効率的ではありません。   

有意水準

1. クイックトレンド：統計的有意水準 > 90%
   
2. 最適：統計的有意水準 > 95%
   
3. 高い精度：統計的有意水準 > 99%
   

1. オリジナルバージョン：42,000人のユニーク訪問者と10,000のコンバージョン、変換率は23.8%です。
   
2. バリエーション1：86,000人のユニーク訪問者と22,000のコンバージョン、変換率は25.5%です。
   

統計的有意性を計算することで、'バリエーション1'が元のバリエーションよりも効率的であり、有意性の割合が96であることがわかります。この場合、A/Bテストは成功であり、'バリエーション1'をウェブページで使用することができます。

統計的有意性は2つの変数に依存します： 訪問者数（またはサンプルサイズ）と元のバージョンと変更バージョンの両方のコンバージョン率です。早期に所望の統計的有意性レベルに到達するためには、これらの変数を考慮に入れてテスト仮説を計画する必要があります。

以下は、PageSenseでA/Bテストの結果を宣言する一般的なケースのいくつかです：

• 訪問者数と有意性が達成された場合
  オリジナルとバリエーションの両方で訪問者数が達成された場合、最も高い変換率と有意性レベルを達成したバリエーションが勝者と宣言されます。

• 訪問者数と有意性が達成されなかった場合
  PageSenseは、各バリエーションに必要な残りの訪問者数を表示します。それまでA/Bテストを実行し、確定的な結果を得る必要があります。

• 訪問者数は達成されたが有意性が達成されなかった場合
  訪問者数を達成した後も、どちらのバリエーションも統計的に優れていない場合、テストは不確定とマークされます。この場合、オリジナルのバリエーションを使用するか、別のテストを実行することができます。失敗したデータを使用して、次のテストの新しい仮説を特定するのに役立てることができます。

ベイズ法を用いた結果の宣言

1. 最小の訪問者数とコンバージョン数に達しました。
2. 予想損失が低いです。

訪問者数とコンバージョン数の指標

ベイジアンのA/Bテスト手法は、元のページとバリエーションページの確率パーセンテージを計算することに関してです。この確率パーセンテージは、訪問者数とコンバージョン数という2つの主要な要素に基づいて迅速に算出することができます。

• 訪問者数は、対応するバリエーションへのユニークな訪問者の総数を示します。A/Bテストの結果を正確に解釈するためには、訪問者数が十分に大きい必要があります。つまり、訪問者数が大きいほど、勝者を宣言する確率が高くなります。
  

• 一方、コンバージョン数は、訪問者が目標とするアクションを達成したユニークなインスタンスの数を示します。ユーザーに対して行ってもらいたい任意のアクションを指すことができます。ボタンをクリックすることから購入を行い顧客になることまで、ウェブページ上での任意のアクションを指すことができます。

注意: 頻度主義的な検定方法と比較して、ベイズ検定はサンプルの固定を必要とせず、有効な結果を提供します。

In PageSenseでは、ベイジアン手法を使用して意思決定を行う前に、次の2つのビジネスルールをお勧めします：

• 各バリエーションごとに少なくとも100人のユニークな訪問者を記録するまで待機してください。
  

• 主要な目標に対して少なくとも50回のコンバージョンを達成するまで待機してください。

予想損失