PageSense における A/B テストの勝者の決定

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

多変量テストは、単にテストを実行し、Webページで成果の高いバージョンを見つけるだけではありません。さまざまな要因が成果にどのように影響したかを把握することも重要です。最も成果の高いデザインをWebサイトに適用する前に、テストで得られた結果（勝ち、優勢、判定不能）を詳しく確認する必要があります。これにより、特定のバリエーションに対するオーディエンスの行動を把握し、今後適切な意思決定を行うことができます。

Zoho PageSenseでは、多変量テストの結果を確定し、成果の高いバージョンを判定するために、複数の条件を考慮します。これには、バリエーションページに設定した各目標の訪問者数、コンバージョン数、コンバージョン率、改善、統計的有意性、その他の関連指標が含まれます。これらの指標により、PageSenseで実行した多変量テストのレポート結果をどの程度信頼できるかを確認できます。

この記事では、成果の高いバージョンの判定に影響する主なパラメーターと、PageSenseで多変量テストの結果を分析する際に考慮すべき要因について説明します。

頻度法による結果の判定

多変量テストの頻度法では、訪問者のサンプル内でイベントが発生した回数を計算し、バリエーションAとBのどちらの成果が高いかを判定します。頻度法で成果の高いバージョンと判定されるには、バリエーションが次の条件を満たす必要があります。

十分な訪問者数（サンプルサイズ）に達している
メインの目標のコンバージョン率が高い
設定した統計的有意水準に達している

訪問者数／サンプルサイズ

多変量テストの実行時に、オリジナル版とバリエーション版で確認できる訪問者トラフィックの合計は、テストの設定時に各バージョンへ割り当てたトラフィックの割合（%）によって異なります。

Zoho PageSenseでは、ページへの新規訪問者を綿密に監視し、オリジナルページと各バリエーションページで統計的に有意な結果を得るために十分なトラフィックがあるかどうかを確認します。必要な訪問者トラフィックに達すると、結果に基づいて成果の高いバージョンが判定されます。ただし、トラフィック量が少なすぎる場合は、信頼でき、意思決定に活用できる結果を得るために、各バリエーションでさらに必要な訪問者数が表示されます。

多変量テストを実行して有効な結果を得るために各バリエーションで必要となる最小訪問者数を、サンプルサイズと呼びます。サンプルサイズは、多変量テストで短期間のうちに明確な結果を得るための最も重要な要因です。

たとえば、特定の地域の人々が新しいホームページにどのように反応するかを予測するとします。この場合、その場所からWebサイトを訪れる全員を対象にテストすると、時間と手間がかかるため、完了を待つことは現実的ではありません。まず、対象者を代表するサンプルサイズを用いてテストできます。この場合、場所に基づいて指定した人数がサンプルサイズとしてテスト対象になります。サンプルサイズに応じたトラフィックがWebサイトに多く集まるほど、統計的に有意な結果が得られたかどうかを判断できる十分なサンプルを早く確保できます。

必要なサンプルサイズを事前に計算し、設定した訪問者数を対象にテストを実行することで、時間やリソースを浪費せずに必要な有意水準に到達できます。

情報：サンプルサイズは、希望する有意水準の達成にどのように役立ちますか？

PageSenseでは、多変量テストの最終結果は、達成した有意水準に基づいて判定されます。ただし、有意性の割合（%）を計算する際は、得られた訪問者トラフィックとコンバージョン率に応じて一定の誤差が生じます。

たとえば、訪問者数とコンバージョン数が少ない場合、有意水準は大きく変動します。ある時点では有意性が95%でも、その後に訪問者が数人増えると70%まで低下することがあります。この場合、サンプルサイズを考慮することで、バリエーションページの訪問者数が十分に増えた後に、統計的有意性を安定させることができます。それ以降、これらの指標は安定した状態を維持します。

コンバージョン率

多変量テストの基本的な目的は、コンバージョン率を高めることです。コンバージョンの目標を測定することで、各バリエーションの成果を相互に比較できます。目標のコンバージョンは、訪問者がバリエーションページに設定した特定のアクションを完了したときに発生します。たとえば、メールマガジンへの登録、商品の購入、カートへの商品の追加などです。

ページのコンバージョン率は、コンバージョン数を訪問者の総数で割り、割合（%）として算出されます。PageSenseでは、テスト結果が成果の高いバージョン、優勢なバリエーション、判定不能のいずれであるかを判定する際に、メインの目標が主要な目標として使用されます。

目標のコンバージョン率が低い場合、意図した処理を行っている訪問者が少ないことを意味します。反対に、コンバージョン率が高い場合は、ページ上で良好な成果が得られていることを示します。この指標により、ページ上の結果が偶然の要因ではなく、加えた変更によるものであることを確認できます。

たとえば、ホームページの［登録］CTAでテストを実行し、オリジナル版とバリエーションで次のコンバージョン率が得られたとします。

オリジナル版：訪問者（重複を除く）が42,000人、コンバージョン数が10,000件、コンバージョン率が23.8%。
バリエーション1：訪問者（重複を除く）が86,000人、コンバージョン数が22,000件、コンバージョン率が25.5%。

この例では、コンバージョン率の点で「バリエーション1」がオリジナル版よりも優れています。ただし、この指標だけでは「バリエーション1」を成果の高いバージョンと判定できません。ページのコンバージョン率は、新規訪問者数やテスト期間に応じて変化し続けるためです。

情報：テスト終了前に最も高いコンバージョン率だけを見てバリエーションの成否を判断すると、訪問者の大半を対象にテストできていないため、誤っており、非効率な判断になる可能性があります。

有意水準

多変量テストに設定したメインの目標について、訪問者数とコンバージョン率の指標を確認した後は、結果にどの程度の統計的な信頼性が必要かを検討します。これは、レポートに表示される統計的有意水準を使用して判断できます。

統計的有意性は、得られた結果がWebページに加えた変更によるものであり、その最終的な変更をビジネス上の意思決定に十分な自信を持って適用できることを数学的に証明するものです。この有意水準は、テスト結果の評価に適用した頻度法の種類に基づいて設定されます。

簡単な傾向：統計的有意水準 > 90%
最適：統計的有意水準 > 95%
高精度：統計的有意水準 > 99%

ホームページの［登録］CTAでテストを実行し、オリジナル版とバリエーションの訪問者数とコンバージョン数が次のようになったとします。

オリジナル版：訪問者（重複を除く）が42,000人、コンバージョン数が10,000件、コンバージョン率が23.8%。
バリエーション1：訪問者（重複を除く）が86,000人、コンバージョン数が22,000件、コンバージョン率が25.5%。

統計的有意性を計算すると、「バリエーション1」がオリジナル版よりも優れており、有意性の割合（%）が96であることが分かります。この場合、多変量テストは成功しているため、Webページで「バリエーション1」を使用できます。

統計的有意性は、2つの変数によって決まります。訪問者数（サンプルサイズ）と、オリジナル版および各バリエーションのコンバージョン率です。多変量テストで希望する統計的有意水準にできるだけ早く到達するには、これら2つの変数を考慮してテストの仮説を立てる必要があります。

PageSenseで多変量テストの結果を判定する一般的な例を次に示します。

訪問者数と有意水準が基準に達した場合
オリジナル版とバリエーションの両方が必要な訪問者数に達すると、コンバージョン率が最も高く、有意水準の基準を満たしたバリエーションが成果の高いバージョンと判定されます。
訪問者数と有意水準が基準に達していない場合
PageSenseには、各バリエーションでさらに必要な訪問者数が表示されます。明確な結果を得るには、その数に達するまで多変量テストを実行する必要があります。
訪問者数は基準に達しているが、有意水準が基準に達していない場合
必要な訪問者数に達しても、どのバリエーションも統計的に優れていない場合、テストは判定不能とされます。この場合、オリジナル版を引き続き使用するか、別のテストを実行できます。判定不能となったテストのデータは、次のテストに向けた新しい仮説を立てるために活用できます。

ベイズ法による結果の判定

多変量テストのベイズ法では、テスト中に収集した前日のデータを比較し、バリエーションAがBより高い成果を上げる確率を示します。この手法では、次の3つの主要条件を満たすと、成果の高いバージョンが確定します。

1. 各バリエーションの重複を除く訪問者数が100人以上に達している。

2. 設定した目標について、重複を除くコンバージョン数が50件以上に達している。

3. 平均損失値が最小である。

主要条件を満たすと、ベイズ法では、さらに次の2つのパラメーターに基づいて成果の高いバージョンを判定します。
1. テスト内のバリエーションを成果の高いバージョンと判定するには、メインの目標の値が、訪問者数、コンバージョン数、期待損失値の基準を満たす必要があります。

2. 目標内のバリエーションを成果の高いバージョンと判定する際は、訪問者数、コンバージョン数、期待損失値が考慮されます。

訪問者数とコンバージョン数の指標

多変量テストのベイズ法では、元のページとバリエーションページの両方について確率（%）を計算します。この確率（%）は、訪問者数とコンバージョン数という2つの主な要因に基づいて迅速に算出できます。

訪問者数は、該当するバリエーションを訪れた訪問者（重複を除く）の合計数を示します。多変量テストの結果を正確に解釈するには、十分な訪問者数が必要です。つまり、訪問者数が多いほど、勝者を判定できる確率が高くなります。
一方、コンバージョン数は、特定の目標について、訪問者が目的の処理を完了した重複のない件数を示します。ボタンのクリックから、商品を購入して顧客になることまで、Webページ上でユーザーに実行してもらいたい任意の処理が該当します。

メモ：頻度主義によるテストとは異なり、ベイズ法によるテストでは、有効な結果を得るためにサンプル数を固定する必要はありません。

PageSenseでは、ベイズ法を使用して判断する前に、次の2つのビジネスルールに従うことをお勧めします。

バリエーションごとに訪問者（重複を除く）が100人以上記録されるまで待ちます。
メインの目標でコンバージョンが50件以上に達するまで待ちます。
損失値が無視できる水準を下回っているか確認します。
メインの目標値が、テストの勝者を判定するために必要な基準を満たしているか確認します。
上記の値がすべて収集され、目標を勝者と判定するための条件を満たしているか確認します。

期待損失

ベイズ統計では、多変量テストの意思決定の枠組みに期待損失値を使用します。期待損失は、バリエーションBのコンバージョン率がバリエーションAより低い確率と、バリエーションBの結果が劣る場合に平均で何%低いかを組み合わせた値です。期待損失が低いほど、そのバリエーションを勝者と判定できる可能性が高くなり、期待損失が高いほど可能性は低くなります。