PageSenseでのA/Bテストの勝者の確定

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

A/Bテストは、単にテストを実行して、Webページで成果の高いバージョンを見つけるだけではありません。さまざまな要因が成果にどう影響したかを把握することも重要です。最も成果の高いデザインをWebサイトに反映する前に、テストで得られた結果（勝者、優勢、判定不能）を詳しく確認する必要があります。これにより、特定のバリエーションに対するオーディエンスの反応を把握し、今後適切な判断を下せるようになります。

Zoho PageSenseでは、A/Bテストの結果を確定して成果の高いバージョンを判定するために、複数の基準を設けています。基準には、バリエーションページに設定した各目標の訪問者数、コンバージョン数、コンバージョン率、改善、統計的有意性、その他の関連指標が含まれます。これらの指標から、PageSenseで実行したA/Bテストのレポート結果をどの程度信頼できるかを確認できます。

この記事では、PageSenseで成果の高いバージョンの判定に影響する主な指標と、A/Bテスト（またはスプリットURLテスト）の結果を分析する際に考慮すべき要因について説明します。

頻度法による結果の判定

A/Bテストの頻度法では、訪問者のサンプル内でイベントが発生した回数を計算し、バリエーションAとBのどちらの成果が高いかを判定します。頻度法で成果の高いバージョンと判定されるには、バリエーションが次の条件を満たす必要があります。

十分な訪問者数（またはサンプルサイズ）に達している
メインの目標のコンバージョン率が高い
設定した統計的有意性の水準に達している

訪問者数／サンプルサイズ

A/Bテスト（またはスプリットURLテスト）を実行すると、元のバージョンとバリエーションに流入する訪問者全体のトラフィックは、テストの設定時に各バージョンへ割り当てたトラフィックの割合（%）に応じて決まります。

Zoho PageSenseでは、ページを訪問する新規訪問者を詳細に追跡し、元のページと各バリエーションページで統計的に有意な結果を得るために十分なトラフィックがあるか確認します。必要な訪問者トラフィックに達すると、結果から成果の高いバージョンが判定されます。ただし、トラフィック量が少なすぎる場合は、信頼でき、意思決定に活用できる結果を得るために、各バリエーションでさらに必要な訪問者数が表示されます。

A/Bテストを実行して有効な結果を得るために各バリエーションで必要となる最小訪問者数を、サンプルサイズと呼びます。サンプルサイズは、A/Bテストで短期間に明確な結果を得るうえで最も大きな要因です。

たとえば、特定の地域の人々が新しいホームページにどのように反応するかを予測するとします。この場合、その場所からサイトを訪問するすべての人を対象にテストすると、時間と手間がかかるため、完了を待つことは現実的ではありません。まず、対象者を代表するサンプルサイズでテストできます。この場合、場所に基づいて抽出した一定数の人々がテスト対象となります。サイトがサンプルサイズに応じた多くのトラフィックを獲得するほど、統計的に有意な結果が得られたかどうかを判断するのに十分なサンプルを早く収集できます。

必要なサンプルサイズを事前に計算し、設定した訪問者数を対象にテストを実行することで、時間やリソースをあまり無駄にせず、必要な有意性の水準に到達できます。

情報：サンプルサイズは、必要な有意性の水準を達成するうえでどのように役立ちますか？

PageSenseでは、A/Bテストの最終結果は、達成した有意性の水準に基づいて判定されます。ただし、有意性の割合（%）の計算には、獲得した訪問者トラフィックとコンバージョン率に応じて一定の誤差が生じます。

たとえば、訪問者とコンバージョンが少ない場合、有意性の水準は大きく変動します。ある時点では有意性が95%でも、訪問者が少し増えると70%まで低下することがあります。このような場合、サンプルサイズを考慮することで、バリエーションページの訪問者数が十分に増えた後に、統計的有意性が安定します。それ以降、これらの指標は安定した状態を維持します。

コンバージョン率

A/Bテストの基本的な目的は、コンバージョン率を高めることです。コンバージョンの目標を測定することで、各バリエーションを比較して成果を確認できます。目標のコンバージョンは、訪問者がバリエーションページに設定した特定の操作を完了したときに発生します。たとえば、メールマガジンへの登録、商品の購入、カートへの商品の追加などです。

ページのコンバージョン率は、コンバージョン数を訪問者の合計数で割って、割合（%）として算出されます。PageSenseでは、テストの結果が成果の高いバージョン、優勢なバリエーション、判定不能のいずれであるかを判断する際に、メインの目標が主要な目標として使用されます。

目標のコンバージョン率が低い場合、意図した処理を実行している人が少ないことを意味します。一方、コンバージョン率が高い場合、ページのどの部分が効果を上げているかを確認できます。この指標により、ページの結果が偶発的な要因ではなく、加えた変更によるものであることを確認できます。

たとえば、ホームページの［登録］CTAでテストを実行し、元のバージョンとバリエーションで次のコンバージョン率が得られたとします。

元のバージョン：訪問者（重複を除く）42,000人、コンバージョン10,000件、コンバージョン率23.8%。
バリエーション1：訪問者（重複を除く）86,000人、コンバージョン22,000件、コンバージョン率25.5%。

この例では、コンバージョン率の点で「バリエーション1」が元のバージョンより優れていることがわかります。ただし、この指標だけでは「バリエーション1」を成果の高いバージョンと判定できません。ページのコンバージョン率は、新規訪問者やテストの期間に応じて変化し続けるためです。

情報：テスト終了前に最も高いコンバージョン率だけを見て、バリエーションの成否を判断するのは、誤っており非効率な判断になる可能性があります。これは、大半の訪問者数を対象にテストされていないためです。

有意性の水準

A/Bテストに設定したメインの目標について、訪問者数とコンバージョン率の指標を確認したら、次に結果に必要な統計的信頼性を検討します。これは、レポートに表示される統計的有意性の水準から判断できます。

統計的有意性は、得られた結果がWebページに加えた変更によるものであり、その最終的な変更をビジネス上の意思決定に十分な自信を持って反映できることを、数学的に証明するものです。この有意性の水準は、テスト結果の評価に適用した頻度法の種類に応じて、次のように設定されます。

簡単な傾向：統計的有意性の水準 > 90%
最適：統計的有意性の水準 > 95%
高精度：統計的有意性の水準 > 99%

たとえば、ホームページの［登録］CTAでテストを実行し、元のバージョンとバリエーションで次の訪問者数とコンバージョン数が得られたとします。

元のバージョン：訪問者（重複を除く）42,000人、コンバージョン10,000件、コンバージョン率23.8%。
バリエーション1：訪問者（重複を除く）86,000人、コンバージョン22,000件、コンバージョン率25.5%。

統計的有意性を計算すると、「バリエーション1」が元のバージョンより優れており、有意性の割合（%）が96であることがわかります。この場合、A/Bテストは成功しているため、Webページに「バリエーション1」を使用できます。

統計的有意性は、次の2つの変数によって決まります。元のバージョンと各バリエーションの訪問者数（またはサンプルサイズ）とコンバージョン率です。A/Bテストで必要な統計的有意性の水準にできるだけ早く到達するには、これら両方の変数を考慮してテスト仮説を立てる必要があります。

PageSenseでA/Bテストの結果を判定する一般的なケースは、次のとおりです。

訪問者数と有意性が基準に達している場合
元のバージョンとバリエーションの両方が必要な訪問者数に達している場合、コンバージョン率が最も高く、必要な有意性の水準に達したバリエーションが、成果の高いバージョンと判定されます。
訪問者数と有意性が基準に達していない場合
PageSenseには、明確な結果を得るために必要な、各バリエーションの残りの訪問者数が表示されます。
訪問者数は基準に達しているが、有意性が基準に達していない場合
訪問者数が基準に達した後も、統計的に優れたバリエーションがない場合、テストは判定不能とされます。この場合、元のバージョンを引き続き使用するか、別のテストを実行できます。失敗したデータを活用し、次のテストに向けた新しい仮説を立てることもできます。

ベイズ法による結果の判定

A/Bテストのベイズ法では、テスト期間中に収集した前日のデータを比較し、バリエーションAがBより高い成果を上げる確率を算出します。この手法では、次の3つのメインルールを満たすと、成果の高いバージョンが判定されます。

1. バリエーションの重複を除く訪問者数が100以上に達している。

2. 設定した目標について、重複を除くコンバージョン数が50件以上に達している。

3. 平均損失値が最小である。

メインルールを満たすと、ベイズ法ではさらに次の2つの指標に基づいて、成果の高いバージョンが判定されます。
1. テストのバリエーションを成果の高いバージョンと判定するには、メインの目標の値が訪問者数、コンバージョン数、期待損失値の基準を満たす必要があります。

2. 目標におけるバリエーションを成果の高いバージョンと判定する際は、訪問者数、コンバージョン数、期待損失値が使用されます。

訪問者数とコンバージョン件数の指標

A/Bテストのベイズ法では、元のページとバリエーションページの両方について確率（%）を算出します。この確率（%）は、訪問者数とコンバージョン件数という2つの主要な要因に基づいて迅速に算出できます。

「訪問者数」は、該当するバリエーションを訪問した訪問者（重複を除く）の合計数を示します。A/Bテストの結果を正確に解釈するには、十分な訪問者数を確保することが理想的です。つまり、訪問者数が多いほど、勝者を判定できる確率が高くなります。
一方、「コンバージョン件数」は、特定の目標に設定された処理を訪問者が実行した重複のない件数を示します。これには、ボタンのクリックから、商品を購入して顧客になることまで、Webページ上でユーザーに実行してもらいたい任意の処理を設定できます。

メモ：頻度主義によるテストとは異なり、ベイズ法によるテストでは、有効な結果を得るためにサンプル数を固定する必要はありません。

PageSenseでは、ベイズ法を使用して判断する前に、次の2つのビジネスルールに従うことを推奨します。

各バリエーションで少なくとも100人の訪問者（重複を除く）が記録されるまで待ちます
メインの目標で少なくとも50件のコンバージョンを達成するまで待ちます。
損失値が無視できる水準を下回っているか確認します。
メインの目標の値が、テストを勝者と判定するために必要な基準を満たしているか確認します。
目標を勝者と判定するために、上記のすべての値が収集され、条件を満たしているか確認します。

期待損失

ベイズ統計では、A/Bテストの意思決定に期待損失の値を使用します。期待損失は、バリエーションBのコンバージョン率がバリエーションAより低くなる確率と、バリエーションBの方が劣る場合に平均でどの程度の割合（%）低くなるかを組み合わせた値です。期待損失が低いほど、そのバリエーションが勝者と判定される可能性が高くなり、期待損失が高い場合はその逆となります。