PageSense の Split URL テストにおける勝者の宣言

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

スプリットURLテストは、単にテストを実行し、Webページで成果の高いバージョンを見つけるだけのものではありません。さまざまな要因が成果にどう影響したかを把握することも重要です。最も成果の高いデザインをWebサイトに適用する前に、テストで得られた結果が「成果が高い」、「優勢」、「結論なし」のいずれであっても、詳しく確認する必要があります。これにより、特定のバリエーションに対するオーディエンスの反応を把握し、今後の適切な意思決定に役立てることができます。

Zoho PageSenseでは、スプリットURLテストの結果を確定し、成果の高いバージョンを決定するために、複数の基準を満たす必要があります。基準には、各バリエーションページに設定された目標ごとの訪問者数、コンバージョン数、コンバージョン率、改善率、有意性、その他の関連指標が含まれます。これらの指標から、PageSenseで実行したスプリットURLテストのレポート結果がどの程度信頼できるかを確認できます。

この記事では、成果の高いバージョンの決定に影響する主な指標と、PageSenseでスプリットURLテストの結果を分析する際に考慮すべき要因について説明します。

頻度主義法による結果の判定

スプリットURLテストの頻度主義法では、訪問者の標本内でイベントが発生した回数を計算し、バリエーションAとBのどちらの成果が高いかを判定します。頻度主義法で成果の高いバージョンと判定されるには、バリエーションが次の条件を満たす必要があります。

十分な訪問者数（標本サイズ）に達している
メインの目標のコンバージョン率が高い
設定された統計的有意水準に達している

訪問者数／標本サイズ

スプリットURLテストの実行中にオリジナル版とバリエーション版に流入する訪問者の総トラフィックは、テストの設定時に各バージョンへ割り当てたトラフィックの割合（%）によって決まります。

Zoho PageSenseでは、ページへの新規訪問者を継続的に確認し、オリジナルページと各バリエーションページで統計的に有意な結果を得るために十分なトラフィックがあるかを判断します。必要な訪問者トラフィックに達すると、成果の高いバージョンが判定されます。トラフィック量が少なすぎる場合は、信頼でき、実用的な結果を得るために各バリエーションで追加が必要な訪問者数が表示されます。

スプリットURLテストを実行して有効な結果を得るために各バリエーションで必要となる最小訪問者数を、標本サイズと呼びます。標本サイズは、スプリットURLテストで短期間に明確な結果を得るための最も重要な要因です。

たとえば、特定の地域のユーザーが新しいホームページにどう反応するかを予測するとします。この場合、その場所からサイトを訪れるすべてのユーザーを対象にテストすると、時間と手間がかかります。そのため、まず対象ユーザーを代表する標本サイズでテストできます。この場合、その場所に基づいて選定された所定の人数が標本サイズとなります。標本サイズに応じてサイトへのトラフィックが増えるほど、統計的に有意な結果かどうかを判断するのに十分な標本を早く収集できます。

必要な標本サイズを事前に計算し、設定した訪問者数を対象にテストを実行することで、時間やリソースを無駄にせず、必要な有意水準に到達できます。

情報：標本サイズが必要な有意水準の達成に役立つ仕組み

PageSenseでは、スプリットURLテストの最終結果は、達成した有意水準に基づいて判定されます。ただし、有意性の割合（%）の計算には、訪問者トラフィックと得られたコンバージョン率に応じて一定の誤差が生じます。

たとえば、訪問者数とコンバージョン数が少ない場合、有意水準は大きく変動します。ある時点では有意性が95%でも、その後に訪問者が数人増えると70%まで下がることがあります。この場合、標本サイズを考慮することで、バリエーションページの訪問者数が十分に増えた後に統計的有意性が安定します。それ以降、これらの指標は安定した状態を維持します。

コンバージョン率

スプリットURLテストの基本的な目的は、コンバージョン率を向上させることです。目標のコンバージョンを測定することで、各バリエーションの成果を相互に比較できます。訪問者がバリエーションページに設定された特定の処理を完了すると、目標のコンバージョンが発生します。たとえば、メールマガジンへの登録、購入、商品のカートへの追加などです。

ページのコンバージョン率は、コンバージョン数を訪問者の総数で割り、割合（%）として算出されます。PageSenseでは、テスト結果が「成果の高いバージョン」、「優勢なバリエーション」、「結論なし」のいずれであるかを判定する際に、メインの目標が主要な目標として使用されます。

目標のコンバージョン率が低い場合、意図した処理を実行しているユーザーが少ないことを示します。コンバージョン率が高い場合は、ページのどの要素が効果的かを把握できます。この指標により、ページ上の結果が偶発的な要因ではなく、加えた変更によるものかどうかを確認できます。

たとえば、ホームページの［登録］CTAでテストを実行し、オリジナル版とバリエーション版で次のコンバージョン率が得られたとします。

オリジナル版：訪問者（重複を除く）が42,000人、コンバージョン数が10,000件、コンバージョン率が23.8%。
バリエーション1：訪問者（重複を除く）が86,000人、コンバージョン数が22,000件、コンバージョン率が25.5%。

この例では、コンバージョン率の点で「バリエーション1」がオリジナル版より効果的です。ただし、この指標だけでは「バリエーション1」を成果の高いバージョンと判定できません。ページのコンバージョン率は、新規訪問者数やテスト期間に応じて変動し続けるためです。

情報：テスト終了前に最も高いコンバージョン率だけを見て、成果の高いバージョンか低いバージョンかを判断すると、誤りかつ非効率となる可能性があります。これは、訪問者の大部分を対象にテストできていないためです。

有意水準

スプリットURLテストに設定したメインの目標について、訪問者数とコンバージョン率の指標を確認したら、次に結果にどの程度の統計的信頼性が必要かを検討します。これは、レポートに表示される統計的有意水準を使用して判断できます。

統計的有意性は、得られた結果がWebページに加えた変更によるものであり、最終的な変更をビジネス上の意思決定に安心して適用できることを数学的に証明するものです。この有意水準は、テスト結果の評価に適用した頻度主義法の種類に基づいて設定されます。

簡単な傾向：統計的有意水準 > 90%
最適：統計的有意水準 > 95%
高精度：統計的有意水準 > 99%

ホームページの［登録］CTAでテストを実行し、オリジナル版とバリエーション版の訪問者数とコンバージョン数が次のとおりだったとします。

オリジナル版：訪問者（重複を除く）が42,000人、コンバージョン数が10,000件、コンバージョン率が23.8%。
バリエーション1：訪問者（重複を除く）が86,000人、コンバージョン数が22,000件、コンバージョン率が25.5%。

統計的有意性を計算すると、「バリエーション1」はオリジナル版より効果的であり、有意性の割合（%）は96であることが分かります。この場合、スプリットURLテストは成功です。「バリエーション1」をWebページで使用できます。

統計的有意性は、次の2つの変数によって決まります。訪問者数（標本サイズ）と、オリジナル版および各バリエーションのコンバージョン率です。スプリットURLテストで必要な統計的有意水準にできるだけ早く到達するには、両方の変数を考慮してテストの仮説を立てる必要があります。

PageSenseでスプリットURLテストの結果を判定する一般的な例は、次のとおりです。

訪問者数と有意水準が基準に達した場合
オリジナル版とバリエーション版の両方が必要な訪問者数に達した場合、コンバージョン率が最も高く、有意水準にも達したバリエーションが、成果の高いバージョンと判定されます。
訪問者数と有意水準が基準に達していない場合
PageSenseでは、明確な結果が得られるまでスプリットURLテストを実行するために、各バリエーションで追加が必要な訪問者数が表示されます。
訪問者数は基準に達したが、有意水準が基準に達していない場合
必要な訪問者数に達しても、どのバリエーションにも統計的な優位性がない場合、テストは「結論なし」と判定されます。この場合、オリジナル版を使用し続けるか、別のテストを実行できます。不成功だったテストのデータを使用して、次のテストに向けた新しい仮説を立てることもできます。

ベイズ法による結果の判定

スプリットURLテストのベイズ法では、テスト期間中に収集された前日のデータを比較し、バリエーションAがBより高い成果を上げる確率を算出します。この手法では、次の3つの主要条件を満たすと、成果の高いバージョンが決定されます。

1. バリエーションの重複を除く訪問者数が100以上であること。

2. 設定した目標で、重複を除くコンバージョン数が50以上であること。

3. 平均損失値が最小であること。

主要条件を満たすと、ベイズ法では、さらに次の2つの指標に基づいて成果の高いバージョンを判定します。
1. テストのバリエーションを成果の高いバージョンと判定するには、メインの目標の値が、訪問者数、コンバージョン数、期待損失値の基準を満たす必要があります。

2. 目標におけるバリエーションを成果の高いバージョンと判定する際は、訪問者数、コンバージョン数、期待損失値が考慮されます。

訪問者数とコンバージョン数の指標

Split URLのベイズ法では、元のページとバリエーションページの両方について、確率を割合（%）で算出します。この割合（%）は、訪問者数とコンバージョン数という2つの主な要因に基づいて迅速に算出できます。

各バリエーションの訪問者数は、そのバリエーションを訪れた訪問者（重複を除く）の合計数を示します。Split URLの結果を正確に解釈できるよう、十分な訪問者数を確保することが理想的です。つまり、訪問者数が多いほど、勝者を判定できる可能性が高まります。
一方、コンバージョン数は、訪問者が特定の目標に対して目的の操作を完了した重複のない件数を示します。これには、ボタンのクリックから、商品を購入して顧客になることまで、Webページ上でユーザーに実行してもらいたいあらゆる操作が含まれます。

メモ：頻度主義によるテストと異なり、ベイズ法によるテストでは、有効な結果を得るためにサンプル数を固定する必要はありません。

PageSenseでは、ベイズ法で意思決定を行う前に、次の2つのビジネス上のルールに従うことを推奨します。

各バリエーションで、訪問者（重複を除く）が100人以上記録されるまで待ちます。
メインの目標で、コンバージョンが50件以上に達するまで待ちます。
損失値が無視できる水準を下回っているか確認します。
メインの目標の値が、テストを勝者と判定するために必要な条件を満たしているか確認します。
記載されているすべての値が収集され、目標を勝者と判定するための条件を満たしているか確認します。

期待損失

ベイズ統計では、Split URLの意思決定の枠組みに期待損失値を使用します。期待損失は、バリエーションBのコンバージョン率がバリエーションAより低い確率と、バリエーションBの方が劣る場合に平均でどの程度の割合（%）低いかを組み合わせたものとして定義されます。期待損失が低いほど、バリエーションを勝者と判定できる可能性が高まり、その逆も同様です。