A/Bテスト結果の理解
PageSenseのA/Bテストレポートでは、テスト全体の成果をすばやく確認できるほか、コンバージョン率、差分区間、有意性など、各バリエーションの訪問者に関する詳細な指標を確認できます。豊富なデータを含むこのレポートを使用すると、Webページ上の各要素のパフォーマンスをすぐに分析し、どのバリエーションページが訪問者に対してより高い成果を上げているかを判断できます。
PageSenseでA/Bテストレポートにアクセスするには
A/Bテストを開き、上部バーの［レポート］タブをクリックします。次の3つのタブが表示されます：［概要］、［詳細分析］、［ヒートマップ］。
［概要］タブ
概要
リーダーボード
A/Bテストの結果は、常に目標に基づいています。［リーダーボード］セクションには、テストに関連付けられているすべての目標が一覧表示され、メインの目標には星印が付きます。各目標の表には、次の情報が表示されます。
-
目標の結果：A/Bテストの元のページとバリエーションページについて算出されたコンバージョン率に基づき、目標に対する勝利したバリエーションと優位なバリエーションを示します。
-
勝利したバリエーション：A/Bテストの特定のコンバージョン目標に対して、コンバージョン率が最も高く、必要な有意水準とサンプルサイズに達したバリエーションです。
-
優位なバリエーション：A/Bテストの特定のコンバージョン目標に対して、他のバリエーションよりも高い成果を上げているバリエーションです。
-
現在、優位なバリエーションはありません：特定のコンバージョン目標に対して、バリエーションが元のページと同程度の成果を上げていることを示します。
-
{variant names}が優位なバリエーションです：特定のコンバージョン目標に対して、複数のバリエーションが同時に他のバリエーションよりも高い成果を上げている場合に表示されます。
-
順位：対応する目標に対するパフォーマンスに基づく、バリエーションの順位を示します。
-
バリエーション：元のページを含め、テストページで利用できるすべてのバリエーションの一覧を示します。
-
訪問者：対応するバリエーションを訪問した訪問者（重複を除く）の総数を示します。
-
コンバージョン：特定の目標について、訪問者が目的の操作を達成した重複のない件数を示します。コンバージョンとは、ユーザーに実行してもらいたい任意の操作を指します。ボタンのクリックから商品の購入、顧客への転換まで、Webページ上で実行されるあらゆる操作が含まれます。
-
コンバージョン率：コンバージョン率は、コンバージョン数を訪問者数の合計で割った値です。たとえば、バリエーションページに1か月で200人が訪問し、そのうち50人が購入した場合、コンバージョン率は50÷200で25%となります。
コンバージョン率は割合（%）で表され、0より大きい任意の値になります。
警告と通知メッセージ
上部の通知バナーには、テストのステータスのほか、バリエーションのデータ収集やコンバージョンの追跡に関して確認が必要な問題の警告が表示されます。
-
「明確な結果が得られるまで、このテストを継続することをおすすめします。」
原因：結果を確定するために必要な訪問者数に達していない場合に表示されることがあります。この場合、必要な訪問者数、より高いコンバージョン率、選択した有意水準に達するまで、テストを継続する必要があります。 -
「元のページとバリエーションのパフォーマンスが同程度のため、明確な結果が得られません。」
原因：Webページの元のページとバリエーションのパフォーマンスが同程度であり、元のページの代わりに新しいバリエーションを公開する明確な利点がないことが原因として考えられます。この場合、テストを終了し、ページに対して新しいA/Bテストを作成することをおすすめします。
［詳細分析］タブ
グラフの見方
-
時間基準のグラフ：このグラフには、選択した期間（X軸）に分布する複数のデータの増減が表示されます。データの値またはポイントが一定の時間間隔で算出され、それぞれ独立した値として扱われるため、時間基準のグラフと呼ばれます。
たとえば、Webサイトでブラックフライデーセール（4月12日）を開始したとします。この日に100人の新規訪問者がバリエーションページを訪れ、そのうち40人がコンバージョンに至った場合、コンバージョン率は40%です（前日の4月20日より20%高い値です）。この場合、時間基準の表示を使用すると、セール前後の日における訪問者数とコンバージョン率を比較できます。これにより、Webページに加えた変更がコンバージョン率の推移に影響しているかどうかを後から判断できます。
この種類のグラフ（下図）では、期間内の特定の日にコンバージョンがゼロまで低下することがあります。これは、トラフィックやコンバージョン率の低下によるもので、異常ではない場合があります。一方、トラフィックが多いテストでこのようなパターンが見られる場合は、何らかの不具合が発生している可能性があるため、テスト設定の品質を再確認する目安になります。そのため、実施中のテストにおける品質保証の確認にも利用できます。
-
累計グラフ：このグラフには、選択した期間（X軸）に分布する平準化されたデータが表示されます。最初のポイント、最初の2つのポイント、最初の3つのポイントというように、データの値またはポイントが時間の経過に沿って加算されるため、累計グラフと呼ばれます。
たとえば、4月1日にA/Bテストを開始し、2週間ごとのパフォーマンスを確認するため、4月15日時点のコンバージョン率を確認するとします。この場合、累計グラフを使用すると、4月中旬までのバリエーションデータを合計した平均パフォーマンスをすばやく把握できます。
この種類のグラフ（下図）では、テストの初期段階では、後半に比べて元のページとバリエーションの効果が大きく変動することも確認できます。このようなパターンが見られる場合は、グラフが水平に安定するまで待つことで、テストの早期終了を避けられます。
さらに、グラフのドロップダウンでは、異なるバリエーション間の目標の指標を、［コンバージョン率］、［コンバージョン］、［訪問者］、［改善］、および［有意性］などの個別のパフォーマンス指標でフィルターできます。
-
予測の表示：［予測］ボタンを有効にすると、選択した期間における各バリエーションのコンバージョン率（および改善率）の予測や変化を確認できます。予測は、将来の一定期間における変化の推定値です。A/Bテスト結果のパフォーマンスを検証し、長期的な成功を予測するために使用できます。
表の見方
-
バリエーション：元のページを含め、テストページで利用可能なすべてのバリエーションの一覧を示します。
-
訪問者：該当するバリエーションを訪れた訪問者数（重複を除く）の合計を示します。
-
コンバージョン：特定の目標について、訪問者が目的の処理を完了した重複のない件数を示します。コンバージョンとは、ユーザーに実行してほしい任意の処理を指します。ボタンのクリックから購入して顧客になるまで、Webページ上で行われるあらゆる処理が含まれます。
-
コンバージョン率：コンバージョン率は、コンバージョン数を訪問者数の合計で割った値です。
-
差分区間：結果を示す際は、元のページとバリエーションのコンバージョン率で観測された差だけでなく、両ページの実際のコンバージョン率が含まれる可能性のある範囲も提示することをお勧めします。 この値の範囲を差分区間と呼び、数直線の目盛り上に表示します。
数値目盛りの上限は、すべてのバリエーション間で想定されるコンバージョン率の最大値を示し、下限は最小値を示します。目盛り上の色分けは、次の状態を示します。 -
グレーの領域：テストの結果が確定していないか、有効な結果を判断するために、より多くの訪問者が必要であることを示します。
-
緑色の領域：成果の高いバージョンを示します。
-
赤色の領域：成果の低いバリエーションを示します。
たとえば、バリエーションページを7,626人の訪問者でテストし、1,722件のコンバージョンを獲得して、コンバージョン率が22.58%になったとします。この場合、差分区間は21.64%～23.52%と表示されます。これは、バリエーションページで新たに獲得した訪問者とコンバージョンに応じて、コンバージョン率がこの範囲内の任意の値になる可能性があることを意味します。
メモ：
差分区間では、A／Bテストの元のページとバリエーション1のコンバージョン率の重複に注意する必要があります。たとえば、元のページのコンバージョン率の信頼区間が10～20%、バリエーション1の信頼区間が15～25%であるとします。2つの信頼区間は15～20%の範囲で5%重複しています。この場合、Bでテストしたバリエーションに有意な改善が実際にあったと判断するのは非常に困難です。そのため、重複がある場合は、成果の高いバージョンを確定しません。
-
改善：改善とは、Webページの元のバージョンとバリエーションのコンバージョン率の相対的な差を示します。改善の割合（%）は、正または負の値になることがあります。
たとえば、バリエーションのコンバージョン率が30%、元のページのコンバージョン率が15%の場合、改善率は（30－15）÷15×100＝100%です。この場合、バリエーションページのコンバージョン率は100%増加しています。
-
有意性（頻度法の場合）：A／Bテストの結果を解釈するうえで最も重要な概念は、統計的有意性です。統計的有意性により、選択した有意水準で、バリエーションの成果が基準を上回っているか下回っているかを判断できます。この有意水準は、結果の評価に適用した頻度法の種類に基づいて決まります。
有意性とは、バリエーションAとBのページ間にあるコンバージョン率の差が、偶発的な処理や選択ではなく、訪問者の行動の実際の変化によって生じた確率です。簡単にいえば、統計上の有意性が高いほど、結果の信頼性も高いとみなされます。
たとえば、A／Bテストの有意水準が95%の場合、成果の高いバージョンを確定した際に、観測された結果が偶然によるエラーではなく実際の結果であると95%の確率で確信できます。また、判断が誤っている可能性が5%あることも意味します。A／Bテストで成果の高いバージョンを確定する際の、統計的有意性の重要性について説明します。
-
勝率（ベイズ法の場合）：A／Bテストで、バリエーションの成果が元のバージョンを上回る確率です。勝率からは、どのバリエーションがどの程度優れているかを割合（%）で確認できます。これは、ベイズ法でA／Bテストの成果の高いバージョンを確定する際に使用する、最も実用的な指標です。この方法では、次の3つのメインの条件を満たすと、成果の高いバージョンが確定されます。
1. バリエーションの訪問者数（重複を除く）が100人以上に達している。2. 設定した目標の重複しないコンバージョンが50件以上に達している。3. 平均損失値が最小である。
メインの条件を満たした後、ベイズ法では次の2つのパラメーターに基づいて成果の高いバージョンを確定します。
1. テストのバリエーションを成果の高いバージョンとして確定するには、メインの目標の値が、訪問者数、コンバージョン数、期待損失値の条件を満たしている必要があります。
2. 目標のバリエーションを成果の高いバージョンとして確定する場合は、訪問者数、コンバージョン数、期待損失値を使用します。
［ヒートマップ］タブ
A／Bテストでヒートマップを有効にすると、元のページとバリエーションページで訪問者がクリック、スクロール、閲覧している場所を可視化して特定できます。このレポートからは、特定のバリエーションが期待どおりの成果を上げなかった理由や、問題を解決するために変更が必要な箇所についても分析できます。
ヒートマップから確認できるA／Bテストの情報
スクロールマップから確認できるA／Bテストの情報
アテンションマップから確認できるA／Bテストの情報
これらのレポートでは、色付きのオーバーレイを使用して、ページ上での反応の度合いを示します。赤色の領域は活動が最も多く、青色は活動が少ないことを示します。これらのアテンションマップ指標に基づき、バリエーション内で訪問者の視線を最も集めているセクションを追跡できます。そのうえで、重要なコンテンツや画像をページ内で最も注目を集めるセクションに配置し、テストできます。
ヒートマップの分析とA／Bテストのレポートを組み合わせることで、バリエーションページのコンバージョンを増やし、成果の高いバージョンを確定するための統計的有意性を高めることができます。