上部の通知バナーには、テストのステータスのほか、バリエーションでのデータ収集やコンバージョンの追跡に関する問題の警告が表示されます。
「明確な結果が得られるまで、このテストを継続することをお勧めします。」
原因:結果を確定するために必要な訪問者数に達していない場合に表示されることがあります。この場合は、必要な訪問者数に達し、コンバージョン率が向上して、選択した有意水準に達するまで、テストを継続する必要があります。
「元のページとバリエーションの成果が同程度であるため、結果を確定できません。」
原因:Webページの元のバージョンとバリエーションの成果が同程度であり、元のページに代えて新しいバリエーションを公開する明確な利点がないことが原因と考えられます。この場合は、テストを終了し、ページに対して新しいA/Bテストを作成することをお勧めします。
時間基準グラフ:選択した期間(X軸)に分布する、複数のデータの増減を示すグラフです。データの値や点が一定の時間間隔ごとに計算され、それぞれ独立したものとして扱われるため、時間基準と呼ばれます。
たとえば、Webサイトでブラックフライデーセール(4月12日)を開始したとします。この特定の日にバリエーションページへ100人の新規訪問者がアクセスし、そのうち40人がコンバージョンに至り、コンバージョン率が40%(前日の4月20日より20%高い)になったとします。この場合、時間基準表示を使用すると、セール前後の日における訪問者数とコンバージョン率を比較できます。この結果は、Webページに加えた変更が、時間の経過とともにコンバージョン率に影響しているかどうかを判断するために利用できます。
累計グラフ:選択した期間(X軸)に分布する、平準化されたデータを示すグラフです。最初の点、最初の2点、最初の3点というように、時間の経過に伴って各データの値や点の合計が計算されるため、累計と呼ばれます。
たとえば、4月1日にA/Bテストを開始し、テストの成果を2週間ごとに確認するため、4月15日時点のコンバージョン率を確認するとします。この場合、累計グラフを使用すると、4月中旬までのバリエーションデータを合計した平均的な成果をすばやく把握できます。
予測の表示:[予測]ボタンを有効にすると、選択した期間における各バリエーションのコンバージョン率と改善率の予測または変化を確認できます。予測とは、将来の一定期間における変化の推定値です。A/Bテスト結果の成果を調査し、長期的な成功を予測するために利用できます。
バリエーション:オリジナルを含め、テストページで利用可能なすべてのバリエーションの一覧を示します。
訪問者:該当するバリエーションを訪問した訪問者数(重複を除く)の合計を示します。
コンバージョン:特定の目標に対して、訪問者が期待される行動を達成した件数(重複を除く)を示します。コンバージョンとは、ユーザーに実行してもらいたい任意の処理を指します。ボタンのクリックから購入、顧客への転換まで、Webページ上で行われるあらゆる処理が該当します。
コンバージョン率:コンバージョン数を訪問者数の合計で割った値です。
たとえば、バリエーションページに1か月で200人の訪問者があり、50件の購入があった場合、コンバージョン率は50÷200で25%になります。コンバージョン率は割合(%)で表され、正または負の任意の値を取ることができます。
差分区間:結果を示す際は、オリジナルとバリエーションのコンバージョン率で観測された差だけでなく、オリジナルページとバリエーションページの実際のコンバージョン率が収まる可能性のある範囲も示すことをお勧めします。 この値の範囲を差分区間と呼び、数直線上に表示します。
数直線では、上限はコンバージョン率の最大範囲、下限はすべてのバリエーション間におけるコンバージョン率の最小範囲を示します。数直線上の各色は、次の状態を示します。
灰色の領域:テストの結論が出ていないか、有効な結果を判定するにはさらに多くの訪問者が必要であることを示します。
緑色の領域:成果の高いバージョンを示します。
赤色の領域:成果の低いバリエーションを示します。
たとえば、バリエーションページを7,626人の訪問者でテストし、1,722件のコンバージョンが発生した場合、コンバージョン率は22.58%になります。この場合、差分区間は21.64%から23.52%です。つまり、バリエーションページで新たに獲得した訪問者とコンバージョンに基づくと、コンバージョン率はこの範囲内の任意の値になる可能性があります。
メモ:
差分区間で注意すべき点は、A/Bテストのオリジナルとバリエーション1のコンバージョン率が重なる場合です。たとえば、オリジナルのコンバージョン率の信頼区間が10~20%、バリエーション1の信頼区間が15~25%であるとします。この2つの信頼区間は15~20%の範囲で5%重なっています。この場合、テストしたバリエーションBが実際に重要な改善をもたらしたと確信することは非常に困難です。そのため、区間に重なりがある場合は、成果の高いバージョンを判定しません。
たとえば、バリエーションのコンバージョン率が30%、オリジナルのコンバージョン率が15%の場合、改善は(30-15)÷15×100=100パーセントポイントです。この場合、バリエーションページのコンバージョン率は100%増加しています。
A/Bテストでヒートマップを有効にすると、オリジナルページとバリエーションページ上で、訪問者がクリック、スクロール、閲覧している場所を可視化して特定できます。このレポートから、特定のバリエーションが期待どおりの成果を上げなかった理由や、問題を解決するために変更が必要な箇所についても分析できます。
ヒートマップから得られる情報とA/Bテストのレポートを組み合わせることで、バリエーションページのコンバージョンを増やし、成果の高いバージョンを判定するための統計的有意性を高めることができます。