多変量テスト結果の理解
PageSenseの多変量テストレポートでは、テスト全体の成果をすばやく確認できるほか、コンバージョン率、差分区間、有意性など、各バリエーションの訪問者に関する指標を詳細に確認できます。豊富なデータを含むこのレポートにより、Webページ上のさまざまな要素のパフォーマンスをすぐに分析し、ユーザーに対してどのバリエーションのページがより高い成果を上げているかを判断できます。
PageSenseで多変量テストのレポートにアクセスするには
多変量テストを開き、上部のバーにある［レポート］タブをクリックします。次の3つのタブが表示されます：［概要］、［詳細分析］、［ヒートマップ］。
［概要］タブ
概要
ランキング
多変量テストの結果は、常に目標に基づいて算出されます。［ランキング］セクションには、テストに関連付けられたすべての目標が表示され、メインの目標には星印が付きます。各目標の表には、次の情報が表示されます。
-
目標の結果：多変量テストのオリジナルページとバリエーションページについて算出されたコンバージョン率に基づき、目標の勝者のバリエーションと優位なバリエーションを示します。
-
勝者のバリエーション：多変量テストの特定のコンバージョン目標において、コンバージョン率が最も高く、必要な有意水準とサンプルサイズに達したバリエーションです。
-
優位なバリエーション：多変量テストの特定のコンバージョン目標において、比較対象のバリエーションより高い成果を上げているバリエーションです。
-
現在、優位なバリエーションはありません：特定のコンバージョン目標において、バリエーションがオリジナル版と同程度の成果を上げています。
-
{variant names}が優位なバリエーションです：特定のコンバージョン目標において、複数のバリエーションが同時に比較対象より高い成果を上げている場合に表示されます。
-
順位：対応する目標に対する成果に基づく、バリエーションの順位を示します。
-
バリエーション：オリジナルを含め、テストページで利用できるすべてのバリエーションの一覧を示します。
-
訪問者：対応するバリエーションを訪問した訪問者（重複を除く）の合計数を示します。
-
コンバージョン：特定の目標に設定された処理を訪問者が達成した件数を、重複を除いて示します。コンバージョンとは、ユーザーに実行してもらいたい任意の処理を指します。ボタンのクリックから購入して顧客になるまで、Webページ上で行われるあらゆる処理が含まれます。
-
コンバージョン率：コンバージョン率は、コンバージョン数を訪問者数の合計で割った値です。たとえば、バリエーションページに1か月で200人の訪問者があり、50件の購入があった場合、コンバージョン率は50÷200で25%になります。
コンバージョン率は割合（%）で示され、任意の正の値を取ることができます。
警告と通知メッセージ
上部の通知バナーには、テストのステータスのほか、バリエーションでのデータ収集やコンバージョンの追跡に関する問題など、確認が必要な警告が表示されます。
-
「明確な結果が得られるまで、このテストを続行することをお勧めします。」
原因：結果を確定するために必要な訪問者数に達していない場合に表示されることがあります。この場合は、必要な訪問者数とコンバージョン率が得られ、選択した有意水準に達するまで、テストを継続してください。 -
「オリジナルとバリエーションの成果が同程度であるため、明確な結果が得られません。」
原因：Webページのオリジナル版とバリエーション版の成果が同程度で、新しいバリエーションを公開してもオリジナルより高い効果が見込めないことが原因です。この場合は、テストを終了し、ページ用に新しい多変量テストを作成することをお勧めします。
［詳細分析］タブ
グラフの見方
-
時間基準グラフ：選択した期間（X軸）にわたって分布する複数のデータの変動を示します。データの値やポイントは一定の時間間隔で算出され、それぞれ独立したものとして扱われるため、時間基準のグラフと呼ばれます。
たとえば、4月12日にWebサイトでブラックフライデーセールを開始したとします。この日にバリエーションページへ100人の新規訪問者があり、そのうち40人がコンバージョンに至った場合、コンバージョン率は40%です。これは前日（4月20日）より20%高い値です。この場合、時間基準の表示を使用すると、セール前後の日について、データの訪問者数とコンバージョン率を比較できます。この情報は、Webページに加えた変更が、その後のコンバージョン率に影響しているかどうかを判断するために使用できます。
この種類のグラフパターン（下図）では、指定した期間内の特定の日に、コンバージョンがゼロまで低下する場合もあります。これは、トラフィックやコンバージョン率が低いことが原因で、通常の動きである可能性があります。一方、トラフィックが多いテストでこのようなパターンが見られる場合、設定に問題が発生している可能性があるため、テスト設定の品質を再確認する必要があります。実施中のテストにおける品質保証の確認にも利用できます。
-
累計グラフ：選択した期間（X軸）にわたって分布する、平準化されたデータを示します。最初のポイント、最初の2つのポイント、最初の3つのポイントというように、時間の経過に伴うデータの値やポイントの合計を算出するため、累計グラフと呼ばれます。
たとえば、4月1日に多変量テストを開始し、2週間ごとの成果を確認するために4月15日時点のコンバージョン率を確認するとします。この場合、累計グラフを使用すると、4月中旬までのバリエーションデータを集計した平均的な成果をすばやく把握できます。
この種類のグラフパターン（下図）では、オリジナルとバリエーションの効果が、テストの後半よりも開始直後に大きく変動することも確認できます。このようなパターンが見られる場合は、グラフが水平に安定するまでテストを継続し、早期終了を避けることが推奨されます。
また、グラフのドロップダウンでは、バリエーションごとに目標の指標をフィルターし、コンバージョン率、コンバージョン、訪問者、改善率、有意性などの個別の成果指標で比較できます。
-
予測の表示：［予測］ボタンを有効にすると、選択した期間における各バリエーションのコンバージョン率と改善率の予測や変化を確認できます。予測とは、将来の一定期間における変化の推定値です。多変量テストの結果を分析し、長期的な成果を予測するために使用できます。
表の見方
-
バリエーション：オリジナルを含め、テストページで利用可能なすべてのバリエーションの一覧を示します。
-
訪問者：該当するバリエーションへの訪問者（重複を除く）の合計数を示します。
-
コンバージョン：特定の目標について、訪問者が目的の処理を完了した重複のない件数を示します。コンバージョンとは、ユーザーに実行してもらいたい任意の処理を指します。ボタンのクリックから、商品を購入して顧客になるまで、Webページ上で実行されるあらゆる処理が含まれます。
-
コンバージョン率：コンバージョン率は、コンバージョン数を訪問者数の合計で割った値です。
-
差分区間：結果を示す際は、オリジナルとバリエーションのコンバージョン率で観測された差だけでなく、両ページの実際のコンバージョン率が取り得る範囲も示すことをお勧めします。 この値の範囲を差分区間と呼び、数直線の目盛り上に表示します。
数値目盛りの上限は、すべてのバリエーション間でコンバージョン率が取り得る最大値を示し、下限は最小値を示します。目盛り上の色分けは、次の状態を示します。 -
灰色の領域：テスト結果が確定していないか、有効な結果を判定するためにさらに多くの訪問者が必要であることを示します。
-
緑色の領域：成果の高いバージョンを示します。
-
赤色の領域：成果の低いバリエーションを示します。
たとえば、7,626人の訪問者を対象にバリエーションページをテストし、1,722件のコンバージョンを獲得した場合、コンバージョン率は22.58%になります。この場合、差分区間は21.64%～23.52%と表示されます。これは、バリエーションページで新たに獲得した訪問者とコンバージョンに応じて、コンバージョン率がこの範囲内のいずれかの値になる可能性があることを意味します。
メモ：
差分区間では、多変量テストのオリジナルとバリエーション1のコンバージョン率が重なっていないか注意する必要があります。たとえば、オリジナルのコンバージョン率の信頼区間が10～20%、バリエーション1の信頼区間が15～25%であるとします。2つの信頼区間は15～20%の範囲で5%重なっています。この場合、テストしたバリエーションBが実際に有意な改善であると判断するのは非常に困難です。そのため、区間に重なりがある場合、成果の高いバージョンとは判定されません。
-
改善：改善とは、Webページのオリジナル版とバリエーション版のコンバージョン率の相対的な差を示します。改善率は正または負の値になります。
たとえば、バリエーションのコンバージョン率が30%、オリジナルのコンバージョン率が15%の場合、改善率は（30－15）÷15×100＝100%です。この場合、バリエーションページのコンバージョン率は100%向上しています。
-
有意性（頻度法の場合）：多変量テストの結果を解釈するうえで最も重要な概念は、統計的有意性です。統計的有意性から、選択した有意水準において、バリエーションが基準を上回っているか下回っているかを確認できます。この有意水準は、結果の評価に適用した頻度法の種類に基づいて決まります。
有意性は、バリエーションAとBのページ間におけるコンバージョン率の差が、偶然の処理や選択によるものではなく、訪問者の行動の実際の変化によるものである確率として定義されます。簡単にいえば、統計的有意性が高いほど、結果の信頼性も高いと判断されます。
たとえば、多変量テストの有意水準が95%の場合、成果の高いバージョンを判定した際に、観測された結果が実際のものであり、偶然によるエラーではないことを95%確信できるという意味です。同時に、判断が誤っている可能性が5%あることも意味します。多変量テストで成果の高いバージョンを判定する際の、統計的有意性の重要性をご確認ください。
-
勝率（ベイズ法の場合）：多変量テストで、バリエーションがオリジナル版を上回る確率として定義されます。勝率から、どのバリエーションが優れているか、また何%優れているかを確認できます。これは、ベイズ法で多変量テストの成果の高いバージョンを判定する際に使用される、最も実用的な指標です。このアプローチでは、次の3つのメインの条件を満たすと、成果の高いバージョンが判定されます。
1. 各バリエーションの訪問者（重複を除く）の件数が100件以上に達している。2. 設定した目標の重複しないコンバージョン数が50件以上である。3. 平均損失値が最小である。
メインの条件を満たすと、ベイズ法ではさらに次の2つの基準に基づいて成果の高いバージョンを判定します。
1. テストのバリエーションを成果の高いバージョンとして判定するには、メインの目標の値が、訪問者の件数、コンバージョン数、期待損失値の条件を満たしている必要があります。
2. 目標のバリエーションを成果の高いバージョンとして判定するには、訪問者の件数、コンバージョン数、期待損失値が考慮されます。
［ヒートマップ］タブ
多変量テストでヒートマップを有効にすると、オリジナルページとバリエーションページ上で、訪問者がクリック、スクロール、閲覧した場所を可視化して特定できます。このレポートでは、特定のバリエーションが期待どおりの成果を上げなかった理由や、問題を解決するために変更すべき点についても詳しく分析できます。
多変量テストでヒートマップから把握できる情報
多変量テストでスクロールマップから把握できる情報
多変量テストでアテンションマップから把握できる情報
これらのレポートでは、色付きのオーバーレイによってページ上の反応の度合いを示します。赤色の領域は活動が最も多く、青色は活動が少ないことを示します。これらのアテンションマップ指標に基づいて、バリエーション上で訪問者の視線を最も集めているセクションを追跡できます。その後、重要なコンテンツや画像をページ内で最も注目を集めるセクションに配置してテストできます。
ヒートマップから得られる情報と多変量テストのレポートを組み合わせることで、バリエーションページのコンバージョンを増やし、成果の高いバージョンを判定するための統計的有意性を高めることができます。