A/BテストとスプリットURLテストの結果を理解する

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

PageSense の A/B（および分割 URL）テストレポートでは、実験の完了状況や各バリエーションごとの詳細な訪問者指標（変換率、差分インターバル、有意性、その他）を素早く把握できます。この包括的なレポートにより、ウェブページ上の各要素のパフォーマンスを迅速に分析し、どのバリエーションがオーディエンスにより適しているかを判断できます。

PageSense で A/B（または分割 URL）テストレポートにアクセスする方法:
A/B（または分割 URL）実験を開き、上部の棒グラフにあるレポートタブをクリックします。画面上には、概要、詳細分析、ヒートマップの3つのタブが表示されます。

概要タブ

この画面では、実験に紐づく各ゴール指標の概要やリーダーボードテーブルを確認できます。これらの数値を利用することで、どのコンバージョンゴールが最も良い成績を収めているか、または A/B テスト内の各バリエーションにおいて優位に立っているかをチェックできます。

概要

このセクションでは、A/B（または分割 URL）テストの主な統計情報（合計訪問者数、バリエーション数、ゴール数、実験開始日、一時停止日、すべてのバリエーション（元の内容を含む）の有効期間）をまとめて表示します。

リーダーボード

A/B テストの結果は常にゴールに基づいて評価されます。リーダーボードセクションでは、実験に紐づくすべてのゴールが一覧で表示され、主要ゴールにはスターが付与されます。各ゴールごとに、以下の情報をまとめたテーブルが表示されます。

ゴール結果: A/Bテストの元の内容およびバリエーションページの変換率に基づいて、ゴールにおける勝者およびリードしているバリエーションを示します。

勝利バリエーション: A/Bテストにおいて、指定されたコンバージョンゴールに対して最大の変換率を達成し、統計的有意性およびサンプルサイズ条件を満たした最もパフォーマンスの高いバリエーションです。
リードバリエーション: A/Bテストにおいて、指定されたコンバージョンゴールに対し、他のバリエーションよりも良いパフォーマンスを示しているバリエーションです。
現在リードしているバリエーションなし: 指定されたコンバージョンゴールにおいて、バリエーションが元の内容バージョンと同等のパフォーマンスを示している場合に表示されます。
{バリエーション名} が他のバリエーションをリード: 複数のバリエーションが同時に指定されたコンバージョンゴールで他より優れている、またはリードしている場合に表示されます。

順位: 各ゴールに対するパフォーマンスに基づくバリエーションの順位を示します。
バリエーション: 元の内容を含め、実験ページで利用可能なすべてのバリエーションの一覧を表示します。
訪問者数: 対象バリエーションに訪問したユニーク訪問者の合計数を示します。
コンバージョン数: 指定されたゴールに対し、訪問者が希望する操作を達成したユニークな事例の数を示します。コンバージョンは、ユーザーに実施してほしい任意の操作を指します。これには、ページ上でのボタンのクリックから購入し顧客になるまで、さまざまな操作が含まれます。
変換率: 変換率は、コンバージョン数を訪問者の合計数で割った値です。例えば、バリエーションページが1か月で200人の訪問者を受け、50件の購入があった場合、変換率は50÷200、つまり25%となります。

変換率は割合（%）で表示され、正の値となります。

警告および通知メッセージ

ページ上部の通知バナーには、実験のステータスや、バリエーションのデータ収集やコンバージョン計測に関する警告が表示されます。

以下は、レポートタブで表示される可能性のあるエラーや注意メッセージの一覧です。

「この実験は、結論が出るまで継続することを推奨します。」
原因：これは、期待する訪問者件数にまだ達しておらず、結果を確定できない場合に表示されます。この場合、希望する訪問者件数に到達し、より良い変換率を達成し、選択した必須の有意水準に達するまでお待ちください。
「元の内容とバリエーションのパフォーマンスが類似しているため、結果は決定的ではありません。」
原因：これは、元の内容とバリエーションバージョンのウェブページが同様のパフォーマンスを示している場合に表示されます。そのため、元の内容より新規バリエーションを公開する利点がありません。この場合、テストを終了し、ページ用に新たなA/B実験を作成することを推奨します。

Detailed analysis タブ

このセクションでは、各ゴールのパフォーマンストレンドをグラフで表示します。

グラフの理解

このグラフは、選択したベースラインと比較して、各バリエーションのパフォーマンスや傾向を時間ごとに示します。初期設定では、元の内容がベースラインとして設定され、ゴールデータの比較が行われます。ベースラインは、Baseline and Compare with ドロップダウンから他のバリエーションに変更できます。

グラフの表示方法は、以下のいずれかを選択できます。

時間ベースのグラフ：このグラフは、選択した時間枠（x軸に沿って）に分布する複数のデータのスパイクを示します。時間ベースである理由は、データ値やポイントが通常の時間間隔で算出され、それぞれが独立しているためです。

例として、Black Friday Sale（4月12日）をWebサイトで導入したとします。この特定の日にバリエーションページへ新規訪問者が100人訪れ、そのうち40人がコンバージョンし、コンバージョン率は40%（前日である4月20日より20%高い）でした。この場合、時間ベースの表示を使うことで、セールの前後の日の訪問者数やコンバージョン率を比較するのに役立ちます。これにより、Webページで導入した変更が時間の経過とともにコンバージョン率に影響を与えているかどうかを後から解釈することができます。

この種のグラフパターン（下図参照）では、時間範囲内の任意の日にコンバージョンがゼロ値になる場合も時折見られます。これは、トラフィックの減少やコンバージョン率の低下によるごく一般的な現象です。このようなパターンが高トラフィックスコープのテストで現れた場合、テスト設定の品質を再確認する必要があるというシグナルとなることがあります。何かが正常に動作していない可能性があるためです。これは有効なテスト中にQAチェックとしても活用できます。

累積グラフ：このグラフは、選択した時間枠（x軸）に沿って分布された平坦化データを示します。データの値やポイントが時間とともに合計されていくため「累積」と呼ばれます。最初のポイントの合計、その後最初の2ポイントの合計、さらに最初の3ポイントの合計…というように計算されます。

例えば、4月1日にA/Bテストを開始し、4月15日時点で変換率を確認してテストのパフォーマンスを2週間の頻度で把握したいとします。この場合、累積グラフを使用すると、バリエーションデータの平均的なパフォーマンスを4月中旬まで集計した形で素早く把握できます。

この種類のグラフパターン（下図参照）では、元の内容やバリエーションの影響がテスト初期に大きく変動し、後半になるほど安定する傾向があることもわかります。このようなパターンから考えられる一つの示唆としては、テスト結果が十分に横ばいになるまで、テストを早期に停止するのを控えるという対応が挙げられます。

さらに、このグラフでは、変換率、Conversions、Visitors、Improvement、Significanceなど、個別のパフォーマンス指標ごとに異なるバリエーションをドロップダウンから選択して目標指標をフィルターすることができます。
予測を表示：「Forecast」ボタンを有効にすると、選択した期間内で各バリエーションが達成する可能性のある変換率（および改善単価）の予測や変化を表示できます。予測は今後の期間における変化の推定値であり、A/Bテスト結果のパフォーマンスを評価したり、長期的な成果を予測したりする際に活用できます。

テーブルの見方

このセクションでは、各目標ごとにテーブルが設けられており、変換率、Conversions、差分interval、Improvement、Significanceなどの指標を含む、詳細かつ深い統計情報が記載されています。

バリエーション: 実験ページで利用可能なすべてのバリエーションの一覧を示します（元の内容を含む）。
訪問者数: 各バリエーションに訪れたユニーク訪問者の合計数を示します。
コンバージョン: 設定した目標に対して、訪問者が望ましい操作を完了したユニークインスタンスの数を示します。コンバージョンとは、ユーザーに実行してほしい任意の操作を指します。これには、Webページ上でのあらゆる操作が含まれ、ボタンのクリックや購入、顧客になることなどが該当します。
変換率: 変換率はコンバージョン数を訪問者総数で割った値です。

例として、バリエーションページに1か月で200人の訪問者があり、50件の購入があった場合、変換率は50÷200で25%となります。変換率は割合（%）値で表され、正または負の値を取ることがあります。

差分インターバル: 結果を伝える際には、元の内容とバリエーションの変換率値で観測された差分だけでなく、実際に元の内容とバリエーションページの変換率が存在しうる範囲も提示することが重要です。この値の範囲が差分インターバルと呼ばれ、数値折れ線グラフのスケール上にプロットされます。

数値スケール上では、上限は変換率の最大可能範囲、下限はすべてのバリエーション間での変換率の最小可能範囲で示されます。スケール上の異なる色合いは以下を示します。

グレーエリア: 実験が結論に至らない、もしくは有効な結果を得るためにさらに多くの訪問者が必要であることを示します。
グリーンエリア: 勝利したバリエーションを示します。
レッドエリア: 敗北したバリエーションを示します。

例えば、バリエーションページで7626人の訪問者にテストを実施し、1722件のコンバージョンを取得、変換率は22.58%だったとします。この場合、差分インターバルは21.64%〜23.52%となり、変換率の値は新規訪問者数や取得したコンバージョン数に基づき、この範囲内のどこかに収まる可能性があります。

メモ:

差分インターバルで注目すべき点は、A/Bテストにおける元の内容とVariation 1の変換率の信頼区間の重なりです。例えば、元の内容の変換率信頼区間が10〜20%、Variation 1が15〜25%とします。この場合、2つの信頼区間の重なりは5%で、範囲は15〜20%となります。このような場合、実際にバリエーションが大きな改善であるかどうかを確信するのは非常に難しくなります。したがって、重なりがある場合は勝者を宣言しません。

改善率: 改善率は、ウェブページの元の内容とバリエーションバージョンの変換率の相対的な差分を示します。改善率（%）は、正にも負にもなり得ます。

例えば、バリエーションの変換率が30%、元の内容の変換率が15%の場合、改善率は (30 - 15)/15*100 = 100%ポイントとなります。このケースでは、バリエーションページの変換率が100%増加したことになります。
有意性（Frequentistアプローチの場合）：A/Bテストにおいて結果を解釈するうえで最も重要な概念は統計的有意性です。統計的有意性は、バリエーションがベースラインより優れているか劣っているかを、設定した有意水準に基づいて示します。この有意水準は、結果の評価に用いるFrequentist手法の種類によって決まります。

有意性とは、バリエーションAとBページの変換率の差分が、訪問者の行動による実際の変化に起因するものであり、ランダムな操作や選択によるものでない確率を指します。簡単に言えば、統計において有意性が高いほど、その結果はより信頼できるものとみなされます。

例えば、A/Bテストで有意水準が95%の場合、勝者を決定した際、その結果が偶然による誤差ではなく実際のものであると95%の確信を持てることを意味します。また、5%の確率で誤っている可能性があることも示します。A/B実験で統計的有意性が勝者バリエーションの決定に与える重要性についてはこちらをご参照ください。
勝率（ベイズアプローチの場合）：これはA/Bテストにおいて、バリエーションが元の内容バージョンより良い結果を出す確率として定義されます。勝率はどのバリエーションがどれほど優れているかを割合（%）で示し、ベイズ手法においてA/Bテストの勝者を決定する際に最も実用的な指標です。このアプローチの勝者は、以下の3つの主要ルールがすべて満たされたときに決定されます：
1. 各バリエーションでユニーク訪問者件数が100件以上であること。
2. 各ゴール設定でユニークコンバージョンが50件以上であること。

3. 最小限の損失値の平均を達成していること。

主要ルールが満たされた後、ベイズアプローチではさらに2つのパラメーターに基づき勝者を決定します：
1. 実験全体の勝者としてバリエーションを決定するには、主要ゴール値が訪問者件数、コンバージョン件数、期待損失値を満たしている必要があります。
2. ゴールごとの勝者としてバリエーションを決定するには、訪問者件数、コンバージョン件数、および期待損失値を考慮します。

Heatmapタブ

A/B（または分割URL）実験でヒートマップを有効化すると、訪問者が元の内容やバリエーションページのどこをクリックし、スクロールし、閲覧しているかを可視化して把握できます。このレポートは、特定のバリエーションが期待通りのパフォーマンスを示さなかった理由や、課題解決のために必要な変更点について、追加のインサイトも提供します。

ヒートマップでわかるA/B（または分割URL）テストの分析

HEATMAPタブをクリックすると、訪問者データを元の内容とバリエーションで比較し、各ページで要素のパフォーマンスがどのように異なるかを確認できます。重要なCTA要素やクリック数の少ないリンク、動画、または訪問者のコンバージョンを妨げている不要な要素まで、ヒートマップはウェブページ上で訪問者がどこをクリックしているかを可視化し、A/B（または分割URL）テストを目標達成につなげるための新たな機会を明らかにします。

これらのレポートは色付きのホットスポットで、ページ上のどの要素がより多くクリックされているか、またはその逆を表示します。青はクリックが少ないことを示し、暖色系の赤はより多くのクリックを、最もクリック数が多い箇所は明るい黄色で表示されます。これらのヒートマップ指標をもとに、ページのどのエリアが多く操作されているか、またそうでないかをすぐに把握できます。これを参考に、バリエーションページで要素の配置を変更し、次回のA/Bテストに活用できます。

スクロールマップでわかるA/B（または分割URL）テストの分析

SCROLLMAPをクリックして、ページ（元の内容またはバリエーション）のどの部分がユーザーの関心やエンゲージメント維持に最も効果的かを比較・発見できます。特に、訪問者のうち何％がページ下部までスクロールして「通話 to 操作」を見ているか、なぜ訪問者がページの半分にも到達せずに離脱しているのかを分析するうえで重要な指標です。多くの訪問者が十分下までスクロールしていない場合、当然クリックもされません。

レポートは色分けされたグラデーションで表示され、ユーザーがどのエリアで最も長く滞在しているかが分かります。暖色のエリアほど訪問者の関心が高く、活動が減少するにつれて徐々に色が薄くなります。これらのスクロールマップ指標をもとに、さまざまな長さのバリエーションページを作成したり、ウェブページの最重要要素を滞在時間が長いセクションに配置したりして、コンバージョンの向上効果を確認できます。

宛先マップでわかるA/B（または分割URL）テストの分析

ATTENTIONMAPをクリックすると、ユーザーが元の内容やバリエーションページでどれくらいの時間を費やしているかを比較できます。この指標は、テキストやビジュアルなどの主要情報が多くのユーザーにしっかり表示されているか、また訪問者がどのセクションに最も関心を寄せているか（ページ内の情報を読むためにマウスを移動させているか）を把握するのにも役立ちます。

これらのレポートは色付きオーバーレイでページのインタラクションレベルを示します。赤いエリアは活動が最も多く、青は活動が少ないことを示します。これらの宛先マップ指標に基づき、バリエーションで最も注目を集めているセクションを特定し、重要なコンテンツや画像をその部分に配置してテストすることができます。

knowledge 差出人ヒートマップとA/Bテストレポートを組み合わせることで、バリエーションページでのコンバージョンを増やし、勝者を決定するための統計的有意性も高めることができます。