PageSense で A/B（または分割 URL）テストレポートにアクセスする方法:
A/B（または分割 URL）実験を開き、上部の棒グラフにあるレポートタブをクリックします。画面上には、概要、詳細分析、ヒートマップの3つのタブが表示されます。

概要タブ

概要

リーダーボード

A/B テストの結果は常にゴールに基づいて評価されます。リーダーボードセクションでは、実験に紐づくすべてのゴールが一覧で表示され、主要ゴールにはスターが付与されます。各ゴールごとに、以下の情報をまとめたテーブルが表示されます。

• ゴール結果: A/Bテストの元の内容およびバリエーションページの変換率に基づいて、ゴールにおける勝者およびリードしているバリエーションを示します。
  

• 勝利バリエーション: A/Bテストにおいて、指定されたコンバージョンゴールに対して最大の変換率を達成し、統計的有意性およびサンプルサイズ条件を満たした最もパフォーマンスの高いバリエーションです。
  

• リードバリエーション: A/Bテストにおいて、指定されたコンバージョンゴールに対し、他のバリエーションよりも良いパフォーマンスを示しているバリエーションです。
  

• 現在リードしているバリエーションなし: 指定されたコンバージョンゴールにおいて、バリエーションが元の内容バージョンと同等のパフォーマンスを示している場合に表示されます。
  

• {バリエーション名} が他のバリエーションをリード: 複数のバリエーションが同時に指定されたコンバージョンゴールで他より優れている、またはリードしている場合に表示されます。 
  

• 順位: 各ゴールに対するパフォーマンスに基づくバリエーションの順位を示します。
  

• バリエーション: 元の内容を含め、実験ページで利用可能なすべてのバリエーションの一覧を表示します。
  

• 訪問者数: 対象バリエーションに訪問したユニーク訪問者の合計数を示します。
  

• コンバージョン数: 指定されたゴールに対し、訪問者が希望する操作を達成したユニークな事例の数を示します。コンバージョンは、ユーザーに実施してほしい任意の操作を指します。これには、ページ上でのボタンのクリックから購入し顧客になるまで、さまざまな操作が含まれます。
  

• 変換率: 変換率は、コンバージョン数を訪問者の合計数で割った値です。例えば、バリエーションページが1か月で200人の訪問者を受け、50件の購入があった場合、変換率は50÷200、つまり25%となります。
  

  変換率は割合（%）で表示され、正の値となります。
  
  
  
  
  

警告および通知メッセージ

ページ上部の通知バナーには、実験のステータスや、バリエーションのデータ収集やコンバージョン計測に関する警告が表示されます。

以下は、レポート タブで表示される可能性のあるエラーや注意メッセージの一覧です。

• 「この実験は、結論が出るまで継続することを推奨します。」
  原因：これは、期待する訪問者件数にまだ達しておらず、結果を確定できない場合に表示されます。この場合、希望する訪問者件数に到達し、より良い変換率を達成し、選択した必須の有意水準に達するまでお待ちください。
  

• 「元の内容とバリエーションのパフォーマンスが類似しているため、結果は決定的ではありません。」
  原因：これは、元の内容とバリエーションバージョンのウェブページが同様のパフォーマンスを示している場合に表示されます。そのため、元の内容より新規バリエーションを公開する利点がありません。この場合、テストを終了し、ページ用に新たなA/B実験を作成することを推奨します。

Detailed analysis タブ

グラフの理解

• 時間ベースのグラフ：このグラフは、選択した時間枠（x軸に沿って）に分布する複数のデータのスパイクを示します。時間ベースである理由は、データ値やポイントが通常の時間間隔で算出され、それぞれが独立しているためです。
  

  例として、Black Friday Sale（4月12日）をWebサイトで導入したとします。この特定の日にバリエーションページへ新規訪問者が100人訪れ、そのうち40人がコンバージョンし、コンバージョン率は40%（前日である4月20日より20%高い）でした。この場合、時間ベースの表示を使うことで、セールの前後の日の訪問者数やコンバージョン率を比較するのに役立ちます。これにより、Webページで導入した変更が時間の経過とともにコンバージョン率に影響を与えているかどうかを後から解釈することができます。
  
  この種のグラフパターン（下図参照）では、時間範囲内の任意の日にコンバージョンがゼロ値になる場合も時折見られます。これは、トラフィックの減少やコンバージョン率の低下によるごく一般的な現象です。このようなパターンが高トラフィックスコープのテストで現れた場合、テスト設定の品質を再確認する必要があるというシグナルとなることがあります。何かが正常に動作していない可能性があるためです。これは有効なテスト中にQAチェックとしても活用できます。
  
  
  
  

• 累積グラフ：このグラフは、選択した時間枠（x軸）に沿って分布された平坦化データを示します。データの値やポイントが時間とともに合計されていくため「累積」と呼ばれます。最初のポイントの合計、その後最初の2ポイントの合計、さらに最初の3ポイントの合計…というように計算されます。
  

  例えば、4月1日にA/Bテストを開始し、4月15日時点で変換率を確認してテストのパフォーマンスを2週間の頻度で把握したいとします。この場合、累積グラフを使用すると、バリエーションデータの平均的なパフォーマンスを4月中旬まで集計した形で素早く把握できます。
  
  この種類のグラフパターン（下図参照）では、元の内容やバリエーションの影響がテスト初期に大きく変動し、後半になるほど安定する傾向があることもわかります。このようなパターンから考えられる一つの示唆としては、テスト結果が十分に横ばいになるまで、テストを早期に停止するのを控えるという対応が挙げられます。
  
  
  さらに、このグラフでは、変換率、Conversions、Visitors、Improvement、Significanceなど、個別のパフォーマンス指標ごとに異なるバリエーションをドロップダウンから選択して目標指標をフィルターすることができます。

• 予測を表示：「Forecast」ボタンを有効にすると、選択した期間内で各バリエーションが達成する可能性のある変換率（および改善単価）の予測や変化を表示できます。予測は今後の期間における変化の推定値であり、A/Bテスト結果のパフォーマンスを評価したり、長期的な成果を予測したりする際に活用できます。
  

  
  

テーブルの見方

• バリエーション: 実験ページで利用可能なすべてのバリエーションの一覧を示します（元の内容を含む）。
  

• 訪問者数: 各バリエーションに訪れたユニーク訪問者の合計数を示します。
  

• コンバージョン: 設定した目標に対して、訪問者が望ましい操作を完了したユニークインスタンスの数を示します。コンバージョンとは、ユーザーに実行してほしい任意の操作を指します。これには、Webページ上でのあらゆる操作が含まれ、ボタンのクリックや購入、顧客になることなどが該当します。
  

• 変換率: 変換率はコンバージョン数を訪問者総数で割った値です。
  

• 差分インターバル: 結果を伝える際には、元の内容とバリエーションの変換率値で観測された差分だけでなく、実際に元の内容とバリエーションページの変換率が存在しうる範囲も提示することが重要です。この値の範囲が差分インターバルと呼ばれ、数値折れ線グラフのスケール上にプロットされます。
  
  数値スケール上では、上限は変換率の最大可能範囲、下限はすべてのバリエーション間での変換率の最小可能範囲で示されます。スケール上の異なる色合いは以下を示します。

• グレーエリア: 実験が結論に至らない、もしくは有効な結果を得るためにさらに多くの訪問者が必要であることを示します。
  

• グリーンエリア: 勝利したバリエーションを示します。
  

• レッドエリア: 敗北したバリエーションを示します。