A/BおよびスプリットURLテスト結果の理解

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

PageSenseのA/Bテスト（およびSplit URLテスト）レポートでは、実験の全体的な成功度合いを一目で確認するだけでなく、各変異の訪問者メトリクス（変換率、差の範囲、有意性など）を含む詳細な情報を提供します。このデータ豊富な情報レポートにより、ウェブページ上のさまざまな要素のパフォーマンスを即座に分析し、どの変異ページが対象の観客の間でより優れたパフォーマンスを発揮するかを判断することができます。

PageSenseでA/Bテスト（またはスプリットURLテスト）のレポートにアクセスするには：
A/Bテスト（またはスプリットURLテスト）の実験を開き、上部バーのレポートタブをクリックします。以下の3つの異なるタブが表示されます：概要、詳細な分析、およびヒートマップです。

概要タブ

ここでは、実験に関連付けられた各目標メトリックの要約とリーダーボードテーブルを確認できます。これらの数字を使用して、A/Bテストの個々のバリエーションにおいて最も優れたパフォーマンスを発揮している変換目標を確認できます。

概要

このセクションでは、A/Bテスト（またはSplit URLテスト）の主要な統計情報が表示されます。訪問者数、バリアントの数、ゴールの数、実験の開始日、一時停止した日、およびオリジナルを含むすべてのバリアントのアクティブな期間などが表示されます。

リーダーボード

A/Bテストの結果は常に目標に基づいています。リーダーボードセクションでは、実験に関連付けられたすべての目標のリストが表示され、主要な目標には星印が付いています。各目標には、以下の情報が記載されたテーブルがあります：

目標の結果： A/Bテストの元のページとバリエーションページの変換率に基づいて計算された勝者とリーディングバリエーションを示します。

勝者バリエーション： 最大の変換率で最も優れたパフォーマンスを発揮し、A/Bテストの特定の変換目標に対して有意水準とサンプルサイズに到達するバリエーションです。
リーディングバリエーション： A/Bテストの特定の変換目標に対して、競合するバリエーションよりも優れたパフォーマンスを発揮しているバリエーションです。
現在、リーディングバリエーションはありません： 特定の変換目標に対して、バリエーションは元のバージョンと同様のパフォーマンスを発揮しています。
{バリエーション名}がバリエーションをリードしています： 複数のバリエーションが同時に特定の変換目標に対して競合他社を上回るパフォーマンスを発揮している場合に表示されます。

ランク：対応するゴールに対するパフォーマンスに基づいて、バリアントのランクを示します。
バリアント：実験ページで利用可能なすべてのバリアントのリストを示します（オリジナルを含む）。
訪問者：対応するバリエーションへのユニーク訪問者の総数を示します。
コンバージョン：ユニークな訪問者が目標とするアクションを達成した回数を示します。コンバージョンは、ユーザーにとって取るべき任意のアクションを指すことができます。これには、ボタンをクリックすることから購入して顧客になることまで、ウェブページ上で行われる任意のアクションが含まれます。
コンバージョン率：コンバージョン率は、コンバージョン数を訪問者総数で割ったものです。たとえば、バリエーションページが1ヶ月に200人の訪問者を受け入れ、50回の購入があった場合、コンバージョン率は200で割った50、つまり25%となります。

コンバージョン率はパーセンテージで表され、正の値を取ることができます。

警告と通知メッセージ

トップの通知バナーには、実験のステータスやデータ収集の問題、変動やコンバージョン追跡に関連する注意事項が表示されます。

以下は、レポートタブで表示される可能性のあるエラーや警告メッセージの一覧です：

「この実験は結論が出るまで実行することをお勧めします。」
原因：希望の訪問者数が達成されていない場合に発生する可能性があります。この場合、希望の訪問者数に達するまで待機し、より良い変換率を得て選択した必要な有意水準に到達する必要があります。
「結果は、オリジナルとバリエーションのパフォーマンスが似ているため、結論が出せません。」
原因：これは、ウェブページのオリジナルとバリエーションの両方が同様に機能するため、新しいバリエーションをオリジナルに対して公開する利点がない可能性があります。この場合、テストを終了し、ページの新しいA/B実験を作成することをお勧めします。

詳細分析タブ

このセクションでは、各目標のパフォーマンストレンドをグラフで表示します。

グラフの理解

このグラフは、時間の経過に伴う各バリエーションのパフォーマンスとトレンドを選択したベースラインと比較します。デフォルトでは、元のデータが目標のベースラインとして設定されています。ベースラインを他のバリエーションに変更することもできます。 ベースラインと比較する ドロップダウンを使用してください。

以下の方法でグラフを表示できます：

時間ベースのグラフ： このグラフは、選択した時間枠（x軸に沿って）に分散した複数のデータのスパイクを示しています。データの値やポイントは定期的な時間間隔で計算され、互いに独立して考えられるため、時間ベースと呼ばれます。

たとえば、ウェブサイトで「ブラックフライデーセール」（4月12日）を開催したとします。この特定の日にバリエーションページに100人の新規訪問者が訪れ、そのうち40人がコンバージョンし、コンバージョン率は40％です（前日の4月20日よりも20％高い）。この場合、時間ベースの表示を使用すると、セール前後の訪問者数とコンバージョン率を比較することができます。これにより、ウェブページの変更が時間とともにコンバージョン率に影響を与えているかどうかを解釈するのに役立ちます。

このようなグラフパターンでは（以下に示すように）、時間範囲内の任意の日においてコンバージョンがゼロになることも時折観察されます。これは、トラフィックの低下やコンバージョン率の低下によるものであり、非常に正常な現象です。高トラフィック範囲でのテストにおけるこのようなパターンの1つの可能な意味は、テストのセットアップの品質を再確認する合図となることです。何かが壊れてしまった可能性があるため、これはライブテスト中のQAチェックにもなります。

累積グラフ： このグラフは、選択した時間枠（x軸に沿って）に分布するデータを平坦化して表示します。データの値やポイントは時間の経過に伴って合計されるため、最初のポイントの合計、最初の2つのポイントの合計、最初の3つのポイントの合計などが計算されます。

たとえば、4月1日にA/Bテストを開始し、4月15日に2週ごとの実験の変換率を確認したいとします。この場合、累積グラフを使用すると、4月中旬までの変動データの平均パフォーマンスについて、迅速な推論が可能です。

このタイプのグラフパターン（以下に示す）では、テストの初めの方が後半よりも元の効果や変動がより変動します。このようなパターンの可能な含意は、水平方向の安定性が視覚化されるまで、テストを早期に停止するのを遅らせることです。

さらに、このグラフを使用して、変動ごとに目標メトリクスをフィルタリングすることができます。フィルタリング対象のパフォーマンス指標には、変換率、変換数、訪問者数、改善、および有意性などがあります。ドロップダウンから選択してください。
予測の表示： 予測を有効にすると、選択した期間内で各バリエーションが取る可能性のある変換率（および改善率）の予測や変化を表示することができます。予測は将来の時間軸上での変化の見積もりです。これを使用してA/Bの結果のパフォーマンスを調べ、長期的な成功を予測することができます。

表の理解

このセクションには、各目標ごとのテーブルがあります。各テーブルには、変換率、変換数、差の範囲、改善度、および有意性などの詳細な統計情報が含まれています。変換率、変換数、差の範囲、改善度、および有意性などの指標が含まれています。

バリアント：オリジナルを含む、実験ページで利用可能なすべてのバリアントのリストを示します。
訪問者数：対応するバリエーションへのユニークな訪問者の総数を示します。
コンバージョン：目標に対して訪問者が望ましいアクションを達成したユニークなインスタンスの数を示します。コンバージョンは、ユーザーにとって望ましい任意のアクションを指すことができます。これには、ボタンをクリックすることから購入を行い顧客になることまで、ウェブページ上で実行される任意のアクションが含まれます。
コンバージョン率：コンバージョン率は、コンバージョン数を訪問者総数で割ったものです。

たとえば、あなたのバリエーションページが1ヶ月で200人の訪問者を受け、50件の購入があった場合、コンバージョン率は50を200で割ったもの、つまり25%となります。コンバージョン率はパーセンテージで表され、正または負の値を持つことができます。

差分区間：結果を伝える際に、オリジナルとバリエーションの変換率の観測差を示すだけでなく、実際にオリジナルとバリエーションのページの変換率が存在する可能性のある範囲も示すことが良いアイデアです。この可能な値の範囲を差分区間と呼び、数直線上にプロットされます。数直線上では、上限は変換率の最大範囲で示され、下限はすべてのバリエーション間の変換率の最小範囲で示されます。スケール上の異なる濃度は、以下のように示されます。

グレーシェードエリア：実験が不確定であるか、有効な結果を宣言するためにより多くの訪問者が必要です。

緑色のシェードエリア：勝利したバリエーションを示します。
赤色のシェードエリア：敗北したバリエーションを示します。

例えば、7626人の訪問者で変動ページをテストし、1722回のコンバージョンを得て、コンバージョン率は22.58%です。これにより、21.64%から23.52%の間の差異区間が見えます。つまり、新しい訪問者と変動ページで得られたコンバージョンに基づいて、コンバージョン率の値はこの差異のどこにでもある可能性があるということです。

注意：

差異区間で注意すべき一つのポイントは、A/Bテストのオリジナルとバリエーション1のコンバージョン率の重複です。例えば、オリジナルのコンバージョン率の信頼区間が10-20%であり、バリエーション1の信頼区間が15-25%であるとします。この場合、2つの信頼区間の重複は5%であり、15-20%の範囲に位置しています。この場合、Bでテストされたバリエーションが実際に有意な改善であるかどうかを確信するのは非常に困難です。そのため、重複がある場合は勝者を宣言しません。

改善：改善は、ウェブページの元のバージョンと変更バージョンの変換率の相対的な差を示します。改善率は、正の値または負の値になります。

例えば、変更バージョンの変換率が30％で、元の変換率が15％の場合、改善率は（30-15）/15*100 = 100％です。この場合、変更ページの変換率が100％増加しています。
意義（頻度主義的アプローチにおいて）： どのA/Bテストにおいても、結果を解釈する上で最も重要な概念は統計的な有意性です。統計的有意性は、選択した有意水準に基づいて、変動がベースラインを上回っているか下回っているかを示します。この有意水準は、評価に適用した頻度主義的な手法に基づいて決定されます。

有意性とは、変動AとBのページのコンバージョン率の差が、訪問者の行動の実際の変化によるものであり、ランダムな行動や選択に基づくものではない確率です。つまり、統計的有意性が高いほど、結果は信頼性が高いとされます。

たとえば、A/Bテストの有意水準が95％である場合、勝者を決定した場合、観測された結果がランダムなエラーによるものではなく、実際の結果であることを95％の確信度で言えます。また、5％の確率で間違っている可能性もあります。 A/B実験において統計的有意性が勝者を宣言する上で重要な役割を果たすことを学びましょう。
勝利確率（ベイズの手法による）： これは、A/Bテストにおいて変動が元のバージョンを上回る確率と定義されます。勝利確率は、どの変動がどれくらいの割合で優れているかを示し、A/Bテストの勝者を宣言する際にベイズの手法で最も実用的な指標となります。ベイズの手法では、各変動について最低50回の変換または100人の訪問者があるまで、勝者を宣言しません。

ヒートマップタブ

A/B（または分割URL）実験でヒートマップをアクティベートすることで、訪問者がオリジナルページとバリエーションページでどこをクリックしたり、スクロールしたり、見たりしているかを視覚化し、特定のバリエーションが予想通りの結果を出さなかった理由や、問題を解決するために変更が必要な点についての追加の洞察を提供します。

A/Bテスト（またはSplit URLテスト）についてヒートマップが教えてくれること

訪問者データを比較するために、ヒートマップタブをクリックしてください。それにより、各ページで要素が異なるパフォーマンスを発揮するかを発見することができます。重要なCTA要素、クリック数の少ないリンク、またはビデオから、各ページでコンバージョンを妨げる他の重要でない要素まで、ヒートマップはウェブページ上で訪問者がクリックしている場所を明らかにし、A/Bテスト（または分割URLテスト）を期待通りの勝者にするための機会を提供します。

これらのレポートでは、ページ上のどの要素がクリックされるか、またはその逆を示すために、色付きのホットスポットが使用されます。青はクリック数が少ないことを示し、より暖かい赤はクリック数が多いことを示し、最もクリックされる場所は明るい黄色のスポットです。これらのヒートマップの指標に基づいて、ページのどのエリアが活発に利用されているか、利用されていないかをすばやく把握することができます。これに基づいて、バリエーションページで希望の位置変更を行い、次のA/Bテストを実施することができます。

スクロールマップがA/Bテスト（またはスプリットURLテスト）について教えてくれること

クリック スクロールマップ をクリックして、ページのどの部分（オリジナルまたはバリエーション）がユーザーを引きつけ、興味を持たせるのに最も効果的かを比較・発見しましょう。これは特に重要で、訪問者のうち何パーセントがページの下部までスクロールしてコール・トゥ・アクションを見ることができるか、また訪問者がウェブページの半分にも達する前に戻ってしまう理由を分析するために役立ちます。もし訪問者の多くがそれを見るために十分に下までスクロールしていない場合、それをクリックすることはありません。

これらのレポートでは、ユーザーが最も多くの時間を費やす場所を示すために、カラーコード付きのグラデーションが使用されます。エリアが暖かく見えるほど、訪問者から注目を集めており、訪問者の活動が減少すると徐々にフェードアウトします。これらのスクロールマップのメトリックに基づいて、さまざまな長さのバリエーションページを作成したり、訪問者が最も多くの時間を費やすセクションにウェブページの最も重要な要素を配置したりして、コンバージョンがどのように改善されるかを確認できます。

A/Bテスト（またはスプリットURLテスト）について注意マップが教えてくれること

クリックしてください ATTENTIONMAP を使用して、ユーザーがオリジナルページとバリエーションページにどれくらいの時間を費やしているかを比較しましょう。このメトリクスは、テキストやビジュアルなどの重要な情報がほとんどのユーザーに見えるかどうか、およびページのどのセクションが訪問者によって最も注目されているかを確認するのに役立ちます。マウスを動かしてページの情報を読もうとすることで、訪問者がどのセクションに最も興奮しているかも確認できます。

これらのレポートでは、ページ上のインタラクションレベルを反映するために、カラーオーバーレイが使用されます。赤い領域は最も活動が多い場所を示し、青は活動量が少ないことを示します。これらのアテンションマップのメトリクスに基づいて、バリエーションページで訪問者の注目を最も集めるセクションを特定し、テストのために重要なコンテンツと画像を最も注目を集めるページのセクションに配置することができます。

ヒートマップの知見とA/Bテストのレポートを組み合わせることで、バリエーションページのコンバージョン率を向上させ、勝者を宣言するための統計的有意性を高めることができます。