A/BテストおよびSplit URLテスト結果の理解

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

PageSenseのA/Bテストレポートでは、テスト全体の成果をすばやく確認できるほか、コンバージョン率、差分区間、有意性など、各バリエーションの訪問者に関する指標を詳細に確認できます。豊富なデータを含むこのレポートを使用すると、Webページ上のさまざまな要素のパフォーマンスをすぐに分析し、オーディエンスに対してどのバリエーションページの成果が高いかを判断できます。

PageSenseでA/Bテストレポートにアクセスするには
A/Bテストを開き、上部バーの［レポート］タブをクリックします。次の3つのタブが表示されます：［概要］、［詳細分析］、［ヒートマップ］。

［概要］タブ

こちらでは、テストに関連付けられている各目標の指標の概要とランキング表を確認できます。これらの数値を使用すると、A/Bテストの各バリエーションについて、どのコンバージョン目標の成果が最も高いか、または現在優勢かを確認できます。

概要

このセクションには、訪問者の合計件数、バリエーション数、目標数、テストの開始日、一時停止日、オリジナルを含むすべてのバリエーションの有効期間など、A/Bテスト（またはスプリットURLテスト）の主な統計情報が表示されます。

警告と通知メッセージ

上部の通知バナーには、テストのステータスと、バリエーションでのデータ収集やコンバージョンの追跡に関する問題について、確認が必要な警告が表示されます。

［レポート］タブに表示される可能性のあるエラーまたは警告メッセージは、次のとおりです。

「明確な結果が得られるまで、このテストを実行することをお勧めします。」
原因：結果を確定するために必要な訪問者数に達していない場合に発生することがあります。この場合、必要な訪問者数に達し、コンバージョン率が向上して、選択した有意水準に達するまで、さらに待つ必要があります。
「オリジナルとバリエーションのパフォーマンスが同程度のため、明確な結果が得られません。」
原因：Webページのオリジナル版とバリエーション版の成果が同程度であり、オリジナルに代えて新しいバリエーションを公開する明確な利点がない可能性があります。この場合、テストを終了し、ページに対して新しいA/Bテストを作成することをお勧めします。

［詳細分析］タブ

このセクションでは、各目標のパフォーマンスの推移がグラフに表示されます。

グラフの見方

このグラフでは、選択した基準に対する各バリエーションのパフォーマンスと推移を時系列で比較します。初期設定では、目標のデータを比較する基準としてオリジナルが設定されています。［基準］と［比較対象］のドロップダウンを使用すると、基準を他の任意のバリエーションに変更できます。

グラフは次のいずれかの形式で表示できます。

時間ベースのグラフ：このグラフには、選択した期間（x軸）に分布するデータの複数の変動が表示されます。データの値または点が一定の時間間隔で算出され、それぞれ独立したものとして扱われるため、時間ベースと呼ばれます。

たとえば、Webサイトでブラックフライデーセール（4月12日）を開始したとします。この日に100人の新規訪問者がバリエーションページを訪れ、そのうち40人がコンバージョンに至り、コンバージョン率が40%（前日である4月20日より20%高い）だったとします。この場合、時間ベースの表示を使用すると、セール前後の日における訪問者数とデータのコンバージョン率を比較できます。これにより、Webページに加えた変更が時間の経過とともにコンバージョン率に影響しているかどうかをあとで判断できます。

この種類のグラフパターン（以下を参照）では、指定した時間範囲内の特定の日に、コンバージョンがゼロまで低下する場合もあります。これはトラフィックやコンバージョン率が低いことによるもので、標準的な状態の場合があります。一方、トラフィックの多いテストでこのようなパターンが見られる場合、何らかの問題が発生している可能性があるため、テスト設定の品質を再確認する目安になります。実施中のテストにおけるQAチェックとしても利用できます。

累計グラフ：このグラフには、選択した期間（x軸）に分布する、平準化されたデータが表示されます。最初の点、最初の2点、最初の3点というように、データの値または点が時間の経過に伴う合計として算出されるため、累計と呼ばれます。

たとえば、4月1日にA/Bテストを開始し、2週間ごとのパフォーマンスを確認するために4月15日時点のコンバージョン率を確認するとします。この場合、累計グラフを使用すると、4月中旬までのバリエーションデータを集計した平均パフォーマンスをすばやく把握できます。

この種類のグラフパターン（以下を参照）では、オリジナルとバリエーションの効果が、テストの後半よりも開始直後に大きく変動することも確認できます。このようなパターンが見られる場合、グラフが水平に安定するまでテストの早期終了を見送るという判断ができます。

さらに、ドロップダウンから［コンバージョン率］、［コンバージョン］、［訪問者］、［改善］、［有意性］などの個別のパフォーマンス指標を選択し、バリエーション間で目標の指標を絞り込むことができます。
予測の表示：［予測］ボタンを有効にすると、選択した時間範囲における各バリエーションのコンバージョン率（および改善率）の予測や変化を確認できます。予測とは、将来の期間における変化の推定値です。これを使用してA/Bテスト結果のパフォーマンスを検証し、長期的な成功を予測できます。

表の見方

このセクションには、目標ごとの表があり、次の指標を含む詳細な統計情報が表示されます。コンバージョン率、コンバージョン、差分区間、改善、有意性。

バリエーション：元のページを含め、テストページで利用できるすべてのバリエーションの一覧を示します。
訪問者：該当するバリエーションへの訪問者（重複を除く）の合計数を示します。
コンバージョン：特定の目標について、訪問者が目的の処理を完了した重複のない件数を示します。コンバージョンとは、ユーザーに実行してもらいたい任意の処理を指します。ボタンのクリックから、商品を購入して顧客になることまで、Webページ上で行われるあらゆる処理が含まれます。
コンバージョン率：コンバージョン数を訪問者数の合計で割った値です。

たとえば、バリエーションページの訪問者が1か月に200人で、購入が50件あった場合、コンバージョン率は50÷200、つまり25%です。コンバージョン率は割合（%）で表され、正または負の値になることがあります。

差分区間：結果を示す際は、元のページとバリエーションのコンバージョン率で観測された差だけでなく、実際のコンバージョン率が収まる可能性のある範囲も提示することをお勧めします。この値の範囲を差分区間と呼び、数直線上に表示します。

数値スケールの上限は、すべてのバリエーションのコンバージョン率で想定される最大値を示し、下限は最小値を示します。スケール上の色分けは、次の状態を表します。

灰色の領域：テストの結果が確定していないか、有効な結果を判定するために、さらに多くの訪問者が必要であることを示します。
緑色の領域：成果の高いバージョンであることを示します。
赤色の領域：成果の低いバリエーションであることを示します。

たとえば、7,626人の訪問者を対象にバリエーションページをテストし、1,722件のコンバージョンが得られ、コンバージョン率が22.58%だったとします。この場合、差分区間は21.64%から23.52%になります。これは、バリエーションページで新たに得られる訪問者数とコンバージョン数に応じて、コンバージョン率がこの範囲内のいずれかの値になる可能性があることを意味します。

メモ：

差分区間で注意すべき点は、A／Bテストの元のページとバリエーション1のコンバージョン率が重複する場合です。たとえば、元のページのコンバージョン率の信頼区間が10～20%、バリエーション1の信頼区間が15～25%だとします。この2つの信頼区間は15～20%の範囲で5%重複しています。この場合、Bでテストしたバリエーションが実際に有意な改善をもたらしたと判断することは非常に困難です。そのため、区間が重複している場合、成果の高いバージョンとは判定されません。

改善：Webページの元のバージョンとバリエーションのコンバージョン率の相対的な差を示します。改善の割合（%）は、正または負の値になることがあります。

たとえば、バリエーションのコンバージョン率が30%、元のページのコンバージョン率が15%の場合、改善は（30－15）÷15×100＝100%ポイントです。この場合、バリエーションページのコンバージョン率は100%向上しています。
有意性（頻度法の場合）：A／Bテストの結果を解釈するうえで、最も重要な概念は統計的有意性です。統計的有意性は、選択した有意水準において、バリエーションの成果が基準を上回っているか、下回っているかを示します。この有意水準は、結果の評価に適用した頻度法の種類に基づいて決まります。

有意性とは、バリエーションAとBのページ間におけるコンバージョン率の差が、偶然の行動や選択ではなく、訪問者の行動の実際の変化によって生じた確率を指します。簡単にいうと、統計的有意性が高いほど、結果の信頼性も高いとみなされます。

たとえば、A／Bテストの有意水準が95%の場合、成果の高いバージョンを判定すると、観測された結果が偶然によるエラーではなく実際の結果であると95%の確率で判断できます。また、その判断が誤っている可能性が5%あることも意味します。A／Bテストで成果の高いバージョンを判定する際の、統計的有意性について説明します。
勝率（ベイズ法の場合）：A／Bテストで、バリエーションの成果が元のバージョンを上回る確率を示します。勝率から、どのバリエーションがどの程度優れているかを割合（%）で確認できます。これは、ベイズ法でA／Bテストの成果の高いバージョンを判定する際に使用される、最も実用的な指標です。この手法で成果の高いバージョンを判定するには、次の3つのメインの条件を満たす必要があります。
1. バリエーションの訪問者（重複を除く）数が100以上に達している。

2. 設定した目標の重複しないコンバージョンが50件以上である。

3. 平均損失値が最小である。

メインの条件を満たした後、ベイズ法では、さらに次の2つのパラメーターに基づいて成果の高いバージョンを判定します。
1. テストのバリエーションを成果の高いバージョンとして判定するには、メインの目標の値が、訪問者数、コンバージョン数、期待損失値の条件を満たしている必要があります。
2. 目標のバリエーションを成果の高いバージョンとして判定するには、訪問者数、コンバージョン数、期待損失値が考慮されます。

［ヒートマップ］タブ

A／Bテスト（またはスプリットURLテスト）でヒートマップを有効にすると、元のページとバリエーションページ上で、訪問者がクリック、スクロール、閲覧している場所を可視化して特定できます。このレポートから、特定のバリエーションが期待どおりの成果を上げなかった理由や、問題を解決するために変更が必要な箇所についても把握できます。

A／Bテスト（またはスプリットURLテスト）でヒートマップから把握できること

［ヒートマップ］タブをクリックし、元のページとバリエーションの訪問者データを比較して、各ページでの要素の成果の違いを確認します。クリック数の少ない重要なCTA要素、リンク、動画や、各ページで訪問者のコンバージョンを妨げている重要でない要素などについて、ヒートマップでは訪問者がWebページ上でクリックした場所を確認できます。また、A／Bテスト（またはスプリットURLテスト）で期待する成果を得るための改善点も把握できます。

これらのレポートでは、ページ上の各要素のクリック数を色分けされたホットスポットで示します。青色はクリック数が少ないことを示し、赤みが強いほどクリック数が多く、最もクリック数の多い場所は明るい黄色で表示されます。これらのヒートマップ指標に基づいて、ページ上で反応の多い領域と少ない領域をすばやく確認できます。その結果を基に、バリエーションページ上の要素の位置を適切に変更し、次のA／Bテストを実施できます。

A／Bテスト（またはスプリットURLテスト）でスクロールマップから把握できること

［スクロールマップ］をクリックし、元のページとバリエーションのどの部分が、ユーザーの関心を引き付け、維持するのに最も効果的かを比較して確認します。これは、訪問者のうち、CTAが表示される位置までページをスクロールした人の割合（%）を把握したり、Webページの半分にも到達せずに訪問者が離脱する理由を分析したりする際に特に重要です。CTAが見える位置までスクロールしない訪問者の割合が高ければ、クリックされることもありません。

これらのレポートでは、ユーザーが最も長い時間を費やした場所が色分けされたグラデーションで示されます。暖色の領域ほど訪問者の注目度が高く、訪問者の行動が減るにつれて色が徐々に薄くなります。これらのスクロールマップ指標に基づき、長さの異なるバリエーションページを作成したり、訪問者が最も長い時間を費やすセクションにWebページの重要な要素を配置したりして、コンバージョンがどのように改善するかを確認できます。

A／Bテスト（またはスプリットURLテスト）でアテンションマップから把握できること

［アテンションマップ］をクリックし、ユーザーが元のページとバリエーションページに滞在した時間を比較します。この指標は、テキストや画像などの重要な情報が大部分のユーザーに表示されているかどうかや、ページ上の情報を読むためにマウスを移動する際、訪問者がどのセクションに強く反応しているかを確認する場合に役立ちます。

これらのレポートでは、ページに対する反応の度合いが色付きのオーバーレイで示されます。赤色の領域は活動が最も多い場所を示し、青色は活動が少ない場所を示します。これらのアテンションマップ指標に基づいて、バリエーション内で訪問者の視線を最も引き付けるセクションを追跡できます。その後、重要なコンテンツや画像をページ上の最も注目を集めるセクションに配置してテストできます。

ヒートマップから得られる情報とA／Bテストのレポートを組み合わせることで、バリエーションページのコンバージョンを増やし、成果の高いバージョンを判定するための統計的有意性を高めることができます。

このドキュメントは、すべての手順を通じてご案内できるよう作成されています。さらにサポートが必要な場合やご質問がある場合は、support@zohopagesense.comまでお気軽にお問い合わせください。いつでもサポートいたします！