A/Bテスト結果の理解

A/Bテスト結果の理解

お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

Zoho PageSenseでは、元のWebページとそのバリエーションの成果を比較するためのレポートを確認できます。テスト全体の指標を確認し、各目標で最も順位の高いバリエーションを特定して、変更がコンバージョンに与える影響を把握するために訪問者の操作を分析できます。

A/Bテストのレポートにアクセスするには:
  1. A/Bテストを開きます。
  2. 上部のナビゲーションバーにある[レポート]タブをクリックします。
[概要]、[詳細分析]、[ヒートマップ]の3つのセクションを利用できます。



[概要]タブ

[概要]セクションには、テストの概要と、コンバージョン目標ごとのリーダーボードが表示されます。これらのレポートを使用してバリエーションの成果を比較し、各目標で最も順位の高いバリエーションを特定できます。


テストの概要

概要には、テストに関する次の詳細が表示されます。
  • 訪問者:テストの対象となった訪問者数の合計です。
  • バリエーション:元のWebページを含め、テスト対象となっているバージョンの総数です。
  • 目標:テストに設定されているコンバージョン目標の総数です。
  • 開始日時:テストを開始した日付です。
  • 一時停止日時:テストを一時停止した日付です。テストが一時停止されている場合に表示されます。
  • 有効期間:テストが有効だった合計時間です。

リーダーボード

リーダーボードには、テストに設定された各コンバージョン目標の成果が表示されます。目標ごとに個別のリーダーボードが表示されるため、その目標に対する元のページと各バリエーションの成果を比較することができます。
メインの目標が設定されている場合は、星印が表示されます。
リーダーボードには、最も順位の高いバリエーションの概要と、各バリエーションの成果の指標を含む表が表示されます。



最も順位の高いバリエーションの概要。
概要では、選択した目標に対して現在最も成果の高いバリエーションが強調表示されます。次の情報が表示されます。
  • 最も順位の高いバリエーション:選択した目標で現在最も順位の高いバリエーションの名前です。
  • コンバージョン率:目標を完了した訪問者の割合(%)です。
  • 訪問者:最も順位の高いバリエーションに割り当てられた訪問者数です。
  • コンバージョン:選択した目標を完了した訪問者数です。
リーダーボードの表。
表には、バリエーションごとに次の指標が表示されます。
  • 順位:選択した目標に対する成果に基づくバリエーションの順位です。
  • バリエーション:テストの対象となっている元のWebページまたはバリエーションの名前です。
  • 訪問者:該当するバリエーションに割り当てられた訪問者数です。
  • インプレッション:追跡対象の目標要素が訪問者に表示された回数です。
  • 表示率:追跡対象の目標要素を表示した訪問者の割合(%)です。
  • コンバージョン:選択した目標を完了した訪問者数です。
  • コンバージョン率:バリエーションに割り当てられた訪問者数の合計のうち、目標を完了した訪問者の割合(%)です。

レポートのツールバー

[レポート]ページでは、テストデータの表示方法や利用方法を管理するためのオプションも利用できます。


  • [オーディエンスのセグメント]:レポートをフィルターして、特定のオーディエンスのセグメントの成果を分析します。
  • [エクスポート]:追加の分析や共有のために、テストレポートをエクスポートします。
  • [共有]:レポートを他のユーザーと共有します。
  • [更新]:レポートを更新して、利用可能な最新データを表示します。

警告と通知メッセージ

上部の通知バナーには、テストのステータスのほか、バリエーションでのデータ収集やコンバージョンの追跡に関する問題の警告が表示されます。

メモ
[レポート]タブに表示される可能性のあるエラーまたは警告メッセージは、次のとおりです。
  • 「明確な結果が得られるまで、このテストを継続することをお勧めします。」
    原因:結果を確定するために必要な訪問者数に達していない場合に表示されることがあります。この場合は、必要な訪問者数に達し、コンバージョン率が向上して、選択した有意水準に達するまで、テストを継続する必要があります。

  • 「元のページとバリエーションの成果が同程度であるため、結果を確定できません。」
    原因:Webページの元のバージョンとバリエーションの成果が同程度であり、元のページに代えて新しいバリエーションを公開する明確な利点がないことが原因と考えられます。この場合は、テストを終了し、ページに対して新しいA/Bテストを作成することをお勧めします。

[詳細分析]タブ

このセクションには、各目標の成果の推移がグラフで表示されます。

グラフの見方

このグラフでは、選択した基準に対する各バリエーションの成果と推移を時系列で比較できます。初期設定では、目標データを比較するための基準として元のページが設定されています。この基準は、[基準]と[比較対象]のドロップダウンから他のバリエーションに変更できます。

グラフは、次のいずれかの形式で表示できます。
  • 時間基準グラフ:選択した期間(X軸)に分布する、複数のデータの増減を示すグラフです。データの値や点が一定の時間間隔ごとに計算され、それぞれ独立したものとして扱われるため、時間基準と呼ばれます。

    アイデアたとえば、Webサイトでブラックフライデーセール(4月12日)を開始したとします。この特定の日にバリエーションページへ100人の新規訪問者がアクセスし、そのうち40人がコンバージョンに至り、コンバージョン率が40%(前日の4月20日より20%高い)になったとします。この場合、時間基準表示を使用すると、セール前後の日における訪問者数とコンバージョン率を比較できます。この結果は、Webページに加えた変更が、時間の経過とともにコンバージョン率に影響しているかどうかを判断するために利用できます。
    この種類のグラフ(以下を参照)では、指定した期間内のある日に、コンバージョンがゼロまで低下することもあります。トラフィックやコンバージョン率が低い場合、これは標準的な動作である可能性があります。トラフィックの多いテストでこのようなパターンが見られる場合は、何らかの問題が発生している可能性があるため、テスト設定の品質を再確認する必要があります。実施中のテストにおける品質保証の確認としても利用できます。


  • 累計グラフ:選択した期間(X軸)に分布する、平準化されたデータを示すグラフです。最初の点、最初の2点、最初の3点というように、時間の経過に伴って各データの値や点の合計が計算されるため、累計と呼ばれます。

    アイデアたとえば、4月1日にA/Bテストを開始し、テストの成果を2週間ごとに確認するため、4月15日時点のコンバージョン率を確認するとします。この場合、累計グラフを使用すると、4月中旬までのバリエーションデータを合計した平均的な成果をすばやく把握できます。
    この種類のグラフ(以下を参照)では、テストの後半よりも開始直後のほうが、元のページとバリエーションの効果が大きく変動することも確認できます。このようなパターンが見られる場合は、グラフが十分に水平かつ安定した状態になるまで、テストの早期終了を見送ることが考えられます。

    さらに、ドロップダウンから[コンバージョン率]、[コンバージョン]、[訪問者]、[改善]、[有意性]などの個別の成果指標を選択し、バリエーション間で目標の指標を絞り込めます。

  • 予測の表示:[予測]ボタンを有効にすると、選択した期間における各バリエーションのコンバージョン率と改善率の予測または変化を確認できます。予測とは、将来の一定期間における変化の推定値です。A/Bテスト結果の成果を調査し、長期的な成功を予測するために利用できます。


表の見方

このセクションには目標ごとの表があり、コンバージョン率、コンバージョン、差分区間、改善、有意性などの指標を含む、詳細な統計情報が表示されます。
  • バリエーション:オリジナルを含め、テストページで利用可能なすべてのバリエーションの一覧を示します。

  • 訪問者:該当するバリエーションを訪問した訪問者数(重複を除く)の合計を示します。

  • コンバージョン:特定の目標に対して、訪問者が期待される行動を達成した件数(重複を除く)を示します。コンバージョンとは、ユーザーに実行してもらいたい任意の処理を指します。ボタンのクリックから購入、顧客への転換まで、Webページ上で行われるあらゆる処理が該当します。

  • コンバージョン率:コンバージョン数を訪問者数の合計で割った値です。

アイデアたとえば、バリエーションページに1か月で200人の訪問者があり、50件の購入があった場合、コンバージョン率は50÷200で25%になります。コンバージョン率は割合(%)で表され、正または負の任意の値を取ることができます。
  • 差分区間:結果を示す際は、オリジナルとバリエーションのコンバージョン率で観測された差だけでなく、オリジナルページとバリエーションページの実際のコンバージョン率が収まる可能性のある範囲も示すことをお勧めします。 この値の範囲を差分区間と呼び、数直線上に表示します。

    数直線では、上限はコンバージョン率の最大範囲、下限はすべてのバリエーション間におけるコンバージョン率の最小範囲を示します。数直線上の各色は、次の状態を示します。

    • 灰色の領域:テストの結論が出ていないか、有効な結果を判定するにはさらに多くの訪問者が必要であることを示します。

    • 緑色の領域:成果の高いバージョンを示します。

    • 赤色の領域:成果の低いバリエーションを示します。

たとえば、バリエーションページを7,626人の訪問者でテストし、1,722件のコンバージョンが発生した場合、コンバージョン率は22.58%になります。この場合、差分区間は21.64%から23.52%です。つまり、バリエーションページで新たに獲得した訪問者とコンバージョンに基づくと、コンバージョン率はこの範囲内の任意の値になる可能性があります。
メモ
メモ:
差分区間で注意すべき点は、A/Bテストのオリジナルとバリエーション1のコンバージョン率が重なる場合です。たとえば、オリジナルのコンバージョン率の信頼区間が10~20%、バリエーション1の信頼区間が15~25%であるとします。この2つの信頼区間は15~20%の範囲で5%重なっています。この場合、テストしたバリエーションBが実際に重要な改善をもたらしたと確信することは非常に困難です。そのため、区間に重なりがある場合は、成果の高いバージョンを判定しません。
  1. 改善:改善とは、Webページのオリジナルとバリエーションのコンバージョン率の相対的な差を示します。改善率は正または負の値になります。
    アイデアたとえば、バリエーションのコンバージョン率が30%、オリジナルのコンバージョン率が15%の場合、改善は(30-15)÷15×100=100パーセントポイントです。この場合、バリエーションページのコンバージョン率は100%増加しています。
  2. 有意性(頻度法の場合):A/Bテストの結果を解釈するうえで最も重要な概念は、統計的有意性です。統計的有意性は、選択した有意水準において、バリエーションが基準を上回っているか下回っているかを示します。この有意水準は、結果の評価に適用した頻度法の種類に基づいて決まります。
    有意性とは、バリエーションAとBのページ間にあるコンバージョン率の差が、無作為な処理や選択ではなく、訪問者の行動の実際の変化によって生じた確率を指します。簡単に言えば、統計的有意性が高いほど、結果の信頼性も高いと判断されます。
    アイデア
    たとえば、A/Bテストの有意水準が95%の場合、成果の高いバージョンを判定した際に、観測された結果が実際のものであり、偶然によるエラーではないと95%の確率で確信できることを意味します。また、判断が誤っている確率が5%あることも意味します。A/Bテストで成果の高いバージョンを判定する際の統計的有意性について確認してください。

  3. 勝率(ベイズ法の場合):A/Bテストでバリエーションがオリジナルを上回る確率を示します。勝率から、どのバリエーションが優れているか、またその差が割合(%)でどの程度かを確認できます。これは、ベイズ法でA/Bテストの成果の高いバージョンを判定する際に使用される、最も実用的な指標です。このアプローチでは、次の3つのメインの条件を満たすと、成果の高いバージョンが判定されます。
    1. 各バリエーションの訪問者数(重複を除く)が100人以上である。
    2. 設定した目標のコンバージョン数(重複を除く)が50件以上である。
    3. 平均損失値が最小である。

    メインの条件を満たした後、ベイズ法では次の2つのパラメーターに基づいて成果の高いバージョンを判定します。
    1. テストのバリエーションを成果の高いバージョンとして判定するには、メインの目標の値が、訪問者数、コンバージョン数、期待損失値の条件を満たしている必要があります。
    2. 目標のバリエーションを成果の高いバージョンとして判定する際は、訪問者数、コンバージョン数、期待損失値を使用します。

ヒートマップタブ

A/Bテストでヒートマップを有効にすると、オリジナルページとバリエーションページ上で、訪問者がクリック、スクロール、閲覧している場所を可視化して特定できます。このレポートから、特定のバリエーションが期待どおりの成果を上げなかった理由や、問題を解決するために変更が必要な箇所についても分析できます。

ヒートマップから確認できるA/Bテストの情報

[ヒートマップ]タブをクリックすると、オリジナルとバリエーションの訪問者データを比較し、各ページ上の要素による成果の違いを確認できます。ヒートマップでは、クリック数の少ない重要なCTA要素、リンク、動画から、各ページで訪問者のコンバージョンを妨げている重要度の低い要素まで、Webページ上で訪問者がクリックしている場所を確認できます。また、A/Bテストで期待する成果を得るための改善点も把握できます。

これらのレポートでは、色付きのホットスポットを使用して、ページ上のどの要素のクリック数が多いか、または少ないかを示します。青色はクリック数が少ないことを示し、赤みが強いほどクリック数が多くなり、最もクリック数が多い場所は明るい黄色で表示されます。これらのヒートマップ指標から、ページ上で反応が多い領域と少ない領域をすばやく確認できます。その結果に基づいて、バリエーションページ内の配置を変更し、次のA/Bテストを実行できます。


スクロールマップから確認できるA/Bテストの情報

[スクロールマップ]をクリックすると、オリジナルまたはバリエーションのどの部分が、ユーザーの関心を維持するうえで最も効果的かを比較して確認できます。特に、CTAが表示される位置までページをスクロールした訪問者の割合(%)を把握し、訪問者がWebページの半分に到達する前に離脱する理由を分析する際に役立ちます。CTAが表示される位置までスクロールしていない訪問者の割合が高ければ、そのCTAがクリックされることもありません。

これらのレポートでは、色分けされたグラデーションを使用して、ユーザーが最も長く滞在した場所を示します。暖色が強い領域ほど訪問者の注目度が高く、訪問者の行動が減るにつれて色が徐々に薄くなります。これらのスクロールマップ指標に基づいて、長さの異なるバリエーションページを作成したり、訪問者が最も長く滞在するセクションにWebページの重要な要素を配置したりして、コンバージョンがどのように改善するかを確認できます。



アテンションマップから確認できるA/Bテストの情報

[アテンションマップ]をクリックすると、ユーザーがオリジナルページとバリエーションページに滞在した時間を比較できます。この指標は、テキストや画像などの重要な情報がほとんどのユーザーに表示されているか、また訪問者がマウスを動かしながら情報を読むことで、ページ内のどのセクションに最も関心を持っているかを確認する際に役立ちます。

これらのレポートでは、色付きのオーバーレイを使用して、ページ上の反応の度合いを示します。赤色の領域は活動が最も多く、青色の領域は活動が少ないことを示します。これらのアテンションマップ指標に基づいて、バリエーション上で訪問者の視線を最も集めるセクションを追跡し、ページ内で最も注目されるセクションに重要なコンテンツと画像を配置してテストできます。



ヒートマップから得られる情報とA/Bテストのレポートを組み合わせることで、バリエーションページのコンバージョンを増やし、成果の高いバージョンを判定するための統計的有意性を高めることができます。






このドキュメントは、すべての手順をご案内できるように作成されています。さらにサポートが必要な場合や質問がある場合は、support@zohopagesense.com - までお気軽にお問い合わせください。いつでもサポートいたします。