Split URL テスト結果の理解

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

PageSenseのスプリットURLテストレポートでは、テスト全体の成果をすばやく確認できるほか、コンバージョン率、差分区間、有意性など、各バリエーションの訪問者に関する指標を詳しく確認できます。豊富なデータを含むこのレポートを使用すると、Webページ上の各要素の成果をすぐに分析し、オーディエンスに対してどのバリエーションページがより高い成果を上げているかを判断できます。

PageSenseでスプリットURLテストのレポートにアクセスするには。

スプリットURLテストを開き、上部のバーにある［レポート］タブをクリックします。次の3つのタブが表示されます：［概要］、［詳細分析］、［ヒートマップ］。

［概要］タブ

ここでは、テストに関連付けられている目標の指標ごとに、概要とランキング表を確認できます。これらの数値を使用して、スプリットURLテストの各バリエーションについて、どのコンバージョン目標が最も高い成果を上げているか、または最も順位が高いかを確認できます。

概要

このセクションには、訪問者の合計数、バリエーション数、目標数、テストの開始日、一時停止日、オリジナルを含むすべてのバリエーションの有効期間など、スプリットURLテストの主な統計情報が表示されます。

警告と通知メッセージ

上部の通知バナーには、テストのステータスと、バリエーションでのデータ収集やコンバージョンの追跡に関する問題について、確認が必要な警告が表示されます。

［レポート］タブに表示される可能性があるエラーまたは警告メッセージは、次のとおりです。

「明確な結果が得られるまで、このテストを実行することをおすすめします。」
原因：結果を確定するために必要な訪問者数に達していない場合に表示されることがあります。この場合は、必要な訪問者数、より高いコンバージョン率、選択した有意水準に達するまで、テストを継続する必要があります。
「オリジナルとバリエーションの成果が同程度であるため、結果を確定できません。」
原因：Webページのオリジナルとバリエーションの成果が同程度で、新しいバリエーションをオリジナルより優先して公開する明確な利点がない場合に表示されることがあります。この場合は、テストを終了し、ページに対して新しいスプリットURLテストを作成することをおすすめします。

［詳細分析］タブ

このセクションでは、各目標の成果の推移がグラフに表示されます。

グラフの見方

このグラフでは、選択した基準に対する各バリエーションの成果と推移を時系列で比較できます。初期設定では、目標データを比較するための基準としてオリジナルが設定されています。［基準］と［比較対象］のドロップダウンを使用すると、基準を他のバリエーションに変更できます。

グラフは、次のいずれかの形式で表示できます。

時間基準グラフ：選択した期間にわたって、複数のデータの増減を横軸上に表示するグラフです。データの値やポイントが一定の時間間隔で算出され、それぞれが独立した値として扱われるため、時間基準と呼ばれます。

たとえば、Webサイトでブラックフライデーセール（4月12日）を開始したとします。この日にバリエーションページへ100人の新規訪問者がアクセスし、そのうち40人がコンバージョンに至った場合、コンバージョン率は40%です。これは前日である4月20日より20%高い値です。この場合、時間基準表示を使用すると、セール前後の日における訪問者数とコンバージョン率を比較できます。この情報を使用して、Webページに加えた変更がコンバージョン率に継続的な影響を与えているかどうかを判断できます。

この種類のグラフ（以下を参照）では、指定した期間内の特定の日にコンバージョンがゼロまで低下することがあります。これは、トラフィックやコンバージョン率が低いことによる標準的な変動の可能性があります。ただし、トラフィックが多いテストでこのようなパターンが見られる場合は、何らかの問題が発生している可能性があるため、テスト設定の品質を再確認する必要があります。実行中のテストにおける品質保証チェックとしても利用できます。

累計グラフ：選択した期間にわたって、平準化されたデータを横軸上に表示するグラフです。最初のポイント、最初の2つのポイント、最初の3つのポイントというように、時間の経過に伴ってデータの値やポイントを順次合計して算出するため、累計と呼ばれます。

たとえば、4月1日にスプリットURLテストを開始し、2週間ごとの成果を確認するために4月15日時点のコンバージョン率を確認するとします。この場合、累計グラフを使用すると、4月中旬までのバリエーションデータを合計した平均成果をすばやく把握できます。

この種類のグラフ（以下を参照）では、テストの後半よりも開始直後のほうが、オリジナルとバリエーションによる影響の変動が大きいことも確認できます。このようなパターンが見られる場合は、グラフがより水平に安定するまで、テストを早期に停止しないことをおすすめします。

また、グラフのドロップダウンから、［コンバージョン率］、［コンバージョン］、［訪問者］、［改善］、［有意性］などの個別の成果指標を選択し、異なるバリエーション間で目標の指標を絞り込めます。
予測の表示：［予測］ボタンを有効にすると、選択した期間において、各バリエーションのコンバージョン率（および改善率）がどのように変化する可能性があるかを予測できます。予測とは、将来の期間における変化の推定値です。スプリットURLテストの結果を分析し、長期的な成功を予測するために使用できます。

表の見方

このセクションには目標ごとの表があり、コンバージョン率、コンバージョン、差分区間、改善、有意性などの詳細な統計情報が表示されます。

バリエーション：元のページを含め、テストページで利用可能なすべてのバリエーションの一覧を示します。
訪問者：該当するバリエーションへの訪問者（重複を除く）の合計数を示します。
コンバージョン：特定の目標について、訪問者が目的の処理を達成した重複を除く件数を示します。コンバージョンとは、ユーザーに実行してほしい任意の処理を指します。ボタンのクリックから購入して顧客になるまで、Webページ上で行われるあらゆる処理が含まれます。
コンバージョン率：コンバージョン率は、コンバージョン数を訪問者数の合計で割った値です。

たとえば、バリエーションページに1か月で200人が訪問し、50件の購入があった場合、コンバージョン率は50÷200、つまり25%です。コンバージョン率は割合（%）で表され、正または負の値になる場合があります。

差分区間：結果を共有する際は、元のページとバリエーションのコンバージョン率で観測された差だけでなく、実際に元のページとバリエーションページのコンバージョン率が収まり得る範囲も示すことをお勧めします。この値の範囲を差分区間と呼び、数直線上に表示します。

数直線では、上限はすべてのバリエーション間で想定されるコンバージョン率の最大値、下限は最小値を示します。数直線上の色分けは、次の状態を示します。

灰色の領域：テストの結果が確定していないか、有効な結果を得るために、さらに多くの訪問者が必要であることを示します。
緑色の領域：成果の高いバージョンであることを示します。
赤色の領域：成果の低いバリエーションであることを示します。

たとえば、7,626人の訪問者を対象にバリエーションページをテストし、1,722件のコンバージョンを獲得した結果、コンバージョン率が22.58%になったとします。この場合、差分区間は21.64%～23.52%と表示されます。これは、バリエーションページで新たに獲得した訪問者とコンバージョンに応じて、コンバージョン率がこの範囲内のいずれかの値になり得ることを意味します。

メモ：

差分区間では、スプリットURLテストの元のページとバリエーション1のコンバージョン率が重なる部分に注意する必要があります。たとえば、元のページのコンバージョン率の信頼区間が10～20%、バリエーション1の信頼区間が15～25%であるとします。2つの信頼区間は15～20%の範囲で5%重なっています。この場合、Bでテストしたバリエーションに重要な改善があったと判断するのは非常に困難です。そのため、区間が重なっている場合は、成果の高いバージョンを確定しません。

改善：改善は、Webページの元のページとバリエーションのコンバージョン率の相対的な差を示します。改善率は、正または負の値になる場合があります。

たとえば、バリエーションのコンバージョン率が30%、元のページのコンバージョン率が15%の場合、改善率は（30－15）÷15×100＝100%ポイントです。この場合、バリエーションページのコンバージョン率は100%増加しています。
有意性（頻度法の場合）：スプリットURLテストの結果を解釈するうえで最も重要な概念は、統計的有意性です。統計的有意性により、選択した有意水準において、バリエーションの成果が基準を上回っているか下回っているかを判断できます。この有意水準は、結果の評価に適用した頻度法の種類に基づいて決まります。

有意性は、バリエーションAとBのページのコンバージョン率の差が、偶発的な処理や選択ではなく、訪問者の行動の実際の変化によって生じた確率として定義されます。簡単に言うと、統計的有意性が高いほど、結果の信頼性が高いとみなされます。

たとえば、スプリットURLテストの有意水準が95%の場合、成果の高いバージョンを確定した際に、観測された結果が偶然によるエラーではなく実際の結果であると95%の確率で信頼できます。同時に、その判断が誤っている確率が5%あることも意味します。スプリットURLテストで成果の高いバージョンを確定する際の、統計的有意性の重要性について説明します。
勝率（ベイズ法の場合）：スプリットURLテストで、バリエーションの成果が元のページを上回る確率として定義されます。勝率により、どのバリエーションがどの程度優れているかを割合（%）で確認できます。これは、ベイズ法でスプリットURLテストの成果の高いバージョンを確定する際に使用される、最も実用的な指標です。この方法では、次の3つのメインの条件を満たすと、成果の高いバージョンが確定されます。
1. バリエーションの訪問者数が100人以上に達している。

2. 設定した目標のコンバージョン数が50件以上に達している。

3. 平均最小損失値を満たしている。

メインの条件を満たすと、ベイズ法では次の2つの基準に基づいて成果の高いバージョンを確定します。
1. テストのバリエーションを成果の高いバージョンとして確定するには、メインの目標の値が、訪問者数、コンバージョン数、期待損失値の条件を満たしている必要があります。
2. 目標のバリエーションを成果の高いバージョンとして確定するには、訪問者数、コンバージョン数、期待損失値が考慮されます。

ヒートマップタブ

スプリットURLテストでヒートマップを有効にすると、元のページとバリエーションページで、訪問者がクリック、スクロール、閲覧した場所を可視化して確認できます。このレポートでは、特定のバリエーションが期待どおりの成果を上げなかった理由や、問題を解決するために変更すべき点についても詳しく把握できます。

スプリットURLテストについてヒートマップからわかること

［ヒートマップ］タブをクリックすると、元のページとバリエーションの訪問者データを比較し、各ページでの要素の成果の違いを確認できます。クリック数の少ない重要なCTA要素、リンク、動画や、各ページで訪問者のコンバージョンを妨げている重要度の低い要素などを確認できます。ヒートマップには、訪問者がWebページ上でクリックした場所が表示され、スプリットURLテストで期待する成果を得るための改善点を把握できます。

これらのレポートでは、ページ上の各要素のクリック数を色付きの領域で示します。青色はクリック数が少ないこと、暖色の赤色はクリック数が多いこと、明るい黄色はクリック数が最も多いことを示します。これらのヒートマップ指標から、ページ内で反応が多い領域と少ない領域をすばやく確認できます。この結果に基づいて、バリエーションページ内の要素を目的の位置に移動し、次のスプリットURLテストを実行できます。

スプリットURLテストについてスクロールマップからわかること

［スクロールマップ］をクリックすると、元のページまたはバリエーションのどの部分が、ユーザーの関心を維持するうえで最も効果的かを比較して確認できます。特に、CTAが表示される位置までページをスクロールした訪問者の割合（%）や、Webページの半分に到達する前に訪問者が離脱する理由を把握する際に役立ちます。CTAが表示される位置までスクロールしない訪問者の割合が高ければ、CTAがクリックされることもありません。

これらのレポートでは、ユーザーの滞在時間が長い場所を色分けされたグラデーションで示します。暖色の領域ほど訪問者の注目度が高く、訪問者の行動が減るにつれて色が徐々に薄くなります。これらのスクロールマップ指標に基づいて、長さの異なるバリエーションページを作成したり、訪問者の滞在時間が最も長いセクションにWebページの重要な要素を配置したりして、コンバージョンの改善状況を確認できます。

スプリットURLテストについてアテンションマップからわかること

［アテンションマップ］をクリックすると、ユーザーが元のページとバリエーションページに滞在した時間を比較して確認できます。この指標は、テキストや画像などの重要な情報が多くのユーザーに表示されているか、また、ページ上の情報を読もうとしてマウスを移動する際に、訪問者がページのどのセクションに強く反応しているかを確認するのに役立ちます。

これらのレポートでは、ページ上での反応の度合いを色付きのオーバーレイで示します。赤色の領域は活動が最も多いことを示し、青色は活動が少ないことを示します。これらのアテンションマップ指標に基づいて、バリエーション上で訪問者の視線を最も集めているセクションを追跡できます。そのうえで、重要なコンテンツや画像を注目度の高いセクションに配置してテストできます。

ヒートマップで得られた情報とスプリットURLテストのレポートを組み合わせることで、バリエーションページのコンバージョンを増やし、成果の高いバージョンを確定するための統計的有意性を高めることができます。

このドキュメントは、各手順をご案内できるよう作成されています。さらにサポートが必要な場合や質問がある場合は、support@zohopagesense.com - までお気軽にお問い合わせください。いつでもサポートいたします。