A/Bテストの実験設定の構成

A/Bテストの実験設定の構成

お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

設定手順では、バリエーション間でのトラフィックの割り当て方法、結果の評価に使用する統計モデル、テストの有効化、ヒートマップの有効化、テストの実行スケジュールを設定できます。
これらを設定することで、テストを正しく実行し、テストの目的に最適な手法で収集データを分析できます。

テストの設定

テストを設定するには、次の手順を実行します。

1. テストのワークフローの［設定］手順に移動します。
2. トラフィックの割り当てを設定します。

トラフィックの割り当て方法は、次の2つから選択できます。

- 手動での割り当て：テストの各バリエーションにトラフィックをどのように配分するかを指定できます。トラフィックの割り当てを制御し、固定の割り当てでバリエーションを比較する場合に選択します。

- 多腕バンディット：各バリエーションのパフォーマンスに基づいて、トラフィックの割り当てを自動的に調整します。テストの実行中に、パフォーマンスの高いバリエーションへより多くのトラフィックを割り当てる場合に選択します。

多腕バンディットとは

複数のスロットマシンが並んでいて、獲得金額を最大化しようとしている場面を想像してください。従来のA/Bテストでは、どの台が最も優れているかを判断する前に、それぞれのレバーを10,000回ずつ引きます。一方、多腕バンディットは、より効率的です。それぞれのレバーを数回引いて、配当の多い台を特定し、実績のある勝者へ自動的に注目と資金を多く振り分けます。
MABは、テスト全体を通じて、流入トラフィックを最もパフォーマンスの高いバリエーションへ動的に割り当てるアルゴリズムです。これにより、最適でないバージョンへトラフィックを割り当てることによる「後悔」（機会費用）を最小限に抑えられます。

Zoho PageSenseでのMABの仕組み

PageSenseでは、高度なMABアルゴリズムを使用することで、従来のA/Bテストにおける固定的な50対50の分割を超え、メインの目標に向けて継続的に最適化します。
  • 動的な割り当て：すべてのバリエーションには、最初は均等にトラフィックが割り当てられます。訪問者のデータが蓄積されると、アルゴリズムによってコンバージョンの最も多いバリエーションが特定され、新規トラフィックの割り当てが徐々に増加します。
  • インテリジェントな学習（トンプソンサンプリング）：トンプソンサンプリングと呼ばれる高度なベイズアプローチを使用します。この手法では、パフォーマンスを継続的に評価し、トラフィックの流れを滑らかに調整します。操作を行わなくても、ユーザーの行動を常に学習し、その変化に適応します。
  • リアルタイムでの最適化：固定のサンプルサイズや特定の信頼水準に達するまで待つ必要はありません。MABアルゴリズムはテストを毎分最適化するため、時間に制約のあるキャンペーンや、スピードが重要な場合に最適です。

多腕バンディットを使用する主なメリット

MABは単に高速なA/Bテストではありません。テストの実施中から売上を最大化する、まったく異なるアプローチです。
  • テスト中のコンバージョンの最大化：MABアルゴリズムは、テストの実行中にメインの目標のコンバージョンを最大化するよう設計されています。パフォーマンスの低いバリエーションから高いバリエーションへトラフィックをすぐに移動することで、「学習しながら成果を得る」ことができ、テスト終了後まで待たずに最大限の価値を獲得できます。
  • 時間に制約のあるキャンペーンに最適：速報ニュースの見出し、2日間のホリデープロモーション、価格テストなどの短期キャンペーンでは、MABが最もパフォーマンスの高いバリエーションをすばやく特定し、早い段階で大部分のトラフィックを割り当てます。これにより、最も重要な時期に全体のコンバージョンを増やせます。
  • 自動化と効率化：MABは、操作を必要としない継続的な最適化に適しています。一度設定すれば、自動化機能がトラフィックの移動を管理するため、従来のテストで必要だった継続的な手動監視の負担を軽減できます。
  • 変化への迅速な適応：トレンドや季節性などにより市場環境やユーザーの意識が急に変化した場合も、MABアルゴリズムは迅速に適応します。テストをやり直さなくても、パフォーマンスの低いバリエーションをすばやく再評価し、新しい勝者を特定します。

留意すべき制限事項

  1. 統計上のトレードオフ：MABでは、短期的なコンバージョンの増加が優先されます。「統計的に最も優れているバリエーションはどれか」という明確な回答や、長期的で明確な信頼区間が必要な場合は、従来の頻度論またはベイズのA/Bテストを使用してください。
  1. 研究との相性が悪い：レポート用に正確な上昇幅を把握する必要がある場合や、変更による正確な因果効果を把握する必要がある場合は、A/B/nテストの方が明確なデータを得られます。
  1. 遅延するフィードバックには不向き：MABは使用しないでください。コンバージョンが大幅に遅れるテスト（たとえば、数日後にコンバージョンが発生するメールテスト）には適していません。アルゴリズムの学習サイクルは、迅速かつ継続的なフィードバックを前提としているため、遅延が発生すると最適化プロセスの精度が損なわれます。



3. テストの評価方法を選択します。



4. 有効化モードを設定します。



5. 必要に応じてヒートマップを有効にします。



6. テストの開始日と終了日のスケジュールを設定します。


7. ［次へ］をクリックして、概要の手順に進みます。

トラフィックの分割

トラフィックの分割では、訪問者をオリジナルページとテストのバリエーションにどのように割り当てるかを設定します。テストの目標と許容できるリスクに基づいて、トラフィックの割り当て方法を選択してください。
［手動での割り当て］
［自動での割り当て（多腕バンディット）］
手動での割り当て
手動での割り当てでは、各バリエーションに割り当てるトラフィックの量を正確に制御できます。すべてのバリエーションにトラフィックを均等に割り当てることも、テストの要件に基づいて個別の割合（%）を指定することもできます。この方法では訪問者の割り当てを完全に制御でき、従来のA/Bテストで一般的に使用されます。
例：
1つのオリジナルページと1つのバリエーションをテストするとします。
次のように割り当てます。
  • オリジナル：50%
  • バリエーション1：50%
これにより、両方のエクスペリエンスに同じ割合のトラフィックが割り当てられ、偏りなく比較できます。
トラフィックを均等でない割合で割り当てることもできます。
例：
  • オリジナル：70%
  • バリエーション1：30%
この方法は、新しいデザインをより多くの割合（%）の訪問者に公開する前に、少数のオーディエンスでテストする場合によく使用されます。



自動での割り当て（多腕バンディット）
自動での割り当てでは、多腕バンディットの手法を使用して、テスト中にトラフィックの割り当てを動的に調整します。
テストが進むにつれて、PageSenseはパフォーマンスの高いバリエーションへより多くの訪問者を自動的に割り当て、パフォーマンスの低いバージョンへのトラフィックを減らします。これにより、テストの完了を待たずに、テスト中のコンバージョンを最大化できます。
例：
3つのランディングページのバリエーションをテストするとします。
最初は、すべてのバージョンにトラフィックが均等に割り当てられます。
結果が得られると、PageSenseはバリエーション2が他より大幅に多くのコンバージョンを獲得していることを特定し、そのバリエーションに割り当てる訪問者を徐々に増やしながら、他のバリエーションへのトラフィックを減らします。


自動での割り当てを使用するタイミング

自動での割り当ては、次の場合に使用します。
  • 完全に均衡の取れたテストを実施することよりも、コンバージョンを最大化することが重要です。
  • PageSenseでトラフィックの割り当てを自動的に最適化したい場合。
  • 成果の低いバリエーションが訪問者に表示される機会を減らしたい場合。

テスト方法の設定

テスト方法によって、PageSenseがパフォーマンスを評価し、統計的な信頼度を算出する方法が決まります。
［ベイズ法］
［頻度法］
ベイズ法
ベイズ法では、確率に基づいてテストを分析します。
あるバリエーションが別のバリエーションより優れているかどうかを単に判定するのではなく、そのバリエーションの成果が高くなる確率を算出します。
この方法では、多くの場合、より短期間で有益な知見を得ることができ、ほとんどのビジネスユーザーにとって結果も理解しやすくなります。
例：
バリエーションBがバリエーションAを上回る確率が92%と示された場合、一定のテスト期間が経過するのを待たずに、改善の可能性を確信を持って把握できます。
利点：
  • 迅速な意思決定
  • 確率に基づく知見
  • 結果の解釈が容易
  • ほとんどの最適化テストに適合


頻度法
頻度法では、統計的有意性と信頼度のしきい値を使用してテスト結果を評価します。
ベイズ分析とは異なり、この方法で信頼性の高い結論を導き出すには、十分なサンプルサイズとテスト期間が必要です。
例：
バリエーションが95%の統計的有意水準に達した場合、観測された改善が偶然に生じた可能性は低いことを示します。
利点：
  • 広く認められている統計的手法
  • フォーマルなテストプログラムに適合
  • 信頼度に基づく確実な検証

統計的有意水準

頻度法を使用する場合、PageSenseが成果の高いバリエーションを特定するために必要な信頼度のしきい値を設定できます。


［簡単な傾向］
［最適］
［高精度］
簡単な傾向
［簡単な傾向］では、信頼度の要件を低くすることで、傾向をより迅速に把握できます。
この選択肢は、初期段階でパフォーマンスのパターンを特定する場合に役立ちます。
適した用途：
  • 探索的なテスト
  • 初期デザインの検証
  • 短期間のテストサイクル

最適
［最適］では、テストの速度と結果の精度を両立できます。
この選択肢はほとんどのビジネステストに適しており、一般的に推奨されます。
適した用途：
  • ランディングページの最適化
  • コンバージョン率の最適化
  • ユーザーエクスペリエンスのテスト


高精度
［高精度］では、成果の高いバリエーションを決定する前に、より高い統計的信頼度が求められます。
この設定では、誤検出の可能性を低減できますが、テスト期間が長くなる場合があります。
適した用途：
  • 影響度の高いビジネス上の意思決定
  • 売上に直結するテスト
  • 大規模な最適化施策

テストの有効化方法

有効化方法によって、訪問者にテストが適用されるタイミングが決まります。
［ページの読み込み時に有効にする］
［手動で有効にする］
［条件を満たすときに有効にする］
ページの読み込み時に有効にする
対象ページが読み込まれると、テストがすぐに実行されます。これは最も一般的な有効化方法です。
例：
訪問者がホームページを開くと、割り当てられたバリエーションがすぐに表示されます。

手動で有効にする
カスタム実装を通じて手動で有効にした場合にのみ、テストが実行されます。この選択肢では、バリエーションを表示するタイミングをより細かく制御できます。
例：
特定のアプリケーションイベントが発生した後、開発者がテストを有効にします。

条件を満たすときに有効にする
事前に設定した条件を満たした後にのみ、テストが実行されます。これにより、訪問者の行動やページの状態に基づいてエクスペリエンスを表示できます。
例：
訪問者がページの半分までスクロールするか、特定の要素を操作した後にのみ、バリエーションを実行します。

ヒートマップの有効化

すべてのテストのバリエーションから訪問者の反応データを自動的に収集するには、ヒートマップを有効にします。
ヒートマップを使用すると、各バリエーションに対する訪問者の反応を把握でき、テスト結果を分析する際に追加の情報を得られます。
ヒートマップデータから、次の情報を確認できます。
  • クリック操作
  • スクロール操作
  • 訪問者のエンゲージメントパターン
  • 関心が集まる領域
  • 反応が少ない領域
例：
バリエーションBでは、バリエーションAより多くのコンバージョンが発生しています。
ヒートマップを確認すると、位置を変更した行動喚起ボタンに訪問者がより頻繁に反応していることが分かり、パフォーマンスが改善した理由を把握できます。

スケジュールの設定

スケジュールを設定することで、テストの開始と終了のタイミングを制御できます。
特定のキャンペーン、プロモーション、季節イベント、または管理されたテスト期間中にテストを実行する必要がある場合は、スケジュールを設定します。
  1. ［後でこのテストを実行する］
将来の指定した日時にテストを自動的に開始する場合は、この選択肢を有効にします。
例：ブラックフライデー向けのテストを数日前に設定し、プロモーションの開始時に自動的に実行されるようスケジュールを設定します。
  1. ［開始日］
テストが有効になる日時を設定します。設定した開始日時より前に訪問者がテストに含まれることはありません。
  1. ［終了日］
テストの実行が自動的に停止する日時を設定します。
終了日に達すると訪問者の参加が終了し、新しいテストデータは収集されなくなります。
例：1週間のキャンペーン期間中のパフォーマンスを評価するため、2026年3月24日午後1時51分から2026年3月31日午後1時51分までテストを実行するようスケジュールを設定します。

推奨事項

  • トラフィックを均等に割り当てる必要がある場合は、手動での割り当てを使用します。
  • テスト中にコンバージョンを最大化することを優先する場合は、自動での割り当てを使用します。
  • 組織のテスト運用に適した統計的方法を選択します。
  • ほとんどのテストでは、［最適］の有意水準設定を使用します。
  • 訪問者の行動に関する追加の知見が必要な場合は、ヒートマップを有効にします。
  • 主要なキャンペーンや商品のリリースに合わせて、テストのスケジュールを設定します。
  • テストの開始後は設定を変更しないでください。




このドキュメントは、各手順を分かりやすくご案内できるよう作成されています。さらにサポートが必要な場合や質問がある場合は、support@zohopagesense.com - までお気軽にお問い合わせください。いつでもサポートいたします。