お知らせ:当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の
英語版を参照してください。
マルチアームド・バンディット(MAB)とは?
銀行に並ぶスロットマシン(「ワンアームドバンディット」)を思い浮かべてください。目標は獲得額を最大化することです。従来のA/Bテストでは、それぞれのレバーを1万回ずつ引いてから、どれが最良かを判断します。しかし、マルチアームド・バンディットはもっと賢く、各レバーを数回引いて、どれが最も出力が高いかを確認し、自動的にその他のリソース(お金も含む)を実績のある勝者へと振り分けていきます。
MABは、実験期間中にパフォーマンスの高いバリエーションへと動的に受信トラフィックを割り当てるアルゴリズムです。これにより、「後悔」(非最適なバージョンへトラフィックを送ることで失われる機会費用)を最小限に抑えることができます。
探索と活用のジレンマ
実験の中心的な課題は、探索(最良を見つけるためにすべての設定を試すこと)と、活用(現在最も成果を上げているものにリソースを集中すること)のバランスを取ることです。
- 探索は、思いがけないバリエーションが最高の成果を出す場合にも備え、潜在的な勝者を発見できます。
- 活用は、既に効果が確認できているものを優先し、最速で成果を得ることができます。
MABアルゴリズムの特徴は、両方を同時に実現できる点です。常にこのトレードオフを管理し、パフォーマンスの低いアイデアに過剰なリソースを費やすことなく、また見逃しがちなチャンスも逃さないようにします。
PageSenseにおけるMABの仕組み
PageSenseのMAB機能は、従来の固定的な分割を超えて、常に学習し、最適化を続けます。
- 動的な割り当て:すべてのバリエーションは同じトラフィック量から開始しますが、成果の高いバージョンには急速に新規訪問者のより多くが割り当てられます。
- インテリジェント学習(トンプソン・サンプリング):当社はベイズ的手法であるトンプソン・サンプリングを採用しています。これは、アルゴリズムが各バリエーションの変換率を確率分布としてモデル化することを意味します。ユーザーが訪問するたびに、PageSenseはこれらの分布からサンプリングし、その瞬間に最も勝つ可能性が高いバリエーションに訪問者を振り分けます。時間の経過とともに、最も成果を上げているバリエーションがより多くのトラフィックを獲得しつつ、システムは代替案のテストも続行します。探索を完全に停止することはありません。
- リアルタイム最適化:数週間も信頼度を待つ必要はありません。MABは即座かつ継続的に最適化を行うため、時間が重要なキャンペーンや迅速な成果が求められる場合にも最適です。
トンプソン・サンプリングの仕組み
トンプソン・サンプリングは、MABの中でも特にデジタル最適化で高く評価されている先進的な手法の一つです。
- 各バリエーションには、これまでの結果(例:成功数や失敗数)に基づいて確率モデルが割り当てられます。
- 新規訪問者がアクセスした際、トンプソン・サンプリングは各バリエーションの確率曲線からランダムな値を抽出し、最も高い値が出たバリエーションを選びます。
- 多数の訪問を通して、成果の高いバリエーションが高い確率で選択され、より多くのトラフィックを獲得しますが、パフォーマンスが変化した場合にも柔軟に対応できるよう、常に下位のバリエーションにも少量のトラフィックが送られます。
- この手法は、すべての可能性(探索)について十分に学びながら、成果の最大化(活用)もリアルタイムで両立させます。
マルチアームド・バンディットの主なメリット
- テスト中のコンバージョン最大化:最後まで待つのではなく、MABは実験の途中でも成果が高いものに訪問者を誘導することで、迅速に利益を高めます(「earn while you 参照」)。
- スピード重視・高いステークスのキャンペーンに最適:短期プロモーションや話題のニュース回数など、即時の対応や価値獲得が重要なシーンで素早く反応・捕捉できます。
- 完全自動の最適化:一度開始すれば、MABがトラフィックの振り分けを自動で管理し、手動での調整や常時の宛先設定は不要です。
- トレンドや変化への柔軟な適応:ユーザー行動や市場動向がキャンペーン中に変更しても(季節性や新規トレンドなど)、MABが変化を検知し、新しい勝者を見つけます。最初からテストを再開する必要はありません。
留意すべき制限事項
- 統計的なトレードオフ:MABは即時的な成果の最大化を重視しており、「どのバリアントが最良か」という科学的で最終的な結論を提供するものではありません。確定的で報告可能な統計比較には、従来型のA/Bテストを使用してください。
- リサーチや因果関係の解明には不向き:原因や効果を正確に属性付けしたい場合は、A/B/nテストが依然として分析の厳密性におけるゴールドスタンダードです。
- 遅延フィードバックには適さない:メールキャンペーンや長い営業回数など、コンバージョンに時間がかかるケースでは適応型フィードバックループが機能しないため、MABの利用は避けてください。
A/Bテストでのトラフィック分割の割り当て
PageSenseでは、バリエーション間のトラフィック分割を手動で管理する方法と、MABによる自動最適化の2つの方法が利用できます。
1. 手動分配
各バージョンへのトラフィック分配比率を正確に決定できます。
- 均等分割:例:バリエーションが2つの場合は50/50、3つの場合は33/33/33のように割り当てます。
- カスタム分割:コントロール60%、バリアント40%のように、ニーズに合わせて分配を調整できます。
厳格なテストや段階的なロールアウト、トラフィック配分を完全に管理したい場合に最適です。
2. 自動分配(MAB)
PageSenseがトラフィック分配を動的に管理します。
- 最初は均等に分配されます。
- 結果から学習し、成果が高いバリエーションへトラフィックを増やし、パフォーマンスが低いものへのトラフィックを減らします。
- リアルタイムで調整を繰り返し、コンバージョン最大化を目指します。
重要:自動分配を選択してテストを開始すると、手動でのトラフィック分配編集や元に戻すことはできません。
自動分配の利用シーン:
- スピードや適応学習が重要で、一つの「勝者」決定よりも最適化が重視される高トラフィックキャンペーンに最適です。
- プロモーションや時間制限のある施策、継続的な最適化に適しています。
例シナリオ:
- 手動均等:1000人の訪問者を500/500で分割。
- 手動カスタム:1000人の訪問者を600/400で分割。
- 自動(MAB):1000人の訪問者で均等に開始し、その後動的にシフト(例:バリアント700人/コントロール300人)。