お知らせ：当社は、お客様により充実したサポート情報を迅速に提供するため、本ページのコンテンツは機械翻訳を用いて日本語に翻訳しています。正確かつ最新のサポート情報をご覧いただくには、本内容の英語版を参照してください。

A/B（またはスプリットURL）テストは、1つのページと別のページを比較して、どちらがより優れたパフォーマンスを発揮するかを確認するという単純なように見えますが、実際にテスト結果が特定の意味を持つのかを理解するのは複雑です。マーケターや事業主にとって、レポートの数字だけを見て訪問者の問題を理解し、適切な解決策を見つけることも同様に困難です。そのため、Zoho PageSenseでは、ベイズ統計と頻度論的統計の両方を使用してテストレポートを計算し解釈します。これにより、どのバリアントがより優れたパフォーマンスを発揮し、より信頼性が高いか、テストがどれくらいの期間実行されるべきかを判断することができます。

ビジネスの要件に基づいて適切な統計手法を選択することが重要です。A/Bテストや分割URL実験を開始する前に、明確な勝者や敗者を宣言し、意思決定プロセスに情報を提供することができます。

ベイズ統計とは何ですか？

A/Bテストにおけるベイズ統計は、変動Aが変動Bよりも優れている可能性を計算します。これはデータ分析においてボトムアップの手法を採用し、以前の経験や手元にある証拠（一般的には「事前情報」と呼ばれる）を使用して、実験の新しい事後信念（「結果」とも呼ばれる）の確率を計算することができます。

ベイジアンアプローチは、ウェブサイトから受け取った新しいデータについて、既に持っているデータを使用してより良い仮定を立てる方法のことを洒落た言い方です。新しいデータを得るにつれて、ウェブサイトの「モデル」を洗練させ、より正確な結果を生み出します。これは、より多くのデータが収集されるにつれて結果を継続的に洗練させることができる、高度な統計分析手法とされています。

この手法の即効性は、短期間でテスト結果を直感的に理解できることであり、ステークホルダーとのコミュニケーションが容易になります。

実践的なシナリオ
自宅で携帯電話をなくしてしまい、どこかの部屋で鳴っているのが聞こえます。過去の経験から、携帯電話をよく寝室に置き忘れることが分かっています。

ベイジアンアプローチを使用すると、携帯電話をよく寝室に置き忘れることを知っているので、そこに見つける可能性が高まり、その知識を使って携帯電話の位置を特定することができます。それから、携帯電話が鳴るたびに、携帯電話があると思われる場所に少し近づくことが許され、携帯電話を見つける可能性が高まります。

数学者トーマス・ベイズによって開発されたベイズの方程式（またはベイズの定理）は以下の通りです：

• AとBはイベントです。
  

• P(A|B)は、イベントBが既に発生している場合にイベントAが発生する条件付き確率です（P(B|A)は同じ意味ですが、AとBの役割が逆転しています）。
  

• P(A)とP(B)は、イベントAとイベントBが発生するマージナル確率です。
  

方程式によれば、意思決定をする際には、現在のレポートで収集した事実（メトリクス）だけでなく、利用可能なすべての有用な情報を使用するべきです。つまり、ウェブページ上でのイベントの発生を検証する際には、目の前のものだけでなく、真実である可能性も考える必要があります（任意のイベントが発生する確率）。

A/Bテスト（またはSplit URLテスト）のベイズ手法の利点

• より直感的なテスト結果をより迅速に提供します。これは、情報への即時アクセスが必要なマーケターやビジネスオーナーにとって非常に役立ちます。結果の信頼性を確保しながら、より迅速な意思決定を行うことができます。
  

• 不十分なデータに基づいた誤った意思決定を心配する必要はありません。結果はいつでも有効です。
  

• 事前にサンプルのサイズを決定する必要はありません。テストを開始し、レポートで有意な結果が特定されると、それに頼ることができます。
  

• テストの終了時の潜在的な危険性（損失値）を任意の時点で計算し、どちらのバリアントがより優れているか、どれくらい優れているかを常に更新された確率で示します。
  

• ベイジアンの結果は、小さな変化でも検出しやすく、統計学の知識がない人にも理解しやすいです。
  

頻度主義統計とは何ですか？

A/Bテスト（またはスプリットURLテスト）における頻度主義的なアプローチは、変動AがBを上回るかどうかを教えてくれますが、AがBよりも優れる確率は示してくれません。このアプローチは、大量の試行で特定のイベントがどれだけ頻繁に発生するかに関連してイベントの成功を計算します。A/Bテストの世界に適用すると、頻度主義的なアプローチを採用する場合、正しい結論に達するためにはより多くのデータ（より多くの訪問者をテストし、より長い期間にわたる）が必要となることがわかります。

実践的なシナリオ
前述のベイジアンの例を使ってみましょう。5部屋ある家の中で、あなたは携帯電話を失くしてしまいました。そして、あなたはよく寝室に携帯電話を置きっぱなしにします。

頻度主義的なアプローチ では、あなたはじっと立ち止まって携帯電話の鳴る音を聞く必要があります。十分な確信を持って、自分が立っている場所から（動かずに！）携帯電話がどの部屋に置かれているかを判断できることを願っています。さらに、このアプローチでは、通常どこに携帯電話を置くかという事前の知識を使うことは許されません。

PageSenseには、3つの異なるモードの頻度論的統計があります：

• クイックトレンド：このモードは、直接的に収益に影響を与えない実験に適しています。短期間で勝者を見つけたい場合は、このモードを選択してください。
  

1. 統計的有意性レベル >90%
   
2. クイックな見出しテストやCTAクリックなど、収益に関連しない目標のテストに最適です。短いテスト時間で迅速な結果を提供します。
   

• 最適: これはデフォルトモードであり、ほとんどの種類の実験に最適な選択肢です。比較的正確な結果を合理的な時間内に得たい場合は、このモードを選択してください。
  

1. 統計的有意水準＞95%
   
2. あらゆる種類の実験に最適です。中程度のテスト時間でかなり正確な結果を提供します。

1. 高い精度：これは、収益に直接影響を与える重要な実験に最適なモードです。時間を気にせずに高い精度の結果を得たい場合は、このモードを選択してください。
   

1. 統計的有意水準＞99%
   
2. あらゆる種類の実験に最適です。長いテスト時間で非常に正確な結果を提供します。
   

統計的有意性とは、ベースライン（オリジナル）と特定のバリエーション間の変換率が有意である確率であり、ランダムな行動や選択に基づいていないことを意味します。たとえば、95%の有意水準でA/Bテスト実験を実行する場合、勝者を決定した場合、観測結果が実際であり、ランダムによるエラーではないことを95%の信頼度で確信できることを意味します。また、5%の間違いの可能性もあります。 

ベイズ統計と頻度主義統計の比較

頻度主義的なアプローチに従うと、実施するすべてのテストに対して細心の注意が必要です。なぜなら、同じ訪問者の集合に対して、ベイジアンアプローチと比較してより長い期間のテストを実施する必要があるからです。したがって、各テストは非常に注意深く扱われる必要があります。なぜなら、特定の時間枠内で実行できるテストはほんのわずかだからです。ベイジアン統計とは異なり、頻度主義的な方法は直感的ではなく、理解するのが難しいことがよくあります。ただし、頻度主義的なテスト方法は仮説に確率を付与したり、一般的には確定的で未知の値に確率を付与したりしません。この事実を無視することが、頻度主義的な分析の誤解を招く原因となることがよくあります。