ABテストの有意差とは？判定方法と必要なサンプル数

｜広告運用ノウハウ公開中！

サービス紹介資料は資料をダウンロード！

ABテストを進めていると、AパターンとBパターンのコンバージョン率（CVR）にわずかな差が出ることがあります。ただ、その差が施策による本物の違いなのか、たまたまの偶然なのかは、数字を眺めるだけでは判断できません。見極めを誤れば、効果のない変更をそのまま採用してしまうこともあります。そこで手がかりになるのが「有意差」という考え方です。本記事では、ABテストの有意差の意味から、判定に使う指標、必要なサンプル数の決め方、誤判定を避ける注意点までを順に整理します。「この差は信じてよいのか」と迷ったときの判断基準が分かるはずです。

本記事は、ABテストの結果が出たあとの「有意差の見極め」にしぼって解説します。「ABテストとは何か」「具体的なやり方」から確認したい方は、以下の記事もあわせてご覧ください。
ABテストとは？成果につながるやり方やおすすめのツール・成功事例を紹介

01｜有意差とは

ABテストの有意差とは、A・B2つの案の差が、偶然のばらつきでは説明しにくいほど大きいと統計的に判断できる状態のことです。反対に、その差が誤差の範囲で説明できてしまうときは、「有意差があるとはいえない」と表現します。

なぜ、こうした判定が必要なのでしょうか。ABテストの結果には、必ず誤差が含まれるからです。同じLPでも、訪れるユーザーはその時々で入れ替わります。購入意欲の高い人が多い日もあれば、そうでない日もあります。そのためCVRは、施策の良し悪しとは別に、ある程度は上下に揺れます。

この揺れを考えずに、見かけのCVRが高いほうを「勝ち」と決めると、判断を誤ります。たとえばAが2.0%、Bが2.2%でも、この0.2ポイントが効果なのか誤差なのかは、数字だけでは分かりません。有意差の判定とは、観測された差が「偶然の揺れを超えているか」を確かめる作業です。

もう一つ大切なのは、「有意差があるとはいえない」は「2案に差がない」と証明されたわけではない、という点です。サンプルが少なくて判定できないだけ、という場合も多くあります。有意差の有無は、「いま集まったデータで、差があると言い切れるか」を示すものだと理解しておきましょう。

02｜有意差を判定する3つの指標

有意差の判定では、主に「有意水準とp値」「信頼区間と信頼度」「必要なサンプル数」という3つの観点を見ます。言葉は専門的に見えますが、考え方はいずれもシンプルです。順番に確認していきます。

有意水準とp値

有意水準とは、偶然生じた差を「有意差あり」と誤って判定してよい確率の上限のことです。統計学では慣例的に5%（0.05）がよく用いられ、より慎重に判断したい場合は1%（0.01）を使うこともあります。5%という基準は、「本当は差がないのに、誤って差があると判断してしまう確率を5%までは許容する」という意味だと考えると分かりやすくなります。

p値は、「2案に本当は差がない（これを帰無仮説と呼びます）と仮定したときに、観測された差以上の差が偶然生じる確率」を表します。このp値が、あらかじめ決めた有意水準（たとえば0.05）を下回ったとき、「偶然では起こりにくい差だ」と考えて「有意差がある」と判断します。

信頼区間と信頼度

信頼区間とは、真の値が含まれていると考えられる範囲のことです。ABテストの判定ツールでは、「信頼度95%」といった形で表示されることが多くあります。これは「同じテストを繰り返したとき、95%の割合でこの範囲に真の値が収まる」という考え方にもとづくもので、有意水準5%とちょうど表裏の関係にあります。信頼度が高いほど、判定の確からしさは増します。

必要なサンプル数

3つめが、判定の土台になるサンプル数です。どれだけ立派な指標を使っても、データが少なければ結論は揺らぎます。必要なサンプル数は、検出したい差の大きさや、設定する有意水準などによって変わります。具体的な決め方は04章で詳しく説明しますが、まずは「有意差の判定は、十分なデータ量があってはじめて意味を持つ」という前提を押さえておきましょう。

03｜有意差の判定方法

有意差の判定は手計算でも可能ですが、計算が煩雑なため、実務では計算ツールや表計算ソフト、ABテストツールの自動判定を使うのが一般的です。代表的な方法を3つ整理します。

1. 無料の有意差判定ツールを使う

• 各パターンの訪問数とコンバージョン数を入力すると、信頼度（95%や99%など）を自動で計算してくれる無料ツールが公開されています。統計の知識がなくても結果を読み取れるため、最初の判定にはこうしたツールが手軽です。専用のABテストツールにも、テスト結果の統計的な有意性を自動で判定する機能を備えた製品があります（例：VWO など）。

2. Excelなどの表計算ソフトで計算する

• 表計算ソフトでも判定は可能です。Excelの場合、空のセルに「=CHISQ.TEST(実測値の範囲, 期待値の範囲)」と入力すると、カイ二乗検定のp値が1つのセルに返ります（古いバージョンではCHITEST関数）。実測値はA・B各パターンのコンバージョン数と非コンバージョン数、期待値は「差がないと仮定したときの理論値」です。返ってきた値が有意水準（たとえば0.05）を下回っていれば、有意差があると判断できます。手元のデータで仕組みを確認したい場合に向いた方法です。

3. 検定の考え方を理解しておく

• 2つのCVR（比率）を比べる代表的な検定として、カイ二乗検定や比率の差の検定（z検定）があります。ツールが自動で判定してくれる場合でも、その裏側でこうした検定が動いていることを知っておくと、結果の意味を取り違えにくくなります。

判定の手間は、使うツールによって大きく変わります。たとえば、LPの作成から配信、ABテストの実施までを一つの環境で完結できるSquad beyondのようなツールなら、テストの実施から結果の確認までを同じ画面で進められます（詳しくは06章で紹介します）。

ABテストツールの機能や選び方について詳しく解説している記事もございますので、あわせてご参照ください。
ABテストツールとは？主な機能やメリット、失敗しない選び方を紹介

04｜必要なサンプル数の考え方

ABテストで精度の高い効果検証を行ううえで欠かせないのが、必要なサンプル数（母数）です。これは、次の3つの要素から決まります。

• 検出したい差の大きさ（効果量）
• 設定する有意水準
• 検出力（本当に差があるとき、それを正しく検出できる確率。一般に80%）

ここで押さえておきたいのが、検出したい差が小さいほど、判定に必要なサンプルは多くなるという関係です。わずかな改善を確実に見極めたいなら、その分だけデータを集める必要があります。

サンプルが足りないまま判定すると、誤差を実力差と取り違えやすくなります。少ないデータで出た「勝ち負け」は、データを足すと逆転することも珍しくありません。そこでテストを始める前に、「1パターンあたり何件のコンバージョンが集まったら判定するか」を決めておくと、見切り発車を防げます。必要数は、検出したい差を入力すると算出できる無料ツールでも見積もれます（例：Sample Size Calculator（Evan Miller））。

なお、「最低◯件あれば十分」と一律の目安を当てはめるのは避けましょう。必要数は効果量によって大きく変わるからです。期間についても、曜日でユーザーの行動は変わるため、最低1週間など週単位で区切って、あらかじめ決めておくのが一般的です。

検証のスピードと精度を両立させる進め方については、以下の記事もございますので、あわせてご参照ください。
ABテストの成功事例6選｜検証スピードを高める進め方・注意点

｜広告運用ノウハウ公開中！

より詳しく知りたい方は資料をダウンロード！

05｜有意差を正しく出すための注意点

指標や計算方法を正しく使っても、テストの進め方を誤ると判定そのものが信頼できなくなります。現場で陥りやすい3つの注意点を挙げます。

1. テスト途中の「覗き見」で早期に止めない

• テストの最中に何度も結果を確認し、有意差が出た瞬間に止めてしまう進め方には注意が必要です。データが集まる途中の数字はまだ揺れているため、たまたま有意になった一瞬で打ち切ると、本当は差がないのに差があると誤判定する確率が高まります。対策は、サンプル数とテスト期間を事前に決め、そこに達するまでは判定しないことです。あらかじめ「いつ判定するか」をチームで共有しておくと、途中の数字に一喜一憂して早く止めたくなる衝動も抑えやすくなります。

2. 複数の指標やセグメントから「有意なもの探し」をしない

• 「全体では差がないが、スマートフォンだけ、あるいは20代だけなら有意」というように、指標やセグメントをいくつも見比べて、たまたま有意になった1つを採用するのは危険です。比べる数が増えるほど、本当は差がないのに偶然有意になる組み合わせも増えるからです（多重比較と呼ばれます）。対策は、テストを始める前に「何を主要な指標にするか」を1つ決めておくことです。サブの指標は参考にとどめ、結果を見てから都合のよい切り口を後付けで探さないようにすると、誤判定を防げます。

3. 有意差が出ないときは無理に結論を急がない

• 有意差が出ない背景には、「差が小さい」「サンプルが足りない」「そもそも2案に差がない」という複数の可能性があります。これらを切り分けずに、無理に勝ち負けを決めるのは避けましょう。差が小さいと分かったなら、より大きな変化を生む仮説に作り直すなど、次の一手につなげる判断のほうが建設的です。「有意差が出なかった」という結果自体を仮説の手がかりとして記録しておけば、次のテスト設計に活かせ、検証は前に進みます。

LP全体でABテストを実践する手順については、以下の記事もございますので、あわせてご参照ください。
ABテストで最適なLPを｜基本的なやり方から徹底解説

06｜Squad beyondで有意差の検証まで効率化する

有意差を正しく判定するには、十分なデータを、条件をそろえて集める必要があります。とはいえ、テストパターンの作成・配信・集計を別々のツールで行うと、手間がかかるうえに集計の抜け漏れも起きやすくなります。

Squad beyondは、記事LPやスワイプLPの作成から配信、ABテストまでを一つの環境で完結できるプラットフォームです。なかでもABテストは中核機能の一つで、作成したLPは一つのリンクを発行するだけで、ワンクリックでABテストを開始できます。テストの設計から結果の確認までを同じ画面で進められるため、有意差を見極めるための土台づくりにかかる工数を抑えやすくなります。

こうした効率化の仕組みもあり、Squad beyondは国内ネット広告媒体費の約30%で活用されています。（参考：株式会社Squadプレスリリース）

有意差を確認したあとのCVR改善の進め方については、以下の記事もございますので、あわせてご参照ください。
CVRを改善する方法とは？具体的な施策とおすすめツールを紹介

07｜ABテストの有意差についてよくある質問（FAQ）

08｜まとめ

ABテストの有意差とは、A・B2案の差が、偶然のばらつきでは説明しにくいほど大きいと統計的に判断できる状態のことでした。判定では、有意水準とp値、信頼区間と信頼度、必要なサンプル数という3つの観点が土台になります。

実務では、計算ツールや表計算ソフト、ABテストツールの自動判定を使えば、統計に詳しくなくても結果を読み取れます。一方で、テスト途中の覗き見やサンプル不足のままの判定は、結論を誤らせる原因になります。

検出したい差からサンプル数と期間を先に決め、集まりきってから判定する。この手順を守るだけで、判断の確からしさは大きく変わります。まずは手元のテストで、必要なサンプル数を見積もるところから始めてみてください。

｜広告運用ノウハウ公開中！

より詳しく知りたい方は資料をダウンロード！