ABテストでB案の申込率が高く見えたため、配信3日目で採用しました。翌週には差が消え、「今度は有意差がないから二案は同じ」と結論づけました。どちらも、数字の読み方を誤っています。
ABテストとは、対象者を複数案へ無作為に割り付け、事前に決めた指標の差を比べる対照実験です。新規事業ではアクセスが限られ、顧客像や価値提案も変わります。始める前に、どの差が出たら事業判断を変えるのか、必要数を現実的な期間で集められるのかを確かめます。
この記事の対象は、ABテストで分かること、使うタイミング、7段階のやり方、サンプル数の計算、指標と比較案、p値を含む誤読、低トラフィック時の代替手段です。
ABテストとは｜分かること・分からないこと
新サービスのLPで見出しだけを変え、A案とB案を同じ時期・同じ対象条件で比べる実験です。資料請求完了率に差が出れば、見出しとの関係を読みやすくなります。価格、フォーム項目、ボタン位置まで変えると、何が数字を動かしたか絞れません。
ABテストは、A/Bテスト、スプリットテストとも呼ばれます。Aを現行案、Bを変更案として対象者を無作為に分け、同じ定義で指標を測る手法です。
答えられるのは、「どちらの案が、定義した対象者・期間・指標を動かしたか」までです。顧客課題の有無、市場全体の将来性、継続利用、利益を、一度の比較で証明することはできません。
AIで訴求案を複数作った場合も、どの案が行動を変えるかは生成物の見栄えでは決まりません。ABテストは、案出しの後に一つの差を確かめる工程です。
新規事業でABテストを使うタイミング
顧客像も価値提案も定まっていない段階で二つのコピーを比べても、「誰に何が響いたか」を解釈できません。ABテストが向くのは、比較案、対象者、計測する行動、結果後の分岐が決まった場面です。
LPの訴求、申込フォーム、料金ページの表現、メール件名のように、変える要素を限定できる対象が向いています。一方、二案が未熟、対象者が少ない、営業説明がそろわない、成果まで長い場合は向きません。
BtoBの受注には担当者の介在や企業差が混ざります。LPの訴求を比べるなら、フォーム完了を一次指標、受注を追跡指標に分けます。
開始前に、次の5問へ一文で答えてください。
- 誰に対する、どの前提を確かめるのか
- A案とB案で変える要素は何か
- 一次指標と、悪化させてはいけない指標は何か
- どの差なら意思決定を変えるのか
- 勝ち、負け、判定不能のとき、それぞれ何をするのか
答えられなければ、比較開始より探索を優先します。
ABテストのやり方｜判断から逆算する7段階
案を作って配信した後で停止条件を考えると、都合のよい差が出た瞬間に止めたくなります。判断文、仮説、一次指標、最小検出差、必要数、停止条件は、始める前に決めておきます。
- 結果後の判断を書く：B案が決めた差以上改善し、保護指標を悪化させなければ切り替える、とします。負け・判定不能の行動も決めます。
- 比較可能な仮説にする：「価値が伝わる」ではなく、誰に何を示すと、どの行動が変わるかを書きます。
- 指標を固定する：一次指標は一つ。相談完了率なら、対象外企業の申込率や辞退率を保護指標にします。
- 最小検出差と必要数を決める：現状値、有意水準、検出力、配分から計算します。
- 割付と計測を確認する：個人、企業、アカウントの割付単位、除外条件、社内アクセスを固定します。
- 停止条件まで走らせる：途中の勝ち負けで主判定せず、障害や顧客不利益による中止条件を別に置きます。
- 判定と採否を分ける：差の大きさ、実装費、保護指標、他の証拠を合わせて採否を決めます。
確認は、開始前・中止時・終了後の3時点です。開始前は事業判断者と計測責任者、中止時は事前に定めた責任者、終了後は分析担当と事業判断者が担います。兼務しても、開始・中止・採否の承認者を記録してください。
実験ログには、担当者、仮説、案、期間、割付、指標、必要数、停止条件、集計条件、結論、次の行動を残します。価格、個人情報、顧客データを扱う場合は、自社規程に沿って確認部門と時点を決めます。
ABテストのサンプル数を決める5条件
「各案100人で十分」「最低1,000アクセス」といった固定値は使えません。ABテストの必要数は、現状の指標値、検出したい最小差、有意水準、検出力、A案とB案の配分で決まります。
計算条件を先に固定する
入力 | 意味 | 実務で確かめること |
|---|---|---|
現状値 | A案で起きている行動の比率 | 過去の同条件データがあるか |
最小検出差 | 判断を変える最小の差 | 率の差か、相対的な改善率か |
有意水準 | 誤って差ありと判定するリスクの上限 | 片側か両側かを事前に決めたか |
検出力 | 実在する差を検出する確率 | 見逃しリスクをどこまで許容するか |
配分 | A案とB案へ割り付ける比率 | 顧客影響から偏りが必要か |
ABテストの条件例から必要数を計算する
二つの比率を同数で比べる近似計算では、A案の比率を (p_1)、B案を (p_2)、両者の平均を (\bar{p}) とし、各案の必要数 (n) を次の形で求めます。
[ n \approx \frac{\left{z_{1-\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}+z_{1-\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)}\right}^2}{(p_2-p_1)^2} ]
この式は、決めた差が本当にあるとき、それを見落とさずに検出するには各案で何件必要かを求めるものです。分子の(z_{1-\alpha/2})と(z_{1-\beta})は、有意水準5%・検出力80%といった決めごとを数値に置き換えた値で、条件を厳しくするほど大きくなります。続く平方根は結果のばらつきの大きさ、分母の((p_2-p_1)^2)は見つけたい差です。ばらつきが大きいほど、差が小さいほど、必要数は増えます。A案の完了率10%、B案12%、両側有意水準5%、検出力80%、二群同数と置くと、必要数は各案3,841件、合計7,682件です。2ポイント差と、10%から12%への相対的な20%増加を混同しないでください。
同じ現状値10%でも、13%までの差を対象にすれば各案1,774件です。小さな差を拾うほど必要数は増えます。
ABテストの必要数を実施期間へ換算する
必要数7,682件に対し、実験対象として計測を完了する単位が1日100件なら、76.82日分です。欠測や曜日差を考えると、必要期間はさらに延びます。
これはアンケートで母比率を一定の誤差幅で推定する計算とは別です。目的も入力も違うため、少数のインタビュー件数をABテストの有意差判定へ流用できません。
ABテストの指標と比較案を設計する
見出しを変えた実験で受注率を一次指標にすると、営業担当の説明や企業差が混ざります。変更点から近く、事業判断へつながり、同じ定義で計測できる行動を選びます。
確かめたい前提 | A案とB案の差 | 一次指標 | 保護・追跡指標 |
|---|---|---|---|
顧客は機能数より工数削減を重視する | LPの主見出しだけ変える | 相談フォーム完了率 | 対象外申込率、商談化率 |
詳細資料の閲覧が相談判断を助ける | 料金説明後に資料導線を置くか | 資料閲覧後の相談開始率 | 離脱率、問い合わせ内容 |
入力負荷が申込を妨げている | 必須項目数を減らす | フォーム完了率 | 情報不足による対応不能率 |
クリック率が上がっても、相談の質や継続利用が下がるなら採用理由にはなりません。広告経由と既存顧客、利用者と決裁者を混ぜず、主要な対象層を事前に決めます。結果を見てから見つけた層別の差は、次の仮説として扱います。
ABテスト結果で起きる5つの誤読
数字が出た後こそ、事前の計画に立ち返ります。p値、途中経過、複数指標を都合よく読むと、偶然の差を採用しやすくなります。
p値が5%未満でもB案が勝つ確率は95%ではない
p値は、帰無仮説と分析上の前提を置いたとき、観測値以上に極端な結果が出る確率です。B案が正しい確率ではありません。American Statistical Associationの2016年声明も、p値だけで仮説の確率や結果の重要性は測れないと説明しています。
有意差なしは二案が同じという証明ではない
差が小さい、サンプル不足、ばらつき、計測欠落のいずれでも有意差なしになります。同等と判断するなら、許容差を事前に決めてください。「勝てなかった」と「同じだった」は別です。
途中で勝った瞬間に止めない
固定期間・固定サンプルの設計なら、終了条件まで待ちます。途中判定を使う場合も、確認時点と停止規則を先に決めます。
指標と案を増やすほど偶然の差を拾いやすい
複数の指標、層、案を調べ、差が出たものだけ報告すれば、偶然の差を拾いやすくなります。主判定は事前に決めた一次指標へ限定し、他の差は次の実験で確かめます。
統計上の差と事業上の価値は別
大きなサンプルでは、小さな差も統計的には検出できます。実装費や顧客影響に見合わなければ変更しません。保護指標が悪化した案も、採用を急がないでください。
ABテストに必要な流入がない場合の検証
先に計算した必要数を集める間に、顧客像、商品、集客経路が変わります。そんな計画では、最後まで同じ条件で比較できません。顧客インタビュー、利用観察、コンセプト提示、小規模販売へ問いを分けます。
顧客課題は過去行動のインタビュー、操作のつまずきは利用観察、価値提案は選択理由、支払い意思は事前予約や小規模販売で確かめます。どれもABテストの代用品ではなく、異なる問いに答える手段です。
流入が少ないから判定基準を甘くしてはいけません。現状値と最小検出差から必要数と期間を見積もり、その間に事業条件が変わる、または必要数を集められないなら、別の手段へ切り替えます。
まとめ｜ABテストは差の前に判断を決める
ABテストは、二案を同じ条件で比べ、一つの変更が行動へ与えた影響を推定する手法です。新規事業では、サンプル数より先に「どの差が出たら、何を変えるか」を決めます。
対象者、比較要素、一次指標、保護指標、最小検出差、必要数、停止条件、結果後の分岐を開始前に記録してください。結果はp値だけでなく、差の大きさ、推定の幅、計測の健全性、顧客影響、実装負荷と合わせて読みます。
必要数が集まらなければ、その時点で答えられる問いへ戻ります。薄いデータで勝敗を急ぐより、検証手段を変えるほうが次の判断は明確です。