Meta広告のABテストのやり方。何件貯まれば勝ち負けを判定できるか

2つのクリエイティブを並べて配信し、3日後にCVが多かったほうを残す。Meta広告の運用で、よく見る判断です。

ただ、その3日間でCVが5件と8件だったとしたら、差は偶然で説明できてしまいます。翌週にはあっさり逆転することもある。勝ったと思って残した広告が、実は負けていた、ということは珍しくありません。

この記事では、ABテストを正しく判定するために、何件のCVが必要か、どのくらいの期間を取るべきかを、簡単な計算とあわせて整理します。クリエイティブを何本作り、どの軸を変えるかはクリエイティブの本数の記事で書いているので、ここでは「どう判定するか」に絞ります。

ABテストの前提：変えるものは1つだけ

ABテストで比べるのは、1つの違いが結果にどう影響するかです。画像と見出しを同時に変えると、差が出ても、どちらが効いたのか分かりません。

同じ理由で、予算、配信期間、オーディエンス、配置も、AとBでそろえます。Aだけ予算が多い、Bだけ週末を含む、という状態では、クリエイティブの差なのか条件の差なのかを区別できません。

Meta広告でABテストをする2つの方法

テスト機能を使う

Meta広告の管理画面には、配信対象を重ならないように分けて比べるテスト機能があります。同じ人にAとBの両方が表示されるのを防げるので、比較の条件はそろいやすくなります。名称や場所は時期によって変わりますが、「配信対象を分けて比べる」という仕組みを探してください。

同じ広告セットに並べる

1つの広告セットにAとBの広告を入れて配信する方法です。手軽ですが、Metaが反応の良いほうに表示を寄せていくので、表示回数に差がつきます。この場合は、CV数ではなく、表示回数やクリック数あたりのCVの率で比べます。

勝ち負けを判定するのに必要なCV件数

CVの件数は、偶然でも増えたり減ったりします。AとBの差が偶然の範囲を超えているかどうかは、次の計算で目安をつけられます。

具体的な数字に当てはめるとこうなります。

20件と30件なら、Bが1.5倍に見えても、まだ偶然で説明できます。40件と60件まで貯まって、ようやく差があると言える水準です。

差の大きさ別の必要件数

逆に、どれくらいの差を見つけたいかから、必要な件数を出すこともできます。

小さな差を見つけるには、桁違いの件数が要ります。1.2倍の差を確かめるには、片側だけで200件以上。CPAが5,000円なら、片側だけで100万円以上の広告費です。

この計算は目安です。厳密な統計の検定とは違いますが、「3日で5件と8件」のような判断を避けるには十分に使えます。

期間は最低7日取る

件数が早く貯まっても、期間は最低7日取ります。

曜日によって、見ている人も、反応のしかたも変わるからです。BtoBなら平日の昼に反応が集まり、個人向けなら週末に伸びることがあります。月曜から水曜だけで判定すると、週末に強いクリエイティブを見落とします。

また、配信を始めた直後は学習の途中で、数字が安定していません。テストを始めた直後に判定を急がないほうがいい理由は、初動1週間の記事でも触れています。

何からテストするか

前の章の計算から分かるとおり、小さな差を確かめるのは高くつきます。だから、テストするのは結果が大きく変わりそうなものから始めます。

1. オファー：無料診断か資料請求か、初回割引か送料無料か。何を差し出すかで、CVの数は数倍変わることがある
2. 訴求の軸：価格で訴えるか、時間の節約で訴えるか、失敗の回避で訴えるか
3. 形式：画像か動画か、1枚かカルーセルか
4. 細部：色、ボタンの文言、見出しの語尾

細部のテストは、差が小さく、判定に大きな件数が要ります。月のCVが数十件のアカウントで、ボタンの色を比べても、判定が出る前に季節が変わります。

CVが少ないアカウントでのテストの進め方

月のCVが数十件しかないアカウントでは、前の章の件数を満たすのに何か月もかかります。その場合は、次のように進め方を変えます。

差が大きいものだけをテストする

1.2倍の差を確かめる余裕はないので、2倍前後の差が出そうなもの、つまりオファーや訴求の軸の違いだけに絞ります。細部の調整は、テストせずに良いと思うほうを採用して構いません。

手前の数字で一次判定する

CVの件数が足りないときは、CVより件数の多い手前の数字（リンクのクリック数や、LPでの申込ボタンのクリック数）で、まず大きく負けているほうを外します。ただし、クリックが多いことと、CVが多いことは一致しないことがあります。最終的な判断は、CVが貯まってから行います。

期間を長く取る

件数が貯まるまで、2週間、3週間と期間を延ばします。その間は、他の設定を変えないことが条件です。途中で予算やオーディエンスを変えると、前半と後半で条件が変わり、比較が成り立たなくなります。

よくある失敗

差が出た瞬間に止める

毎日数字を見て、差がついたところで止めると、偶然の差を拾う確率が上がります。必要な件数と期間を先に決めておき、それまでは判定しません。

AとBの予算や期間がそろっていない

Aは先週、Bは今週、という比較は、クリエイティブの差ではなく週の差を見ています。同じ期間に並べて配信します。

負けた理由を記録しない

勝ったほうを残して終わりにすると、次のテストに学びが残りません。何を変え、どれだけ差が出たか、なぜそうなったと考えるかを1行でも残しておくと、次の仮説の精度が上がります。

テストの結果を次につなげる

勝ったクリエイティブは、そのまま使い続けるのではなく、次のテストの「A」にします。勝ったものを基準に、別の軸を1つだけ変えたBを作る。これを繰り返すと、少しずつ強いクリエイティブに近づきます。

ただし、勝ったクリエイティブもいずれ摩耗します。同じ人に何度も表示されると反応は落ちていくので、差し替えのタイミングはクリエイティブの摩耗の記事を参考にしてください。

まとめ：件数と期間を決めてから始める

• 変えるものは1つだけ。予算、期間、オーディエンス、配置はそろえる
• 判定の目安は「CVの差 ≧ 2×√（AとBのCVの合計）」
• 見つけたい差が2倍なら約12件、1.5倍なら約40件、1.2倍なら約220件が必要
• 期間は最低7日。曜日の揺れと学習期間を避ける
• テストはオファーと訴求の軸から。細部は件数が貯まるアカウントでやる

ABテストで一番大事なのは、始める前に「何件貯まったら、何日経ったら判定するか」を決めておくことです。決めずに始めると、判定はいつも、見たいものを見る方向に寄っていきます。