事例で学ぶ失敗のないABテスト　準備のコツや結果の判断基準、テスト中の注意点を解説

Web 広告の効果を最大化するために欠かせない手法のひとつが AB テストです。しかし、AB テストを実施しても、結果の分析や正しい判断ができないという悩みを持つ運用者も多いのではないでしょうか？

「どのパターンが本当に効果的だったのか？」
「なぜ期待した結果が得られなかったのか？」
キーワードマーケティングでも、これらの疑問をよくお問い合わせいただきます。

そこで今回は、AB テストの基本から成功するための具体的なステップ、よくある AB テスト失敗例と注意点、結果を正しく分析／判断する方法までを実際のケーススタディも交えながら徹底解説します。

AB テストを単なる「試行錯誤」から「確実な成果を生む戦略的ツール」へと昇華させる方法を一緒に学んでいきましょう。

広告における AB テストとは

AB テストとは、ベースパターン（A）と、テストパターン（B）を用意して同時に施策を実施し、どちらのほうが成果がでるかを判断するテスト手法です。ベースパターンには現状ある程度成果が出ているものを、テストパターンにはベースパターンのうち任意の一要素（画像やテキスト、配信設定など）を変えたものを用います。

後述しますが、新しいテストパターンの A と B を用意して、どちらの成果がいいかを判断するテストではないので注意しましょう。

AB テストの基礎を押さえたい方は、以下の記事もあわせてご覧ください。

AB テストは効果の可視化と最大化、リスクの軽減のために重要

Web 広告において、 AB テストをおこなわなければならない理由には「効果の可視化」と「効果の最大化」、「リスクの軽減」の3つがあります。

効果の可視化

ある仮説に基づいて広告の要素の AB テストをおこなうことにより、広告のどの要素がパフォーマンスに影響を与えているのかを可視化できます。

例えば、自社サービスの強みを価格だと思い込んで価格訴求のクリエイティブのみで運用したものの、顧客開拓がなかなか広がらないという悩みはよくあります。

こうしたときに他の訴求の広告クリエイティブを追加して AB テストをおこない、価格以外の訴求でどれくらいユーザーを獲得できるのかを可視化することで、顧客開拓もスムーズに展開できることがあります。

効果の最大化

AB テストを通して、どの広告やランディングページで配信すると高い投資対効果を生むのか把握することで、限られた予算で最大の成果を出せるようになります。

リスクの軽減

ランディングページやクリエイティブの訴求など、広告の大きな変更をおこなう際のリスクを軽減する方法としても、AB テストは効果的です。

小規模な AB テストをおこなって効果の高い戦略／戦術を採用することで、最小限のリスクで大きな効果を期待できます。

AB テストには「鉄板」や実施に適したタイミングがある

正しい AB テストの秘訣を教える前に、まずは AB テストについて以下の4つの基本を紹介します。

• 広告の成果改善につながる「鉄板」の AB テスト
• AB テストで重視される指標一覧
• AB テストをおこなうのに適した頻度
• AB テストに適したタイミング

まずはこれらの要素を押さえて、AB テストそのものに対する知識を深めましょう。

広告の成果改善につながる「鉄板」の AB テスト

Web 広告においては、成果改善に繋げるために以下の要素で AB テストが用いられます。

• 広告クリエイティブ
• 広告テキスト（見出し、広告文など）
• 入札戦略
• 広告のランディングページ

特に AB テストがよく用いられるのは、広告クリエイティブやランディングページの検証です。検証したい仮説を立てたうえで、2つの広告クリエイティブやランディングページを同時に配信して結果を比較し、クリック率やコンバージョン率の差などで仮説を実証していきます。

AB テストで重視される指標一覧

AB テストを実施する際、テストしたいものをただ闇雲に配信して、結果数値を眺めていても意味がありません。テストしたい内容に沿って比較する指標を注視し、正確に結果の良し悪しを判断する必要があります。

それでは、どんなときにどの指標を見ればいいのでしょうか？AB テストのパターン別に重視すべき指標をまとめてみました。

AB テストパターン	重視すべき指標	指標の見方
新しいクリエイティブの ユーザー反応を見たいとき	クリック率（CTR）	クリック率が高い方が よいクリエイティブ
	クリック単価（CPC）	クリック単価が低い方が よいクリエイティブ
ランディングページの ユーザー反応を見たいとき	コンバージョン率（CVR）	コンバージョン率が高い方が よいランディングページ

AB テストをおこなうのに適した頻度

AB テストを実施する頻度については、一概にこれくらいの頻度でおこなえばいいという基準はありません。

後ほど解説しますが、テスト結果を十分なデータが判断するのにたまるまでに必要な時間は、アカウントや商材、予算など配信状況によってさまざまです。結果を分析するのに十分なデータが蓄積されるまで、我慢の期間は必要です。

AB テストに適したタイミング

AB テストを実施するのに適切なタイミングは大きく以下の2つに分けられます。

1. クリエイティブやランディングページの新たな訴求方針を検討するとき
2. クリエイティブやランディングページ、配信設定を大幅に変更する前にテストしたいとき

1. クリエイティブやランディングページの新たな訴求方針を検討するとき

1つは、成果改善のためにクリエイティブやランディングページの新たな訴求方針を検討するときです。

広告成果が停滞気味になったとき、クリエイティブやランディングページの訴求を刷新することで成果を改善ができます。このとき、AB テストを正しくおこなうことで、新訴求によって成果が改善したか正しく判断できます。

2. クリエイティブやランディングページ、配信設定を大幅に変更する前にテストしたいとき

もう1つは、クリエイティブやランディングページ、配信設定を大幅に変更する前にテストしたいときです。

広告配信において、あらゆる場面で変更を加えることは必ずしもよい結果につながるとは限りません。変更した結果、成果が悪くなる場合もあります。

このような変更を大規模におこなって大幅に成果が悪化してしまうリスクを回避するために、小規模に AB テストをおこなうことによって、ある程度確信をもって変更を加えられるようになります。

事例で学ぶ AB テストのよくある失敗と防止策

AB テストは、正しくおこなえば非常に効果的ですが、間違ったやり方でおこなってしまうとなんの検証結果も得られず、ただ費用を無駄に使ってしまうことになります。

失敗を回避するためにも、AB テストのよくある失敗をチェックしておきましょう。

失敗1：明確な目的がなくテストをおこなってしまった

最初に紹介する失敗例は、目的があやふやなまま AB テストをおこなったというものです。皆さんも、以下のように目的もなく AB テストをおこなってしまった経験はないでしょうか？

・なんとなくテストしてみたいからする
・上司やチームに指示されたからテストしてみる

こうしたあいまいな目的で実施しても、結果から有益な情報を抽出できず、AB テストが失敗に終わってしまいます。AB テストでは、必ず検証したい仮説を明確にしましょう。

例えば、ランディングページのファーストビューについてテストしたい場合は目を付けるべき指標を明確にしておきましょう。その際には、コンバージョン率が上がることを期待しているのか、ユーザーの滞在時間が長くなることを期待しているのかなど、どんな効果を見込んでいるのかを明確にしましょう。

失敗2：配信期間をずらしてしまった

2つ目の失敗例は、配信期間に関するものです。以下のように、AB テストの期間をずらして配信したことで、まったく同じ条件での検証ができませんでした。

パターン	配信期間
ベースパターン（A）	月の前半2週間で配信
テストパターン（B）	ベースパターンの配信完了後、月の後半2週間で配信

パターン A と B が同じ条件下にないと、正しい比較はできず、有益な検証結果も得られません。仮にパターン A の方が成果が良かったとしても、この商材自体が月前半に成果が上がりやすいとすると、同じ期間にパターン B を配信していた方がもっと成果は良くなっていたかもしれませんよね。

公平で正確な比較をするためにも、AB テストはパターン A とパターン B を同時に配信することを徹底しましょう。

失敗3：ダラダラと配信を続けてしまった

最後に紹介する失敗例は、以下のような考えからダラダラと配信を続けてしまったというものです。

・どのくらい配信したら優位な結果といえるか分からないし、もう少し配信してみよう
・今回の結果はたまたまかもしれないから、もう少し配信を続けて様子を見よう

迷う気持ちは分かりますが、このように配信をダラダラと続けていると、いつまでたっても有益なテスト結果を得られません。

また「追加したテストパターンの方が絶対良い成果が出るはず」と思い込んで、テストパターンの成果が良くなるまでテスト期間を延ばし延ばしにする事例もありますが、これも正に失敗例です。

AB テストをおこなう際はテスト期間を決めるだけでなく、期間が終わったら速やかにテストを終了し、テスト結果を真摯に受け止めて次につなげることも大切です。

3つのポイントを押さえた準備が、AB テストの成功を左右する

AB テストの成功は、実施前の準備に大きく依存しています。準備段階で重要なポイントは、大きく以下の3つに分けられます。

• AB テストをおこなうときは、目的を明確に
• 検証したい部分以外はなるべく要素をそろえる
• 条件をそろえ、なるべく手を加えず、期限を決めて配信する

ここでは3つの分野それぞれで重要なことについて、一つ一つ解説していきます。

1. AB テストをおこなうときは、目的を明確に

AB テスト用のクリエイティブやランディングページを作り始める前に、何のためにこの AB テストをおこなうのかをはっきりさせておきましょう。以下のように検証したい仮説を立てて、どうなったら成果の良し悪しを判断できるのかを事前に決めておくことが大切です。

▼クリエイティブを検証する場合
A の訴求のクリエイティブで成果が良いが、B の訴求でクリエイティブを作った方がユーザーからの反応がいいのではないか？

▼ランディングページを検証する場合
ランディングページのアクションボタンは赤色だが、青色の方が目立ってコンバージョン率が高くなるのではないか？

また、例で「A の訴求のクリエイティブで成果が良いが、」や「ランディングページのアクションボタンは赤色だが、」としましたが、AB テストにおいて A は従来のもの、B は新しく試すものです。新しい A と B を用意して、どちらがいいかを判断するためにテストするというのは、本来の AB テストの使い方ではありません。

2. 検証したい部分以外はなるべく要素をそろえる

テストしたい内容を実際にクリエイティブやランディングページなどの見た目に落とし込むときは、検証したい部分以外はなるべく要素をそろえることを意識しましょう。

例えば不動産の広告について、以下の仮説に基づいて AB テストをおこなうとします。

【仮説】
今までクリエイティブには価格訴求のみを掲載していたが、不動産の近隣情報を載せた方がユーザーの反応がいいのではないか

この場合、テストするバナー内のテキストは「OK 例」のように価格部分と周辺情報部分のみを変更し、その他のテストに関わらないテキストやデザインは変えてはいけません。

「NG 例」のように検証部分以外のテキストやデザインを変えてしまうと、その部分が要因でテスト結果が変わってしまうことがあり、正確な検証ができなくなってしまいます。

3. 条件をそろえ、なるべく手を加えず、期限を決めて配信する

仮説立てとクリエイティブ作成まで完了したらあとは配信するのみです。しかし、この配信段階にも以下の3つの注意が必要です。

1. 検証したい要素以外は、すべて条件をそろえる
2. テスト中はどちらのパターンもなるべく手を加えない
3. ゴールを決めてからテストを実施する

1. 検証したい要素以外は、すべて条件をそろえる

検証したい要素以外はすべて条件をそろえることが、正しい AB テストへの第一歩となります。地域やユーザー属性、配信時期など検証に関わらない箇所はすべて配信条件をそろえておきましょう。

特に、配信時期をそろえるのはとても重要です。「よくある失敗と防止策」でも紹介しましたが、パターン A と B を同じ条件下で同時に配信することで、より公平で正確な比較ができます。

2. テスト中はどちらのパターンもなるべく手を加えない

AB テスト実施中はなるべく手を加えず、自然に配信されていることを監視しましょう。変化の要因をできる限り AB テストの内容だけにするために、AB テスト中は以下のような変更を極力加えないことが大切です。

• 入札価格を変える
• 配信対象のターゲットを変える
• 広告、ランディングページともにテストに関連しない部分を変える

3. ゴールを決めてからテストを実施する

AB テストの際はただやみくもに配信するのではなく、ゴールを決めておきましょう。どの時点でテストを終了し、結果の良し悪しを判断するのかを事前に決めておきましょう。

ゴールの決め方は媒体やテスト内容にもよりますが、「AB どちらもクリック数が500以上になった時点で終了」と数で区切るやり方や「2週間配信したら終了する」と期間で区切るやり方があります。

AB テストで使いたい、主要4媒体の便利機能

準備を終えたら、いよいよ AB テスト実践です。

各広告媒体には AB テストの実施を補助してくれる便利な機能があります。ここでは、その代表的なものとして Google、Yahoo! ディスプレイ、Microsoft、Meta で使える機能を紹介します。

各機能を駆使して、AB テストを成功に導きましょう。

Google 広告：[テスト]（旧称：下書きとテスト）

Google 広告では、キャンペーンや広告クリエイティブを複製し、その1要素を変更したうえで同時配信し、均等な配信比率で配信してくれる[テスト]機能が存在します。

まったく同じキャンペーンや広告クリエイティブを手動で複製する方法とは違い、成果が良い方に配信が偏ることなく十分なテストデータを A/B 両パターンに均等に蓄積できます。また、同一アカウント内で競合することがなくなるため、クリック単価が上がってしまう問題も回避できます。

さらに、事前に検証したい指標を登録しておくことで、管理画面上でその指標を簡単に比較することもできます。詳しい機能は以下の公式ヘルプをご覧ください。

参考：[テスト] ページ（旧称: 下書きとテスト）について｜Google 広告ヘルプ

Yahoo! ディスプレイ広告：A/B テスト

Yahoo! ディスプレイ広告にも、Google 広告と同様に AB テストを簡単に実施できる「A/B テストツール」が用意されています。画面右上の「ツール」箇所をクリックすると確認できるので見てみましょう。

2つのキャンペーンを入稿後、この「A/B テストツール」を起動して A/B テスト対象と指定することで、テスト期間中の配信量を均等に分配してくれます。

こちらも詳しくは媒体の公式ヘルプページを参照してください。

参考：A/Bテストについて｜Yahoo! 広告ヘルプ

Microsoft 検索広告：実験機能

Microsoft 検索広告にも、AB テストを補助する「実験」機能が用意されています。これも Google、Yahoo! と同じく、元のキャンペーンに影響を与えず新キャンペーンと配信を分割できます。

実験機能の用途としては、以下のようなものが挙げられます。

• 異なる入札戦略の配信をテストするとき
• 異なるオーディエンスへの配信をテストするとき
• 異なるネットワークへの配信をテストするとき
• 異なる広告文や広告表示オプションをテストするとき

こちらも詳しくは媒体の公式ヘルプページを参照してください。

参考：テスト方法の例とヒント｜Microsoft Advertising

Meta 広告：A/B テスト

Meta 広告にも、各媒体同様の「A/B テスト」ツールが存在します。

これを使うと、元のキャンペーンを簡単に複製し、クリエイティブやオーディエンス、配置など検証したい変数に合わせて検証結果を簡単に比較できるようになります。

公式からアナウンスもある通り、手動での AB テストはオーディエンスが被る可能性があるため非推奨となっていますので、AB テストをおこなう際はこの機能を使うようにしましょう。

こちらも詳しくは媒体の公式ヘルプページを参照してください。

参考：A/Bテストについて｜Metaビジネスヘルプセンター

プロが教えるテスト結果の見方と、特殊な結果への対処法

AB テストが終了したら、準備時に決めた仮説に基づいて結果を分析し、なぜそうなったのかを考察します。ここで大事なのは、当初決めた判断基準をぶれないようにすることです。

例えば、AとB どちらのパターンでユーザーの反応が良いか、クリック率で判断すると事前に決めた場合は、その AB テストはどんな結果であれクリック率を基準に判断するべきです。

しかし、実際の結果を見ると本当にその判断でいいのか不安になる配信結果もありますよね。そこで、最後に以下の商材と検証内容、判断基準で検証した場合を例に、AB テストの結果の特殊例とその対処方法を2つ紹介します。

商材	新築分譲マンションの資料請求、来場予約
前提条件	もともとマンションの外観と価格の表示だけのクリエイティブで 配信していた
検証したい仮説	マンションの周辺情報を訴求したクリエイティブの方が興味を持って もらえてクリックされやすいのではないか？
検証する広告	A）マンションの外観と価格のみ記載したクリエイティブを使用したもの B）訴求内容をマンションの周辺情報に変更したもの
判断基準	クリック率

▼以下のクリエイティブを使って AB テストをおこなったと仮定

1. クリック率とコンバージョン率の良し悪しが逆転しているときは、それぞれの「背景」を考察する

まずは、クリック率とコンバージョン率の良し悪しが逆転している場合の対処法です。

項目	ベースパターン	テストパターン
クリエイティブ
訴求	価格訴求	周辺情報訴求
クリック率	0.30%	0.50%
コンバージョン率	0.30%	0.20%

上記のような場合、AB テストの結果的には周辺情報訴求のバナーの方が成果がよいといえる一方、コンバージョン成果を追い求める Web 広告運用においては価格訴求バナーの方を残しておきたいです。

この例のような場合、クリック率が良かった理由とコンバージョン率が良かった理由をそれぞれ考察することで活路が見出せます。

例えば、周辺情報訴求の方がクリック率が高く、コンバージョン率が低かった理由は、以下のような背景があったのからと考えられます。

テスト結果	考えられる背景
クリック率が高かった	「こんな便利なところに住めたらいいな」と興味本位でクリックする人が多かった
コンバージョン率が低かった	遷移したページ内で価格などの情報を見てあきらめた人が多かった

逆に価格訴求の方がクリック率が低いもののコンバージョン率が高かった理由は、以下のような背景があったからだと考えられます。

テスト結果	考えられる背景
クリック率が低かった	バナーに記載された価格を見て「自分に見合っていない」とスルーする人が多かった
コンバージョン率が高かった	価格面の条件をある程度クリアした人がページに遷移していた

このような考察をしたとき、以下のようなネクストアクションを考えることができます。

• 価格情報の記載はマストにしてコンバージョン率を維持し、より興味を持ってもらえるように周辺情報などのサブ情報を併記することをテンプレート化する
• 併記するサブ情報はどんなものが良いか、さらにテストしてみる

AB テストをおこなった際は、単純な成果比較や取捨選択だけでなく、結果から得られる考察を深くしていくことで有意義なネクストアクションにつなげることができます。

2. 配信量に差がありすぎるときは「継続」か「さかのぼる」ことを視野に

続いては、ベースパターンとテストパターンで配信量に差がありすぎる場合の対処法です。

昨今、各広告媒体で AI の発達が進み、より成果が良くなると媒体に評価されたクリエイティブに配信が偏るようになっています。そのため、テスト初動に成果の偏りがあれば、このような偏った配信結果が出てくることがあります。

ここでは、冒頭で紹介した前提条件で AB テストをおこなった結果、次のような数値が集計されたとして考えてみましょう。

項目	ベースパターン	テストパターン
クリエイティブ
訴求	価格訴求	周辺情報訴求
表示回数	333,333	2,000
クリック数	1,000	10
クリック率	0.30%	0.50%

この場合も、クリック率だけで見れば周辺情報訴求のバナーの方が勝ちクリエイティブといえます。しかし、表示回数とクリック数ともに2桁もの差があり、統計的に正しい結果といえるのか疑問です。

このような場合のネクストアクションとしては以下の2つが考えられます。

1. テストを継続する
2. 配信量の偏りが出るタイミングまで遡って結果を判断する

1. テストを継続する

まず1つ目のアクションは「テストを継続する」です。周辺情報訴求のデータの信頼度が高まるまで十分にデータが溜まってから再度判断します。

どのくらいデータが溜まれば信頼度が高くなるのかという判断については、無料の信頼度判定ツールが公開されているため、ぜひ使ってみてください。

ちなみに、キーワードマーケティングでは独自に母数の目安のラインを300としており、そこからテスト内容や配信規模によって数値を前後させて運用しています。

2. 配信量の偏りが出るタイミングまで遡って結果を判断する

もう1つ考えられるアクションは、「配信量の偏りが出るタイミングまで遡って結果を判断する」です。つまり、配信量が多くなっている方のクリエイティブは、配信量が偏り始める前に、他方のクリエイティブより成果が良いのかを確認するということです。

もし配信量が多くなっている方が、配信量が偏る前にもクリック率が高いのであれば、そちらを採用した方が良いでしょう。

AB テストにも深い考察が必要

AB テストは2つのパターン違いのクリエイティブを同時配信し、成果比較すればいいと思い込んでいる運用者も少なくありません。しかし、昨今の広告業界では運用状況も複雑化してきており、単純な成果比較だけでは判断しきれないことも多くなっています。

どんな結果が出ても冷静に事実として受け止め、ただ数値を眺めるだけで終わることなく、深く分析・考察できるように心がけましょう。