AB テストとは？精度の高いテストをするために必要な準備とポイントを知ろう

Web サイト運用担当者や広告運用担当者の方なら、一度は「AB テスト」という言葉を聞いたことがあるのではないでしょうか。

内容自体は単純なものですが、実は気を付けるべきことがたくさんあります。今回は AB テストの基本的な情報と、より有意義で効率的な AB テストをおこなうためのポイントを解説します。

弊社では記事で紹介する手順で AB テストをおこない、広告文の改善を実施、クリック率が2倍近くになりました。自社広告もしくはお客様の広告運用で伸び悩んでいる方は是非この記事を参考に AB テストをおこなってみてはいかがでしょうか。

AB テストとは

AB テストとは、既存の内容の A と、テストしたい内容の B を用意して同時に施策を実施しどちらのほうが成果がでるかを判断するテスト手法の一つです。

Web サイトや広告クリエイティブ（テキスト、画像など）の成果を良化させたいときや、リスク回避として大きく変更する前にマイナスの影響がないかを確認するためなどにおこないます。

基本的な流れ

AB テストの基本的な流れは以下の3つのステップでおこないます。1回のテストで終了する場合もあれば、目的によってはこの流れを繰り返していく場合もあります。具体的な内容や各段階で押さえるべきポイントは、「AB テストの手順とポイント」の章で詳しく説明します。

1. 準備（目標設定、現状分析、仮説設定、テスト内容決定など）
2. テスト実施
3. 結果分析（テスト内容の評価、結果の要因分析など）

 AB テストのポイント

AB テストを理解するうえで押さえておくべきポイントは、A と B の内容を同時に実施することです。

Aは従来のもの、Bは新しく試すもの

AB テストにおいて、A は従来のもの、B は新しく試すものです。つまり、現状ある程度成果が出ているもの（A）があって、それに対してチャレンジする（B）という考え方です。

新しい A と B を用意して、どちらがいいかを判断するために AB テストするというのは、本来の AB テストの使い方ではありません。

AとBは同時に走らせる

最初の1か月は A、次の1か月は B という方法でテストすると、テスト内容以外の要因（季節やタイミング）がテスト結果に影響してしまう可能性があります。A と B を同時に走らせることで、より公平で正確な比較ができます。

よくある AB テストの例

次によくあるテスト内容と弊社事例をご紹介します。インターネット上で AB テストをする場合、代表的なのは「広告クリエイティブ」のテストと「Web サイト・ランディングページ」のテストです。

広告クリエイティブの AB テスト

広告のテキストや画像の一部を変える AB テストをおこないます。既存の A 案と比較する B 案を用意するだけなので、Web サイト・ランディングページの AB テストよりも比較的簡単な場合が多いです。

AB テスト結果からクリック率2倍のクリエイティブを作成

セミナー商材のアカウントで、検索広告のクリック率を上げることを目的にテキストの AB テストをおこないました。

幅広く学べることを訴求する内容の A 案と、まったく知識がない人をターゲットにして「基礎から学べる」ということを訴求した B 案で比較しました。その結果、B 案のほうがクリック率が約2倍になりました。

Webサイト・ランディングページの AB テスト

Web サイト・ランディングページの一部を変えることで AB テストを行います。よくテストする部分を挙げると、CTA（アクションボタン）、メインメッセージ、メインイメージ、入力フォームの項目などです。

AB テストの結果から既存ページの優位性があると判断

無料体験がコンバージョンポイントのアカウントで、ランディングページのコンバージョン率を上げることを目的に AB テストを行いました。

無料体験後の料金体系の説明がない従来の A に対して、金額面の不安を取り除くために料金体系の説明を追加した B を作成しました。

こちらは結果的には A 案のほうが数値がよく、B 案はコンバージョン率が20％ほど低くなりました。この結果から、「コンバージョンポイントは無料体験なので、この時点で複雑な料金体系を見せると逆に混乱させるのではないか」という考えが導き出されました。

AB テストの手順とポイント

ここからは、実際に AB テストを行う際の手順を説明していきます。最初の章で説明した通り、手順は大まかに準備・テスト実施・結果分析の3段階です。また、それぞれのタイミングで気を付けるべきポイントがあるので、あわせて解説していきます。

1.最重要！AB テストの準備

AB テストをおこなうときは配信前の準備が一番重要です。準備段階で不備があると、テストの結果をどう評価していいかわからなかったり、比較しても意味のないデータになったりと、テストが無駄になってしまいます。

効果的で効率的な AB テストを行うために、以下の3つを最初に決めることがポイントになってきます。

1-1.目的・目標値を決める
1-2.テスト内容を決める
1-3.判断基準と終了タイミングを決める

1-1. 目的・目標数値を決める

まずは AB テストをおこなう目的を決めます。たとえば「◯と△の訴求方法のどちらが反応率がいいか判断する」「問い合わせフォームの入力完了率を〇%にする」「広告のクリック率を〇%上げる」などです。

このとき、目的は「良化させる」「改善する」などあいまいにせず、具体的な数値まで設定するが重要です。目的、つまりゴールがあいまいなまま AB テストを始めると、永遠に AB テストを繰り返すことになってしまいます。

目標数値の決め方の例

以下のような課題を抱えている Web サイトがあり、 AB テストの目的を「購入フォームの入力完了率を上げること」に設定したと仮定します。

• 課題…Web サイトの SEO 費用・広告費用に対して獲得できている売上が低く、費用対効果の目標を達成できていない
• 原因…購入フォームの入力完了率が業界平均と比べて低い

この場合、購入フォームの入力完了率が何%になれば費用対効果の目標を達成できるかを逆算します。その入力完了率が、AB テストの目標数値になります。

1.2. テスト内容を決める

目的が決まったら、目的に応じてテストの内容を決めます。ここでのポイントは、必ず仮説をもって B 案を作ることです。

最初の章でも説明した通り、 AB テストの A は現状ある程度成果が出ている内容、B はそれに対してチャレンジする内容です。A にチャレンジする、つまり A を上回るポテンシャルを持った B を作るためには、現状を分析し、その分析に基づいた仮説を立てるといった手順が必要です。

「とりあえずいい感じの2つの画像でテストする」「なんとなくこの2色のどっちがいいかわからないからテストする」など、仮説がない B 案を用意するのはおすすめできません。

当てずっぽうの内容でテストするのは効率が悪いだけでなく、上げたい数値を逆に下げてしまうリスクもあります。いい例として以下のようなものがあります。

いい例

• 目的…広告文のクリック率を1%から3%まで上げる
• 仮説…現在は◯という訴求のテキストにしているが、この広告のターゲットユーザーは XX という属性なので△の訴求のほうが反応率がいいのではないか
• テスト内容…A：◯訴求のテキスト　B：△訴求のテキスト

1.3. 判断基準と終了のタイミングを決める

最後に、AB テストが終わったときにどちらを勝ちパターンとするかの判断基準を決めます。目的に沿った数値が判断基準になるので、たとえば目的が「クリック率を〇％にする」ならクリック率です。

テストが終わった段階で、クリック率が高いほうが勝ちパターンとなります。判断基準を決めることで迷いなく勝ちパターンを決めることができます。

また、あわせてテスト終了のタイミングも決めておきます。主に数で区切るパターンと期間で区切るパターンがあります。

数で区切る

数＝クリック数や訪問ユーザー数です。「AB どちらもクリック数が500以上になった時点で終了」というような決め方になります。基本的にはこちらのパターンをおすすめします。

期間で区切る

テストの終了日を設定する決め方です。「A と B のどちらを選ぶか」のように、数の差を測るテストの場合は、こちらのパターンが向いています。

統計的有意性について

終了のタイミングを決めるときに問題になるのが、数の最低ラインをいくつにするかです。1つの基準としては、統計的有意性という考え方があり、有意な差が出ているか誤差の範囲なのかを判断するために必要な母数は計算式で出すことが可能です。

そのため無料で公開されているツールもがあります。ただし、有意な差を出すためにはかなりハードルが高く、母数があまり現実的な数値にならないことがよくあります。

実際の運用上では、目安のラインを設け、有意な差が見られなくても判断していくことも必要になります。弊社では母数の目安ラインを300としており、そこからテスト内容や配信規模によって数値を前後させて運用しています。

2.テスト実施！極力手を加えないことがポイントに。

準備が完了したら、AB テストを実施していきます。実施するための便利なツールや具体的な方法については「AB テストの方法」の章で説明します。テスト実施中のポイントは、変更を加えないことです。

テスト中は極力変更を加えない

AB テストの内容以外の変化要因があると、公平な比較ができない場合があります。たとえば、入札価格を変える／配信対象のターゲットを変える／ランディングページ内の他の部分を変えるなどです。変化の要因をできる限り AB テストの内容だけにするために、AB テスト中は極力変更を加えないようにしましょう。

3.結果分析では判断基準をぶらさずに。

テストが終了したら、準備の時に決めた判断基準に従って勝ちパターンを決め、なぜそうなったのかを分析します。

まだ目標数値に達していない場合は「準備」に戻り、結果の分析内容をもとに AB テストを繰り返していきます。勝ちパターンを決めるときのポイントは、判断基準がぶれないようにすることです。

勝ちパターンの判断基準がぶれないように

準備の段階で決めた判断基準は変えないようにしましょう。たとえば、判断基準がクリック率で、A のほうがクリック率が高いけど B のほうがコンバージョン率が高い結果となった場合、広告運用者としてはコンバージョン率が高いほうを勝ちパターンとしたくなるかもしれません。

しかし、判断基準がクリック率なのであれば、判断基準にしたがって勝ちパターンを決めましょう。そのうえで、なぜ B のほうがコンバージョン率が高かったのかを分析し、仮説を立てて、次の AB テストに活かします。

具体的な AB テストの実施方法

最後に具体的な実施方法の例をご紹介します。テスト後に公平な比較ができるように、同じ条件での配信ができる設定になっているか確認してから配信しましょう。

広告クリエイティブの AB テスト方法

一番簡単に同じ条件で配信する方法は、同じ広告グループ・広告セットに AB のクリエイティブを入稿するやり方です。たとえば Google 広告でテキスト広告の AB テストを行う場合は、1つの広告グループに AB のテキスト広告を入稿します。

Webサイト・ランディングページの AB テスト方法

Web サイト・ランディングページの AB テストは、専用のツールを使うことをおすすめします。ツールを使えば自動で AB を出し分けてくれるだけでなく、テストの結果を自動で集計してくれるものもあります。

AB テストツールの中でも「Google オプティマイズ」はかなり優秀で、無料で使えて B 案の作成まで簡単に行うことができます。Google オプティマイズの概要や使い方はこちらの記事を参考にしてください。

AB テストの成功は準備にかかっている

AB テストを行うときはとにかく準備の段階がとても大事なので、よくよく準備してから挑みましょう。

正しく実施できれば便利なテスト方法です。Web サイトの内容や広告クリエイティブなど、正解がない世界に1つの正解を作ることができ、定性的ではなく定量的に評価することができるようになります。ここまでで説明したポイントを踏まえて、ぜひチャレンジしてみてください。