D2C Rの鈴木光洋です。マーケティング＆ストラテジー部にて広告運用チームとクリエイティブチームのマネジメントを担当しております。
今回は、Web広告に関わる人であればきっと誰もが経験のあるA/Bテストについて、基本からあるある事例までをまとめます。
A/Bテストって??
例えばクリエイティブを2パターン作成し、広告配信に活用します。その時は「どちらがより効果が高かったかを検証」する為の手法をA/Bテストと呼びます。
その際に、検証する要素を複数軸設けてテストする事を多変量テストといいます。
ここからは主に広告クリエイティブのA/Bテストについて、紹介します。
なぜWeb広告業界ではA/Bテストが多いのか？
Web広告業界ではなぜA/Bテストが盛んなのかは、主に下記2点が大きな理由となります。
- 管理画面で即座に原稿変更可能
- 数字で効果が明確に見える
マス広告や印刷物関連では、上の2点を満たすのはなかなか難しいのが現実です。
このメリットを生かして、Web広告で先行してA/Bテストを実施し効果を検証した後、効果の高いクリエイティブをCMや印刷物に活かすケースも多く見受けられます。
A/Bテストの重要性
何故ここまでA/Bテストをするのか。広告における数値結果を参考にすると、その重要性は一目瞭然です。
※今回は分かり易くする為に、impやCPCを同じ数値にしています。
上記のように同じimp数でも、クリック数で2倍、CV数では2倍以上、CPAでは5倍の差がついています。
当然ですがimpやCostが増えれば増えるほど、その影響度合いは高くなります。
A/Bテストのあるある
先に述べたように数値が明確になる事がベストですが、検証が上手くいかないケースもあります。
よくあるケースとしては下記2例があります。
■検証が上手くいかないケース
- クリエイティブ検証軸が明確になっていない
- 同時に大量の本数のクリエイティブを配信する
1.クリエイティブ検証軸が明確になっていない
「とりあえずA/Bテストをやろう！」いう事で検証軸が明確になっていない例です。
×：悪い例（検証軸が不明確）
◎：良い例（検証軸が明確）
悪い例ではそれぞれの項目における「共通要素」がないため、どの要素が、結果の良し悪しに影響したかが明確に見えません。
一方、良い例では「異なる要素」を訴求に絞っているため、結果をみればどの訴求が良かったかが、結果として明確になります。
2.同時に大量の本数のクリエイティブを配信する
「とにかく色々と検証したい！」とやってみたものの、振り返った時に結局どれが良かったか分からなかったという例です。
クリエイティブを10本回した例を見てみましょう。
予算が数倍あれば、もう少々結果に差が出たと思います。しかし、上の数値ではCVが1-2件で結果が変わってしまったため、検証としては失敗に終わってしまった例と言えるでしょう。
もし予算に限りがある場合には、検証軸の優先度を決めた上で提案を進める事が重要です。また過去配信実績があれば、それを元に検証できるであろうCV数を割り出し、検証に必要な予算を提案する事も可能です。
A/Bテストの要素は広告クリエイティブだけじゃない
ここまでは主に広告クリエイティブのA/Bテストについて述べてきましたが、実際の広告運用では下記項目が係数としてかかってきます。
・LP
・配信面
・デバイス
・ターゲティング
・時期
…etc
つまりこれらの結果についてもA/Bテストが必要となってくるのです。
クリエイティブで明確な差が出なくとも、上のような各係数によって大きく成果に差が出るケースがあります。
特に時期（セールやCM）では、その時期だけCTRやCVRが高くなるクリエイティブもあります。
つまり、
「 時期（いつ）」×「 配信面（どこで）」×「 広告クリエイティブ（どんな）」
というそれぞれの係数の中だけやそれぞれの組み合わせの中で、検証する必要があります。
獲得と検証のジレンマ
ほとんどの場合、広告配信は検証目的ではなく獲得目的で配信されているケースが多くを占めます。
しかし、「とにかくたくさんの検証をして改善をしなければ！」と力んでしまうと下のような悪循環に陥ってしまう事があります。
クリエイティブを大量に追加する
↓
CVRが大きく変動する
↓
各配信面の最適な入札価格がクリエイティブによって変わる
↓
クリエイティブによって入札価格が変わるため、安定しない
↓
クリエイティブ本数が多い為、配信量を多くしないと精査ができない
検証に追われ過ぎるあまり、獲得効率が悪化してしまうのが上の例です。
私が推奨するのは、獲得と検証を同時並行で進める場合、各CPN（キャンペーン）のクリエイティブを2-3本（多くても4-5本）を短期間で回す事をオススメします。
そして、短期間でクリエイティブを精査し、精査ができたら追加で2-3本の広告を回すようにします。このPDCAサイクルであれば無駄なコストや労力をかけずに、効率良く獲得と検証を進めることができます。
最後に
これまで述べてきたように、A/Bテストは事前の座組みやサイクルの回し方が非常に重要です。
（記事提供：D2Cスマイル）
