A/B テストと多変量テストの比較 | Optimizely 正規代理店イー・エージェンシー
  • 最終更新日:2017年02月23日

A/B テストと多変量テストの比較

A/B テストと多変量テストの違い

A/B テストと多変量テストにはどのような違いがあるのでしょうか?この 2 つのテスト方法のそれぞれについて、手法、一般的な使用方法、メリット、制約を見てみましょう。

A/B テスト

A/B テストは、スプリットテストという名称で耳にしたことがあるかもしれません。これは、ページの 2 つのバージョン(バージョン A とバージョン B)のコンバージョン率を実際のトラフィックを使用して相互に比較する、ウェブサイト最適化の手法です。サイト訪問者は、どちらかのバージョンに振り分けられます。視聴したビデオ、クリックしたボタン、ニュースレターに申し込んだかどうかなど、訪問者のページ上の行動を追跡することによって、どちらのバージョンが最も効果的であるかを特定できます。

CTA のクリックを追跡

一般的な使用方法

A/B テストは、ページデザインを評価する最も簡単な方法であり、さまざまな状況で役立ちます。

最も一般的な使用方法の 1 つに、非常に異なる 2 つのデザインを比較テストする方法があります。たとえば、ある会社のホームページで、現在のバージョンには文章による call-to-action があるのに対して、新しいバージョンpでは大半のテキストを削除して、新商品を広告するトップバーを追加したとします。十分な数の訪問者が両方のページに集められたら、各ページのバージョンで行動のきっかけとなったクリック回数を比較できます。A/B テストにおいて重要な点は、デザイン要素が数多く変更されていても個々の要素が追跡されるのではなく、ビジネスにおける各ページの目標全体に対するデザインの影響度が追跡されるということです。

A/B テストは、議論の対象となる要素が 1 つのみのページを最適化するための選択肢として役立ちます。たとえば、A/B テストを実行しているペットショップのサイトで、ネズミのキャラクターが手にしているニュースレターと、大蛇のとぐろから出てくるニュースレターをテストした場合、ネズミバージョンで申し込むユーザーの方が 85% 多くなりました。このようなケースで A/B テストが使用する場合、ページの 3 番目さらには 4 番目のバージョンがテストに追加されることも多く、A/B/C/D テストとも呼ばれます。この場合、サイトへのトラフィックが 3 等分または 4 等分に分割される必要があるため、各サイトの訪問者の割合が低くなります。

メリット

A/B テストは強力でありながらコンセプトと設計がシンプルなため、広く使用されているテスト手法です。

このテストでは追跡される変数の数が少なく抑えられるため、大量のトラフィックを必要とせず、信頼できるデータを非常に素早く提供できます。このため 1 日の訪問者数が少ないサイトでは非常に役立ちます。これはトラフィックを 3 つまたは 4 つより多いセグメントに分割すると、テストを完了させるのが難しくなるからです。A/B テストは素早く簡単に解釈できるため、一部の大規模サイトでは、複雑な多変量テストは実行せず、A/B テストを主要なテスト手法として実行しています。

また、A/B テストは、単純なデザイン変更の定量的な効果を素早く明示できるため、テストに懐疑的なチームにテストを通じて最適化の概念を紹介できる優れた方法でもあります。

制約

A/B テストは汎用性のあるツールです。高品質の実験を設計して、テストと再設計を繰り返すことにより、サイトの大幅な改善に役立ちます。 しかしながら、このテストの制約は、その名前からも明らかであることを指摘しておく必要があります。 A/B テストは、ページ上の 2 つから 4 つの変数の相互作用の影響度を測定する場合に最も適しています。 変数が多くなると、テストの実行時間が長くなります。また、A/B テスト自体は 1 つのページにおける変数間の相互作用についての情報は提供できません。

相互作用する要素がいくつあるのか知りたい場合は、多変量テストが最善の手法となります。

多変量テスト

多変量テストと A/B テストの主な仕組みは同じですが、多変量テストの方が比較する変数の数が多く、これらの変数の相互作用について、より多くの情報が明らかになります。A/B テストと同様、ページに対するトラフィックはデザインの各バージョンに振り分けられます。多変量テストの目的は、デザインの組み合わせごとに最終的な目標に対する有効性を測定することです。

サイトにテストの実行に十分な量のトラフィックがある場合、各バリエーションのデータが比較され、最も成績のよいデザインはどれかが分かります。さらには、どの要素が訪問者の行動に最もプラス(またはマイナス)の影響を与えるかということの理解にもつながります。

ブラウザー

一般的な使用方法

多変量テストの例として最もよく使われるのは、複数の要素が議論の対象となっているページです。たとえば、登録フォームが 1 つ、何種類かの人目を引くヘッダーテキスト、フッターがあるページがあるとします。このページで多変量テストを実行するには、A/B テストのように非常に異なるデザインを 1 つ作成するのではなく、長さの異なる 2 つの登録フォームの作成、3 つの異なるヘッドラインの作成、2 つのフッターの作成、などが考えられます。次に、これらの要素の可能なすべての組み合わせに訪問者を送り込みます。これは、完全実施要因テストとも呼ばれます。テストが必要なバリエーションが増えるほど、テストから有効なデータを取得するまで時間がかかるようになるため、1 日のトラフィック量がかなり多いサイトにのみ多変量テストが推奨されることが多い理由の 1 つとなっています。

テストが実行されると、各ページのバリエーションの変数が相互に比較され、その他のテストバージョンのコンテキストにおけるパフォーマンスとも比較されます。どのページが最高の成果を上げているか、この成果に最も寄与しているのはどの要素かという点について明確になります。たとえば、ページのフッターを変更してもページのパフォーマンスにほとんど影響しないが、登録フォームの長さを変更すると大きな影響を与える、ということがわかります。

メリット

多変量テストは、最も影響を与えるページの要素に対して、再設計の的を絞るための強力な方法です。たとえばランディングページのキャンペーンをデザインする場合など、ある要素の設計効果に関するデータは、要素のコンテキストが変更されても、今後のキャンペーンに適用できるため、特に役立ちます。

制約

多変量テストの制約はただ 1つ、テストを完了させるために必要なトラフィックの量です。すべての組み合わせが実験されるため、一度に変更する要素の数が多すぎると、テストに必要な組み合わせがあっという間に膨大な数になります。このため、実行可能な時間内に 25 個より多い組み合わせを使用してテストを完了させることは、トラフィック量がかなり多いサイトでも難しい場合があります。

多変量テストを行う場合、テストと再設計のサイクル全体に対して多変量テストをどのように組み込むかについて検討することも重要です。特定の要素の影響についてすでに把握していても、追加的に A/B テストサイクルを実行し、他のまったく異なるアイデアを調査したい場合があるかもしれません。また、効果的に設計されている A/B テストによって、影響が明確になっている場合は、多変量テストのために余分な時間を費やす価値はないかもしれません。

結論

A/B テストと多変量テストに違いはあるものの、相反するものではありません。この 2 つの強力な最適化手法は、相互に補完し合う手法であると考えることができます。どちらか一方を選択するか、または両方を一緒に使用して、サイトを最大限に利用できるように役立ててください。

Optimizelyのサポートに関するお問い合わせはこちらまで

ヘルプの関連記事

スニペットタグ内に含まれるjQueryの設定(Optimizely X)
投稿日: 2017年02月24日
セキュリティ
投稿日: 2016年10月27日
多変量テストとは?
投稿日: 2016年10月27日
スプリットテストとは?
投稿日: 2016年10月27日

ヘルプのよく読まれている記事

mautic is open source marketing automation