A/Bテストの種類について | Optimizely 正規代理店イー・エージェンシー

Optimizely X ヘルプ

  • 最終更新日:2017年02月24日

A/Bテストの種類について

Optimizelyで行えるA/Bテストの種類には、通常のA/Bテスト、多変量テスト、複数ページ(ファネル)テストの3種類があります。それぞれのメリットと制約について詳しくてご案内いたします。

通常のA/Bテスト

A/Bテストはウェブサイト最適化の手法の一つで、実際のトラフィックを使用して、2つのバリエーションを比較し、コンバージョンレートを比較する方法です。サイト訪問者はどちらかのバリエーションに振り分けられ、設定した目標に対してのアクションを計測することによって、どちらのバリエーションが最も効果的かを決定できます。

一般的な使用方法

A/Bテストは、ページ内の1つの要素を検討するにあたって、最適な選択を行う場合に役立ちます。

また、A/Bテストはページデザインを評価するもっとも簡単な方法で、さまざまな状況で行うことができます。
A/Bテストを行う最も一般的な手法の1つとして、2つの方向性の異なるデザインでテストを行う方法があります。Optimizelyではリダイレクトテストで行うことができます。
リダイレクトテストの設定方法はこちら
このような多くのデザイン要素を変更するA/Bテストでは、デザインが与える影響が、個々の要素ではなく、各ページのビジネスゴールへの貢献のみを計測することが重要だということに注意してください。

A/Bテストのメリット

A/Bテストは、懐疑的な人々に対して、テストを通じて最適化の概念を紹介する良い方法であり、シンプルなデザイン変更の影響を定量化して実証できます。

追跡するバリエーションの数が少ない場合、多くのトラフィックを必要としないで、信頼性の高いデータをとても早く取得できます。このことは、サイトの訪問者数が少ない場合に特に役立ちます。多くの大規模サイトでは、多変量テストのような複雑なテスト手法ではなく、素早く、そして、簡単に解釈できるA/Bテストを主要なテスト手法として使用しています。

制約

A/Bテストは多用途なツールであり、賢い実験の設計を行い、テストと再設計の反復サイクルを行うことによって、あなたのサイトに大きな改善をもたらす役に立つでしょう。
A/Bテストは、2から4つまでのバリエーションで、ページに対する影響を計測するのが最適です。もし、多くの異なる要素が相互に影響しているかを知りたい場合は、多変量テストが適した手法となります。

多変量テスト

多変量テストはA/Bテストと同じコアメカニズムを使用していますが、より多くのバリエーションを比較し、どのように互いが作用しているかについて多くの情報が得られます。複数のA/Bテストがお互いの上に重なっているイメージです。

A/Bテストと同様に、ページのトラフィックはバリエーションごとに分割されます。多変量テストの目的は、ページの最重要指標に対して、それぞれの要素の組み合わせの効果を計測することです。

サイトがテストの実行に十分なトラフィックを得られると、各バリエーションから得られるデータは、最も貢献したバリエーションを発見するだけではなく、訪問者に対してどの要素が最もプラス、または、マイナスに働いたかの影響を明らかにすることもあります。

一般的な使用方法

多変量テストでの最も一般的に用いられている例は、ページ上のいくつかの要素が、検討の対象に上がっている場合です。例えば、申し込みフォームページで、キャッチーな見出しと、フッタのあるページです。

このようなページでは、デザインの異なるリダイレクトを用いたA/Bテストを行うよりも、長さが異なる2種類のページ、3つの異なる見出し、2つのフッターで、これらの要素のすべての可能な組み合わせで、多変量テストを行ってみてください。

可能なすべての組み合わせの多変量テストは、完全要因テストとして知られ、日々のトラフィックがかなりの量があるサイトにのみ推奨される理由です。バリエーションが増えるほど、テストから意味のあるデータを取得するのに、より時間が必要とされます。それが多変量テストを行う最も正しい方法です。

テスト実行後に、各ページのバリエーションの変数をお互いに比較し、また、他のテストのバージョンのパフォーマンスとも比較します。例えば、フッターの変更はページのパフォーマンスにすごく小さい効果しかなく、一方で、登録ホームの長さの変更は大きな影響をあたえるかもしれません。

多変量テストのメリット

多変量テストは、デザイン変更を行うのに、ページ上で最も大きな影響を与える要素に目星をつける助けとなる力強い方法です。これは特にランディングページのキャンペーンで役に立ちます。例えば、キャンペーンページで特定の要素のデザイン変更による影響についてのデータは、要素のコンテキストが変化したとしても将来のキャンペーンに適用できます。

制約

多変量テストの唯一の大きな制約は、テストを完了させるのに多くのトラフィックが必要となることです。すべての実験は完全要因テストであり、一度により多くの変更要素があると、可能な限りすべてのコンビネーションのテストが必要となり、時間がかかってしまいます。かなり高いトラフィックを持つサイトでも、実現可能な時間で完了するには、25組以内の組み合わせのテストに収めるようにしてください。

多変量テストを行うときは、テストと再設計のサイクルにどのようにはまるか考えることが重要です。特定の要素の影響についての情報をもっていても、他の根本的に違うアイデアを探るために追加のA/Bテストのサイクルを回したいかもしれません。また、時には、いくつかのよく設計されたA/Bテストがうまくいき、完全な多変量テストを行う余分な時間を必要としないかもしれません。

複数ページテスト

複数ページテスト(ファネルテスト)はA/Bテストと似ていますが、1ページでバリエーションを作成するのではなく、複数のページで一貫した変更が行われます。A/Bテストのように、複数ページテストのサイト訪問者は、オリジナルかテストバリエーションに割り振られます。それぞれ違うバリエーションを見た訪問者の影響を追跡することで、どちらの設計が最も効果的かを決定できます。複数ページテストにおいて、有意義なデータを得るためには、訪問者が一連のページを通して、一貫したバリエーションを見ることが重要です。

一般的な使用方法

お互いに方向性の異なるデザインのテストを、複数ページテストによって簡単に行うことができます。例えば、Eコマースサイトを想定すると、ユーザーが多数の商品検索を行い、ほしい商品をショッピングカートに追加し、商品の購入を行います。

このようなケースでは、ユーザーは多くのページを見ます。ユーザーは最終的に購入を行うか、サイトを離脱する前に複数のページをとおります。複数ページテストを使用することによって、一連のページに、2つ(またはそれ以上)の固有なデザインをテストできます。

十分な訪問者がそれぞれのバリエーションに訪れれば、異なるデザインスタイルの効果が、簡単かつ効果的に比較できます。

複数ページテストのメリット

A/Bテストのように、複数ページテストは、コンセプトが単純なので、素早く簡単に、意味があり、かつ、信頼性のあるデータを得ることができます。複数ページテストのメリットは、ユーザーに一貫したエクスペリエンスを提供できることに有ります。

複数ページテストは、1ページでの一般的なA/Bテストを作るのと同じ変更を行うことができますが、複数のページに適用することで、訪問者が確実にウェブサイトを通して、異なるバリエーションとデザインの間で行ったり来たりしないようにできます。

制約

複数ページテストは、汎用的で効果的なツールですが、A/Bテストと同じ制約があります。A/Bテストと同様に、複数ページテストは、同時に少しの変数の影響を計測するのに最適です。多くの変数を持ったテストでは、テストの決着に時間がかかり、各ページの個別の変更の影響を決定することがより難しくなります。

これらの制約に加えて、複数ページテスト特有の制約もいくつかあります。複数ページテストを設定するときは、テストを通してすべてのページのバリエーション数を同じにする必要があります。バリエーション数が異なると、ページを通して矛盾が発生し、ユーザーのエクスペリエンスが損なわれ、収集したデータの解釈が難しくなります。さらに、複数ページの実験では、実験のすべてのページに適用されるターゲット条件のみが使用できます。

Optimizelyのサポートに関するお問い合わせはこちらまで

コメントは受け付けていません。

ヘルプの関連記事

Optimizely X Full Stack 実行順序
投稿日: 2017年06月02日
結果画面のセグメントの種類とカスタムセグメント(Optimizely X)
投稿日: 2017年03月29日
Optimizely X カスタムコードの特性について(Optimizely X)
投稿日: 2017年03月29日
自分をテスト対象から除外する方法 オプトアウト
投稿日: 2016年10月21日
リダイレクト実験:個別URLのテスト
投稿日: 2016年09月16日

ヘルプのよく読まれている記事