多変量テスト(MVT)機能について | Optimizely 正規代理店イー・エージェンシー

Optimizely X ヘルプ

  • 最終更新日:2018年05月10日

多変量テスト(MVT)機能について

▼こんな方に役立ちます。
・多変量テスト(MVT)機能を活用して、複数の変更の組み合わせを試したい
・複数の変更の組み合わせが相互作用した結果、どの組み合わせパターンが有効かテストしたい

多変量テストは、複数の変更を組み合わせたバリエーションを用意し、ある目標に対してどのバリエーションが最適かを判断する手法です。AとBのバリエーションを比較する A/B テストとよく似ていますが、主な違いは複数セクションの変更を組み合わせた全てのバリエーションの有効性を試す点です。実験の変更内容の組み合わせが相互作用した結果、どの組み合わせが最も有効か確認することができます。

例えば、画像セクションのパターン A/B、見出しセクションのパターン A/B を Optimizely でテストする場合、AA、AB、BA、BB の4つのバリエーションが生成され、全ての組み合わせの中から最も高いパフォーマンスを発揮するバリエーションを探し出すことができます。

多変量テストとABテストの違いは?

A/B テストでは、目的とする指標を改善するために、複数回の実験を繰り返し運用しながら少しずづ最適化を進める形が一般的ですが、多変量テストでは一度に全ての組み合わせを試すことができ、組み合わせの相互作用を一度に確認できるメリットがあります。

その半面で、組み合わせパターンが増えることにより各パターンに割り振られるトラフィック量が減少し、1回の実験に必要なサンプル数が大きく、実験結果の有意判定に時間がかかりやすい側面があります。

多変量テストの活用

複数の要素が相互に影響しやすいユーザー登録などの入力フォームや、ヘッダー、画像、広告コピーなどのいくつかの要素の相乗効果を狙いたいコンテンツなどでの活用が検討できます。

多変量テストの最大の制限は、実験結果に到達するまでに必要なトラフィック量です。一度に変更する要素を詰め込み過ぎて、組み合わせのバリエーション数が増えすぎないように留意する必要があります。※Optimizely の多変量テスト(MVT)機能では、最大で64パターンの組み合わせをテストできます。(2つのバリエーションの場合、最大で6セクションまで組み合わせ可)

多変量テストについて、くわしくは以下ページをご参照ください。
多変量テストとは?

◆設定手順

Step1: 新規実験の作成

主な設定の流れは 通常の A/B テストと変わりませんが、以下の項目を別途設定する必要があります。まず、新規作成する実験タイプから「 Multivariate Test 」を選択します。

▼ Create New… 選択時

Step2: Sections の設定

例えば、画像のパターン A/B、見出しのパターン A/B をテストする場合、通常の A/B テストと同様に、Targeting、Audiences、Metrics を設定した後、Sections に画像セクション #1、見出しセクション #2 を追加し、セクション毎の Variation と配信比率 を設定します。

▼ New Multivariate Test 画面

Step3: Variation の設定

次に、画像セクションのパターン A 「Original」、パターン B 「Variation」を Editor で開き、変更を加えます。必要に応じて新しいセクションを追加することも可能です。例:画像セクション、見出しセクションに加えてボタンセクションを追加するなど

▼ Variations 設定画面

Step4: 多変量テストを開始

全ての Variation の設定と検証が完了したら、実験を開始します。実験結果には Metrics の計測結果がバリエーション別に表示されます。

▼ Multivariate Test の結果画面

以上で、多変量テスト(MVT)を設定できます。

このように、複数セクションの変更を組み合わせたバリエーションをテストし、いくつかの変数を組み合わせた相乗効果を分析することができます。

Optimizelyのサポートに関するお問い合わせはこちらまで

コメントは受け付けていません。

ヘルプの関連記事

シングルページアプリケーション(SPA)で A/B テストを実施する方法
投稿日: 2018年05月16日
Optimizely X Full Stack で実験を管理する
投稿日: 2018年01月10日
Optimizely X Full Stack のセキュリティについて
投稿日: 2018年01月10日
URLターゲティングの設定方法
投稿日: 2017年12月21日

ヘルプのよく読まれている記事