テスト結果レポートの「ユニーク」と「合計」の見方について | Optimizely 正規代理店イー・エージェンシー
  • 最終更新日:2017年02月23日

テスト結果レポートの「ユニーク」と「合計」の見方について

2015年9月下旬に、Optimizelyテスト結果レポート(以下、レポート)に「合計」というメニューが追加されました。本稿では、この「合計」の仕様と活用方法についてご紹介します。

1.レポート新機能「合計」とは!?

Optimizelyの仕様は、基本的に「1User:1Unique conversion」として統計的有意差検定を行っています。※一部、revenueといった例外もあります

つまり従来のレポートは、1ユーザが複数回コンバージョンしても1コンバージョンという結果になっていました。

「合計」メニュー追加箇所

ここに「合計」というメニューが新たに追加されて、1ユーザが複数回コンバージョンしたスコアも確認できるようになりました。

ECサイトや課金型のサービスなどRPV(revenue per visit)が最重要指標となるサービスモデルの場合はコンバージョン数の観点でレポートが確認できるのは非常に有用です。

「ユニーク数」と「合計」の違いとは!?

▼「ユニーク数」レポートで確認できること
– ユーザ毎のコンバージョン ”有無” から、バリエーションの優劣が確認できる。
▼「合計」レポートで確認できること
– 総コンバージョン “数” から、バリエーションの優劣が確認できる。

2.「ユニーク数」と「合計」の結果の見方と活用方法

有料会員サイトやリード獲得系サイトの場合など、マクロコンバージョンが ”基本1回のみ” の場合は、従来の「ユニーク数」で確認することが可能ですが、ECサイトや課金型などのサービスモデルの場合は、総コンバージョン “数” から検定結果を考察することが可能になります。

テスト結果サンプルから見る「ユニーク数」「合計」レポートの見方

(A)「ユニーク数」レポートで確認できる結果
パターン ユーザー 1stCV 2ndCV 3rdCV 4thCV
Original Aさん      
Original Bさん        
Variation【A】 Cさん
Variation【A】 Dさん        
Variation【B】 Eさん      
Variation【B】 Fさん      
  • Variation【B】のCVRが100%と最も高く、Originalより大きくリフトする結果となる。
  • CVRのスコア順は、Variation【B】 > Variation【A】 > Original となる。
(B)「合計」レポートで確認できる結果
パターン ユーザー 1stCV 2ndCV 3rdCV 4thCV
Original Aさん      
Original Bさん        
Variation【A】 Cさん
Variation【A】 Dさん        
Variation【B】 Eさん      
Variation【B】 Fさん      
  • Variation【A】の総コンバージョン数が4つと最も多く、Originalより大きくリフトする結果となる。
  • 総コンバージョン “数” 順は、Variation【A】 > Variation【B】 > Originalとなる。
以上のような結果の違いが見えてきます。
最終的にいずれのバリエーションを「勝ちパターン」と判断するかは、「ユニーク数」と「合計」それぞれの差異区間や改善率の変動状況や、統計的有意性のスコアから複合的に検証する必要がありますが、前述したRPVを最重要指標とするサービスの場合は、「収益の合計」に次いで重要な指標となるのが注文完了の「合計」>「ユニーク数」と覚えていただければと思います。「収益の合計」の設定方法はこちら

「合計」の見方と活用方法とは!?

  • テスト結果は、「ユニーク数」と「合計」のそれぞれの変動状況や統計的有意性のスコアを鑑みて「勝ちパターン」を検証する
  • ECサイトや課金型など1ユーザが複数回CVするサービスモデルの場合は、基本的に「合計」結果を重視する。※但し、「収益の合計」を設定している場合は、当該結果を重視する

テスト結果のレポートの見方、有意義なテストのやり方などお困りなことがございましたら、お気軽にご相談ください。

Optimizelyのサポートに関するお問い合わせはこちらまで

ヘルプの関連記事

トラブルシューティング:ゴールが正しく計測されないとき(2) スニペットの有無、該当テストの実行ステータスの確認
投稿日: 2016年09月12日
トラブルシューティング:ゴールが正しく計測されないとき(1) ブラウザの開発者ツールを利用した手順
投稿日: 2016年09月12日
トラブルシューティング:ゴールが正しく計測されないとき(1) ブラウザの開発者ツールを利用した手順 / 動画版
投稿日: 2016年09月12日
結果画面の共有の仕方
投稿日: 2016年01月26日
結果が片方のテストパターンにのみカウントされてしまいます
投稿日: 2015年03月04日

ヘルプのよく読まれている記事