A/Bテストの結果を、ユーザー、セッション、ヒット単位で考察しよう。 | Optimizely 正規代理店イー・エージェンシー
  • 2016年10月26日

A/Bテストの結果を、ユーザー、セッション、ヒット単位で考察しよう。

皆さんはA/Bテストの結果を、どのように判断していますか。
完全な勝敗がついたテストでは、迷う要因は少ないはず。しかし、必ずしもすべてのテストで明確な勝敗がつくわけではありません。

実は、決着がつかなかったと思われるテストでも、ユーザー単位、セッション単位、ヒット単位で分析すると、意外な結果が見えてくるかもしれません。

なかなか決着がつかないのはどうして?

ABテストツールでは、何をもって勝敗が決着するのか。
オリジナルと1つ以上のバリエーションの間でついた目標数の差が、テスト内容に起因するものと示す、統計的有意性と呼ばれる信頼度が上がらないテストでは、勝敗が着きません。統計的有意性が低いということは、「偶然」「たまたま」この結果になったという可能性を否定できないということです。
ツールによって、統計的有意性の計算方法は様々ですが、テスト開始直後にすぐに勝敗が着くようなテストでは、有意差の計算に必要なサンプル数に達する前に、特定のバリエーションに目標達成が偏っていたという可能性もあります。

Optimizelyの結果ページでは、ユニークコンバージョンがデフォルト表示になっています。これは、A/Bテストが、ユーザーの態度変容を測るためのものと考えるからです。何度か訪問(セッション)があったとしても、基本的にユーザーがバリエーションに接触したことで、オリジナルと比べて、どのように変化するのかを測るのが目的となります。

そのため、この結果が「偶然」「たまたま」ではないと計算できるサンプル数が貯まるのに、セッション単位で成果を測るツールよりも時間がかかることもあります。
一方で、特定のユーザーだけが何度も何度も目標達成しており、偏った結果で勝敗がつく可能性はとても低くなります。

ユニークコンバージョン数と合計数を両方チェック

Optimizelyでは、二つの視点で結果を判断することができます。
一つが、デフォルト表示となっている、ユーザー単位の結果を表すユニークコンバージョン数です。

もう一つ、合計数という結果の見方があるのをご存知でしょうか。文字通り、すべてのコンバージョン数の合算数のことであり、ヒット単位で計測されます。

例えば、ユーザーAが目標を3回達成、ユーザーBが目標を2回達成した場合、ユニークコンバージョン数は2、合計数は5になります。

デフォルトのユニークコンバージョン数で差がなくても、合計数で差が出ていることが、しばしばあります。態度変容したユーザー数の差は少なかったけれども、一ユーザーが複数回目標を達成していた場合です。
これは、特定のユーザー層に、バリエーション内容が響いたと考えられます。

複数のCV達成を目指すサイトでは、合計数も確認しよう。

一ユーザーが短期間に複数回目標達成するようなサイトの場合(就職情報サイトや不動産賃貸サイト等)は、ユニークコンバージョン数に加え、合計数も確認してください。
合計数で差がついているならば、次にすべきなのは、ユーザー分析です。

一人のユーザーが、どう行動しているのかを追うには、ユーザー単位のデータに加え、セッション単位、ヒット単位で、一連の流れを分析する必要があります。まずは、新規やリピート回数などの訪問回数に始まり、参照元別、接触したコンテンツ別等でも、違いを確認してはどうでしょうか。

Optimizelyでは、GoogleアナリティクスやAdobe Analytics等、主要なアクセス解析ツールと連携できます。これら解析ツールのセグメント機能を使うと、どんなユーザー層に、どんな行動状況の際にバリエーション内容が響いたのかを考察することができます。

こうすることで、より深くユーザーを理解することができ、改善施策につなげることができるようになります。ぜひ、お試しください。


Optimizelyのサポートに関するお問い合わせはこちらまで

前へ
次へ

ブログの関連記事

Optimizely デスクトップアプリケーションがリリースされました。
東京&大阪同時開催!無料で学べる実践型A/Bテストワークショップ OPTIMIZE Biz College参加者募集!
ワークショップ形式のA/Bテスト勉強会「OPTIMIZE Biz College」開催
CTA(Call to Action)ボタンに関わる要素はすべてA/Bテストをしてみましょう

ブログのよく読まれている記事