勝敗がつかないA/Bテストに意味はある? | Optimizely 正規代理店イー・エージェンシー
  • 2015年11月09日

勝敗がつかないA/Bテストに意味はある?

A/Bテストは、複数パターンのページに均等にユーザーを振り分け、購入率や申し込み率が向上するパターンを見つけ出す手法です。しかし、すべてのテストで、このパターンが一番よい!という、はっきりした勝敗がつくわけではありません。

テストプランを考える、実装する、テスト期間モニタリングする、結果を分析する。人が動く以上、そこにはコストが発生します。にもかかわらず、勝敗がつかなかったテスト。これは、無駄なテストなのでしょうか?

テストが無駄になるかならないか、それは事前の設定にかかっています。
購入率や申し込み率に差がなくても、ユーザー行動に変化がなかったとは言い切れません。どのような行動変化があったかわかれば、次の仮説立案やテスト設計のヒントになります。

中間コンバージョンを設定する

ある不動産サイトで、物件絞り込み機能への誘導を強化するテストを実施しました。この場合は、以下の目標を設定しました。

  • 物件一覧ページ:絞り込みボタン クリック率
  • 絞り込み条件ページ:決定ボタン クリック率
  • 物件詳細ページ:到達率
  • 問い合わせフォーム:到達率
  • 問い合わせフォーム:完了率

cv_setup_01

最も重視する目標は、問い合わせ完了率です。ここが大きく跳ね上がれば、テストは大成功ですが、実際には信頼性が上がらず、オリジナルと別デザインのパターンで、完了率に明確な違いはありませんでした。

しかし、ユーザーの行動には、ある変化がありました。
物件一覧ページの絞り込みボタンと、その先の絞り込み条件ページの決定ボタンのクリック率、物件詳細ページへの到達率が上がっていたのです。
物件一覧ページの絞り込みボタンの強調で絞り込み機能が利用されるようになり、その結果、物件詳細ページへの誘導が強化されたことがわかります。

中間コンバージョンから、ユーザー心理を推測する

では、なぜ物件詳細から申し込みに結びつかなかったのでしょうか?
完了率では勝敗はつきませんでしたが、ユーザー行動の変化となる指標を中間コンバージョンとして設定していたおかげで、ユーザー行動や心理を推測し、次の一歩を考える手がかりを得ることができました。

今回のケースでは、次のような仮説を考えました。

  1. 「物件一覧ページの絞り込み」は使ったものの、実際に物件詳細を見たら、条件に合わなかったのではないか
  2. 「物件詳細ページ」にたどり着いたが、知りたい情報に気づきにくかったのではないか。

そこで、次のテストでは、絞り込み条件ページの配置変更、または物件詳細ページの見せ方変更を試すこととなりました。

目標を多く設定することは手間がかかるようですが、Optimizelyでは一度設定した目標を、他のテストでも使うことができます。勝敗がついたテストでも、中間コンバージョンの確認をすることで、より深くユーザーの心理や動きを推測できるようになります。

テスト設定の時は、この一手間を惜しまず、ぜひ中間コンバージョンを設定してください。


Optimizelyのサポートに関するお問い合わせはこちらまで

前へ
次へ

ブログの関連記事

サイバーエージェント様がA/Bテストの社内向けワークショップを独自に開催されました
ワークショップ形式のA/Bテスト勉強会「第2回OPTIMIZE Biz College」開催レポート
A/Bテストの結果を、ユーザー、セッション、ヒット単位で考察しよう。
イギリス最大のマルチチャネル自転車販売店Evans Cyclesにおけるテスト文化の構築
SmartWool は Blue Acorn の協力でオンライン商品販売を最適化 デザイン変更後のテストで、コンバージョン率が向上、収益が 17% 増加

ブログのよく読まれている記事