送客率67.4%アップ!!スコア改善に貢献したのは「ビュー率」か!? 「視認性」か!? | Optimizely 正規代理店イー・エージェンシー
  • 2016年01月19日

送客率67.4%アップ!!スコア改善に貢献したのは「ビュー率」か!? 「視認性」か!?

本稿では、株式会社ブランジスタ様が運営する「癒やしの旅」をテーマに宿泊施設を紹介するウェブマガジン「旅色」でのテスト事例をご紹介します。

キャプチャ1221

テスト概要

ddddd
対象ページは宿泊施設の客室情報や料理、館内設備などが閲覧できる「施設詳細ページ」にて、「掲載元サイト / 予約フォームへの送客率アップ」をテーマに実験を行ないました。
「旅色」施設詳細ページを経由した「掲載元サイト / 予約フォーム」への送客率アップ=旅色サイトの「メディア価値」の向上

課題・仮説

ファーストビュー(※1)にCV枠が表示されないことで、一定数の割合で ”CVアクション機会を損失している” 可能性がある。ビュー率およびCVボタンの視認性を高めることで、公式サイト / 予約フォームへの送客力が高まる可能性がある。

実験テーマ

施設詳細ページ経由の公式サイト、あるいは予約フォームへの送客率が最も高いパターンの特定 / 勝ち要因のノウハウ蓄積

検証内容

① ファーストビューに「CVボタン」配置時のクリック率の変動幅 / 変動有無

② 「CVボタン」色の彩度アップ時のクリック率の変動幅 / 変動有無

最重要指標

「公式HPを見る」または「宿泊プランを見る」のいずれかのクリック率

実験パターンイメージ

fdaigfh

テスト結果

上記とOriginalを含めた3バリエーションで約2週間テストを実施したところ、いずれの実験バリエーションともにクリック率がリフトする結果となりました。以下、主要指標のみ抜き出した結果サマリになります。

「オリジナル」起点でみるスコア変動状況

統計的有意性 勝ち 勝ち傾向 負け傾向 負け
バリエーション 各種CVボタンのクリック率 Engagement

(ページ内ユーザーアクション率)

Original(※) ※BaseLine ※BaseLine
Variation【A】 +58.0%

信頼度99%以上

+3.9%

信頼度57%

Variation【B】 +67.4%

信頼度99%以上

+6.1%

信頼度99%以上

※上記表内の「%」はbaselineに対するリフト率になります

Original起点でみるテスト結果

  • CVボタンのクリック率は、「ファーストビューへ移動」したいずれのバリエーションも勝者となる。
  • CVボタンのクリック率は、「ボタンの視認性アップ」を合わせて展開したVariation【B】が最もリフトする。
  • Engagement=ユーザアクション率は、いずれの実験バリエーションも活性化される、あるいは活性化される “可能性” がある。
【POINT】「ファーストビューへ移動」と「ボタンの視認性アップ」はどちらが成果に貢献してる!?
上記のレポート結果では、Variation【B】のスコアが大きくリフトしたことは確認できるものの「ボタンの視認性アップ」の効果が不明瞭な状態になっています。そこで、統計的差異の比較を “OriginalからVariation【A】起点に変更” することで「ボタンの視認性アップ」施策単体の変動スコアを検証することにしました。

Variation【A】起点でみるスコア変動状況

統計的有意性 勝ち 勝ち傾向 負け傾向 負け
バリエーション 各種CVボタンのクリック率 Engagement

(ページ内ユーザーアクション率)

Original -36.7%

信頼度99%以上

+3.7%

信頼度57%以上

Variation【A】(※) ※BaseLine ※BaseLine
Variation【B】 +6.0%

信頼度64%以上

+3.1%

信頼度60%以上

※上記表内の「%」はbaselineに対するリフト率になります

Variation【A】起点でみるテスト結果

  • CVボタンのクリック率は、「ボタンの視認性アップ」をすることでリフトする “可能性” がある。
  • Engagement=ユーザアクション率は、「ファーストビューへ配置」しないと低減する “可能性” があり、「ボタンの視認性アップ」をすることでリフトする ”可能性” がある。

|テスト結果まとめ

  • CVボタンは「ファーストビューへ移動」することでクリック率がリフトする。
  • CVボタンを「ファーストビューへ移動」および「ボタンの視認性アップ」をすることで、大幅にクリック率が高まる “可能性” がある。
  • Variation【A】起点で【B】のスコア変動を比較した結果、CVボタンのクリック率は “高まる傾向” に留まる。

本実験におけるCVボタンのクリック率の変動要因は、「ボタンの視認性アップよりもファーストビューへの移動」の効果が大きかったことが確認された。

hfea

※「ボタンの視認性アップ」単体の変動効果を正確に把握されたい場合は、Variation【BマイナスA】パターンを用意して、再検証いただくことをお薦めします

おわりに

本テストは、仮説どおり “いずれの実験バリエーション” もスコアがリフトする結果になりましたが、継続したUI改善を行う際には “勝ち要因” を把握することが重要になってきます。今回のようにいずれのバリエーションも勝ちフラグが立った場合は、起点(baseline)を切り替えつつレポート結果を比較することで、より詳細に勝ち要因を考察することが可能になります。


Optimizelyのサポートに関するお問い合わせはこちらまで

前へ
次へ

ブログの関連記事

サイバーエージェント様がA/Bテストの社内向けワークショップを独自に開催されました
ワークショップ形式のA/Bテスト勉強会「第2回OPTIMIZE Biz College」開催レポート
A/Bテストの結果を、ユーザー、セッション、ヒット単位で考察しよう。
イギリス最大のマルチチャネル自転車販売店Evans Cyclesにおけるテスト文化の構築
SmartWool は Blue Acorn の協力でオンライン商品販売を最適化 デザイン変更後のテストで、コンバージョン率が向上、収益が 17% 増加

ブログのよく読まれている記事