マイページへのバナー追加がサイト全体の収益を低下させた事例 | Optimizely 正規代理店イー・エージェンシー
  • 2015年10月27日

マイページへのバナー追加がサイト全体の収益を低下させた事例

A/Bテストで成功した事例や成功のためのポイントなどは多くのブログやセミナーなどで紹介されていますが、本稿ではあえて失敗したテスト事例を紹介したいと思います。
あえて失敗したテスト事例を紹介する狙い=本稿でお伝えしたいことは以下の3点です。

  1. 思っている以上に仮説は間違えているということ
  2. テストせずに改修した場合、大きな機会損失につながる可能性があるということ
  3. だから改修する際には必ずテストする必要があるということ

早速、以下にテスト事例を紹介します。

マイページに他サービスへの導線を設置した結果、起きたこと。

今回紹介するのは、あるサイトにおいて実施された、マイページにサービス紹介のバナーを追加するテストです。

そのサイトはユーザーに無料のSNSとして利用されていますが、SNS以外の有料サービスを提供することでマネタイズを行っています。そして、最もトラフィックのあるページはユーザーのアクティビティーを表示するマイページとなっています。

このテストは、有料サービスの導入数の増加を狙って、トラフィックの多いマイページに有料サービスへの導線を追加するというものでした。

具体的なテストパターンのイメージは以下となります。

バリエーションA(Original) バリエーションB(バナー追加)
a b

 
また、このテストの勝者を判定するための最重要KPIとして以下を測定しました。

  • 当該サービスの導入率(バナー経由以外も含む)

上記条件でテストを実施したところ、テストパターンに接触したユーザーのサービス導入率は、オリジナルと比較して30%以上も減少するという結果となりました。

この結果はつまり、ユーザーにとってノイズとなる情報をタイムライン(マイページ)に掲載したことで、何もしなければサービスを導入してくれるはずだったユーザーもサービスを導入しなくなったということを示しています。
※端的に言えば、マイページにバナーを掲載したことでユーザーの反感をかったということです。

このサイトの場合はテストを実施したことで収益の低下に素早く気がつくことができましたが、テストを実施しなかった場合、マイページに掲載したバナーに接触したユーザーのサービス導入率が低下していることに素早く気がつくことは難しかったのではないでしょうか?

また、さらに恐ろしいことは、バナー経由のサービス導入率のみをKPIとして施策を評価し、その結果として「あまり効果はなかったが、バナー経由のサービス導入も0件ではないのだからバナーは残しておこう」という判断を下してしまうことです。

この場合はマイページに接触したユーザーのサービス導入率が30%以上減少した状態がずっと続くことになり、いずれサイト全体のサービス導入率が下がってきたことを認識したとしても、そのタイミングで原因を特定することは困難だと思われます。

施策は可能な限りテストによって評価する必要がある

今回紹介した事例のように、施策の実施には思わぬリスクが潜んでいる可能性があります。

社内でプロジェクトを進めるなかで「確実に効果が見込めそうな施策だからテストの必要は無いのでは?」という声が聞こえてきたときは要注意です。

施策を実施する際のリスクを下げるためには、「仮説は間違えている可能性の方が高い」ということを認識し、施策は可能な限りテストにかけるというマインドをもつことが重要です。


Optimizelyのサポートに関するお問い合わせはこちらまで

前へ
次へ

ブログの関連記事

サイバーエージェント様がA/Bテストの社内向けワークショップを独自に開催されました
ワークショップ形式のA/Bテスト勉強会「第2回OPTIMIZE Biz College」開催レポート
イギリス最大のマルチチャネル自転車販売店Evans Cyclesにおけるテスト文化の構築
SmartWool は Blue Acorn の協力でオンライン商品販売を最適化 デザイン変更後のテストで、コンバージョン率が向上、収益が 17% 増加
最適化によりお得な旅行を探しているユーザーの LTV が増加 Secret Escapes は顧客獲得最適化でモバイル登録率を倍増

ブログのよく読まれている記事