トラフィックが少ないウェブサイトのためのA/Bテスト | Optimizely 正規代理店イー・エージェンシー
  • 2016年05月27日

トラフィックが少ないウェブサイトのためのA/Bテスト

2016年5月17日(米国時間)、Optimizely Blogにてトラフィックの少ないサイトにおけるテスト効果に関する記事が投稿されました。この記事はOptimizely社のブログ記事を翻訳したものです。

A/B Testing for Low Traffic Websites


A/Bテストを実施する際、統計的に有意な結果を得るためには多くのトラフィックが必要です。

トラフィックが多いウェブサイト(GoogleやFacebookなど)では、すべての項目に対してA/Bテストを実施する必要があります。

トラフィックの少ないウェブサイトこそA/Bテストを実施すべき

では、トラフィックの少ないウェブサイトではどうでしょう?

一般的に、トラフィックの少ないウェブサイトにおいては、多くの項目に対してA/Bテストを実施する必要はありません。

スタートアップもしくはB2B企業であれば、良質なフィードバックや勘に頼る方が良いと考えられています。

しかし、私は別の視点を提供したいと思います。

私は、トラフィックの少ないウェブサイトこそA/Bテストを実施すべきだと考えています。

A/Bテストを実施することは、意思決定を合理的に行えるなどの莫大なメリットがあるだけでなく、トラフィックの少ないウェブサイトでこそ効果が発揮されるからです。

Optimizelyの事例

2013年、Optimizely社は、A/Bテストツールの価格設定を変えることを検討していました。

価格設定を行うための研究の一環として、”見込みのある顧客”と”実際の顧客”の1対1のインタビュー調査とグループ討論会を実施しました。

あるグループでは、ファシリテーターがOptimizelyの料金ページ(旧)のコピーを参加者に配ったところ、参加者の一人から「これは嫌いだ!“お問い合わせ”のボタンを見るたびに、騙されるんじゃないかと思ってしまう。だからこのボタンをクリックすることは決してしないさ。 」という意見が出ました。

本来の目的である”価格決定のための有用な情報”をグループ討論会から得ることはできませんでしたが、テストのアイデアに繋がりました。

もし価格ページのボタン表記を「お問い合わせ」から「デモンストレーションの予約」に変更したら、何が起こるでしょうか?

Optimizelyでは、お問い合わせを頂くと最初にデモンスレーションを行っていたので、ボタンの文言を「デモンストレーションの予約」と変えてもウソにはなりません。

下記がそのA/Bテストの結果です。


『お問い合わせ』対『デモの予約

クリック数の結果比較

ご覧の通り、問合せボタンの文字の変更という簡単な改善によって、コンバージョン(販売チームにデモを請求したお客様の数)において300%を超える改善結果を得ました。

A/Bテストを実施したページには1日平均で636件の訪問があり、1週間という短い期間で統計的に素晴らしい結果を得ることが出来ました。

このテストは極端な例ではありません。

Optimizely社がアカウント作成画面において実行した最近のテスト結果をご覧ください。

テストを実行した時には、アカウント作成画面への訪問数は1日あたり平均133回でした。

このテストでは、フォームからパスワード入力の項目を削除しました。かわりに、初期パスワードをOptimizely側で用意し、次回ログイン時にユーザーに任意のパスワードを設定させる形に変更しました。

コンバージョンレート

(ここでいうコンバージョンとは、アカウント作成に至ること)

 

上図の通り、トラフィックが少ないページにもかかわらず、一週間以内に統計的に有意な結果を得られました

最も重要なファネルゴールの1つである”アカウント作成”において18%以上の改善がみられました。

MuleSoftの事例

これらの結果は、OptimizelyやOptimizelyプラットフォームに限定する結果ではありません。

以下は、Google Content Experimentsの後継にあたるA/Bテストツールである、Google Website Optimizerを用いて2010年にMuleSoftのWebサイトで実行したテストです。

当時、MuleSoft (統合プラットフォーム)は一度にかなりのトラフィックを受信していましたが、A/Bテストを行ったあるページには一日あたりわずか約75の訪問数しかありませんでした。

このA/Bテストでは、フォームから所在地を入力する項目を削除しGeo IPデータに置き換えました。

結果、40%以上の改善がみられ、統計的に有意な結果を2週間以内に得ることができました。

MuleSoftでのA/Bテストの結果

このテストは、デモ依頼・アカウント作成・新規リードというビジネスにおける重要な指標に対して大きな変化をもたらすものでした。

スタートアップやB2B企業のようなトラフィックの少ないページにおいても、統計的に有意かつ多大な結果を得ることができるのです。

キーとなるポイントは、大きな影響を持つ部分をテストすることです。

A/Bテストを実施する前には、以下のことをチェックしてください。

 

  • 大きな影響を持つであろう箇所を探る
  • 細かく改善していく前に大きな違いを探す
  • 明確な目標を設定し、シンプルなテストを心がける

まとめ

マリッサ・メイヤー氏はGoogle在籍時に、クリック・スルー・レートが最も高い青色を見つけ出すため、ハイパーリンクについて41種類の青色をテストしていたと言われています。

トラフィックの少ないウェブサイトでは、トラフィックを分割してしまうようなたくさんのバリエーションを作るテストや、最小検出効果がごくわずかなテストを行うことは難しいでしょう。

しかし、トラフィックの少ないサイトは、 A/Bテストを通して多大な効果を得ることができないということではありません。

今回紹介した例からもわかるように、 A/Bテストはトラフィックのサイトでも効果を発するのです。


Optimizelyのサポートに関するお問い合わせはこちらまで

前へ
次へ

ブログの関連記事

Optimizelyって、どんな会社?(3)スタッフ同士のパートナーシップ&フレンドシップと、イノベーションを生む街サンフランシスコ
最適化施策に様々な人々を巻き込む方法6ステップ
Optimizelyって、どんな会社?(2)毎年開催のビッグイベント「Opticon」と、Web接客パーソナライズ
Optimizelyって、どんな会社?(1)通算4回目のサンフランシスコ本社訪問と、成長し続けるOptimizely
Optimizely デスクトップアプリケーションがリリースされました。

ブログのよく読まれている記事

mautic is open source marketing automation