敗北したアイデアを行動につなげるには? | Optimizely 正規代理店イー・エージェンシー

Optimizely X ブログ

  • 2018年01月10日

敗北したアイデアを行動につなげるには?

この記事はこんな方に役立ちます。
・実験結果から次の行動を検討したい
・A/Bテストで負けたバリエーションから学びたい
・結果に至らない実験を繰り返している

A/Bテストの最も大切な結果は、顧客に関してより深く学ぶことです。この記事では、敗北したバリエーションや結果に至らなかったバリエーションから学び、次の行動を起こす手法をご紹介します。

実験のバリエーションが敗北することを避けるチームもあります。しかし実際のところ、敗北したバリエーションは悪ではありません。勝利したバリエーションと同じぐらい訪問者の行動についての考察をもたらし、長期的な最適化の取り組みに導きます。

敗北したバリエーション

敗北したバリエーション

敗北したバリエーションの変更内容に注意を払い、深く実験結果を掘り下げてみてください。学んだことを使って、新しく、大胆な実験を計画したり、リニューアルの方向性について大きな決定を下すことができます。

  • なぜ、このバリエーションの訪問者は、それほどコンバージョンしないのでしょうか?
  • なぜ、特定の訪問者が他の訪問者より大幅に改善している(または悪化している)のでしょうか?
  • 訪問者が示すデータから、新しい仮説をブレインストーミングできますか?その考察からどう展開しますか?

次に、敗北したバリエーションを分析した後、これに対応する方法をいくつかご紹介します。

もう一度実験する

統計的に有意な結果が得られた場合、結果が否定的であっても、実験の訪問者の行動に影響を及ぼすことができます。実行内容を変更して、マイナスをプラスに変えることができるでしょうか?これは、画像、色、見出し、レイアウトなど、はっきりとした代替案を試す実験では特に有効でしょう。

先へ進む!

場合によって、実験しようとしているものが既にある程度最適化されている可能性があります。同じことを実験し続けると、よりマイナスの結果がでるだけでなく、肯定的な結果を生み出す可能性のあるものをテストしないために機会損失が発生します。これは、同じ実験アイデアを既に複数回反復したことがある場合や、サイトのある領域で長時間テストを実行している場合にも当てはまります。

敗北は勝利?

場合によっては、敗北したバリエーションがビジネス成果をもたらす場合があります。たとえば、コストのかかるリニューアルのプロトタイプを実験して敗北することで、完全にリリースをして失敗することを避けることになります。

想像してみてください。フォームの周りに訪問者へデモの問い合わせを提示するように、フロントのページ全体をリニューアルする予定です。新しいコンセプトを設計して実装する前に、フォームを現在のレイアウトで表示し、仮説を検証する実験を実行します。問い合わせの著しい減少は、訪問者が情報を入力する前に調査、探索することを好むことを示しています。一回の実験で、開発時間の4分の1を節約できました。プロトタイピングと実験は、コストのかかる投資を避けることによってROIを生み出すことができます。

結果に至らなかった実験

然るべき期間を経過しても、統計的に有意な結果が出ない場合があります。結果に至った実験から貴重なデータが得られることはわかっています。しかし、どれくらい待つべきなのでしょうか?この実験の潜在的な効果は、次に予定している実験と比較するとどうなのか?

結果に至らなかった実験

結果に至らなかった不確定の実験は、結果の中で最も混乱しやすいタイプです。しかし、これらの実験は一般的に、はっきりと「より大きく!」という明確な方向を指します。事実、多くの実験で劇的な結果が見られるわけではありません。結果に至る上での最大のハードルは組織の恐れとリソース不足です。

これらに対応するいくつかの対応をご紹介します。

一度に複数の要素をテストする

一度に多くのことをテストすることによって実験の厳密さを犠牲にしたとしても、最大の責任は針を動かすことです。求めていた改善率の上昇が起こってしまえば、その後により良くすることに集中することができます。

ドラマの強度を上げる

はっきりと目に見えるようにバリエーションに改善を加えてみてください。より強く環境の変化を試すのに比例して、より強い結果が得られます。

例えば、商品レビューを上部エリアに置いて実験した結果が不確定とします。また、上部エリアのCTAを実験しても同様に結果は得られません。この両方を上部エリアにおいてクライアントが反応するか、ドラマの強度をあげることが出来ます。このような劇的な変化は、訪問者の嗜好をより明確に把握することにつながります。

ある状況では、然るべき期間実行されたが統計的有意に達していない実験でも、行動を起こしたい場合があります。これは、結果ページのデータとビジネス目標に基づいてビジネス上の決定となります。次に、こういった状況で役立つかもしれない3つの戦術を取り上げます。

1.有意な結果を得るまでに必要な訪問者を算出する

有意な結果を得るまでに必要な訪問者を算出する

トラフィック、コンバージョン率、バリエーション数に基いて、統計的有意な結果を得るまでに実験をどのくらいの期間実行する必要があるか測ることができます。実験を継続するかどうか判断するために、実験プランで予測された訪問者数と実績を比較します。

もしオリジナルとバリエーションのコンバージョン率が同じであれば、統計エンジンが結果を下すまでに必要な訪問者数はX人です。しかし、コンバージョン率が変わり始めると残りの訪問者数も調整されます。残っている訪問者数に基づいた概算の見積もりは、どれくらい待つか、ビジネス上の決定を下すのに役立ちます。

次の場合は、有意な結果が出るのを待ちます。

  • 実験プランで予測された訪問者数に達していない
  • 残りの訪問者数から、待つ時間が長くないことが予想される

次の場合、実験結果は確定しないと判断します。

  • 予定している訪問者数を超えていて、残っている訪問者はすぐに有意な結果に到達しないことを示している。

例えば、5%の改善率上昇が事実であると確信したいとします。偽陽性は5%未満(統計的優位性95%以上)と言うためには、あと2週間は待たなければいけません。しかし、この実験の5%の改善率が例え事実であったとしても、訪問者の行動には重要な影響を及ぼさないことを示しています。この時点で、補助目標およびモニタリング目標をチェックし、セグメントをチェックして次の実験に向けた考察を探すのが最善の方法でしょう。

2.差異区間をチェックする

差異区間は、あなたがテストを実行し続けるか、別のアイデアに移動するかを決定する判断材料になります。まだ統計的有意に達していない実験で差異区間は常に0%に跨っています。

差異区間をチェックする

上記の例で、統計エンジンは「ポップアップ」を追加したバリエーションの統計的有意性(有意水準90%)に到達しておらず、現在の統計的有意性は78%です。統計的有意性が90%水準まで到達するためには、さらに10万人以上の訪問者が必要です。統計エンジンは訪問者の行動からより多くのデータを収集するので、差異区間の幅は拡大したり縮小したりします。訪問者の行動が不安定になればなるほど統計エンジンは結果の確定から遠ざかり、差異区間が広がります。差異区間が狭いと、統計エンジンは将来同じレートでコンバートする可能性があると判断します。

実験が結果に至らない場合、差異区間と合わせて、結果が確定するまでに必要とする訪問者数を考慮するとよいでしょう。たとえば、+0.2%から+0.4%までの差異区間でまだ統計的有意の判定がつなかいテストで、統計エンジンは結果が確定するまでに、まだ6,500人の訪問者が必要と算出しました。はたして、残りの実験を続ける価値はあるでしょうか?

3.結果を分割する

セグメントは、全体的なパフォーマンス指標を掘り下げて分析するために最も重要なツールの1つです。全体的なパフォーマンス指標は母集団の平均値と考えることができますが、サブグループでは、母集団の平均とは異なるコンバージョン率を示す場合があります。セグメントを分析して、母集団の平均とは異なる反応を示すグループがあるかどうかを調べます。もし母集団の平均とは異なる反応を示すセグメントがあれば、パーソナライズ戦略を検討することになるでしょう。

最後の注意点:

  • これには時間がかかりますが、明確に目標の階層があることを意識してください。ある目標は別の目標を犠牲にして増加する可能性があります。より上位の重要な目標を動かすために、トレードオフを行う必要があります。
  • 実験で敗北したバリエーションや勝利したバリエーション、もしくは目標がある場合、実験結果に「不確定」と表示されることがあります。これは、目標の階層が明確になっておらず、パフォーマンスがあまりにも矛盾するためです。
  • ROIのような最終的な目標は、個々の実験を判断する最良の指標ではないかもしれません。たとえば、eコマースサイトのトップページでテストしている場合、決済収益は最​​も重要な目標でない可能性があります。

まとめ

この記事では、敗北したバリエーションや結果に至らなかったバリエーションから学び、次の行動を起こす手法をご紹介しました。

この記事は、Optimizely社の以下記事を翻訳、編集しております。
https://help.optimizely.com/Analyze_Results/Take_action_based_on_the_results_of_an_experiment


Optimizelyのサポートに関するお問い合わせはこちらまで

前へ
次へ

ブログの関連記事

A/Bテストの実験結果から行動を起こす手法
A/Bテストと検索エンジン最適化
モバイルランディングページのコンバージョンを最適化する6つのヒント
ロード速度がPVに与える影響を実験により定量化 – イギリスメディア大手The Telegraph社

ブログのよく読まれている記事

コメントは受け付けていません。