A/Bテストの実験結果から行動を起こす手法 | Optimizely 正規代理店イー・エージェンシー

Optimizely X ブログ

  • 2018年01月16日

A/Bテストの実験結果から行動を起こす手法

この記事はこんな方に役立ちます。
・実験結果から次の行動を検討したい
・A/Bテストで負けたバリエーションから学びたい
・結果に至らない実験を繰り返している

A/Bテストの実験結果の分析を終えた時、もう次の行動を起こす準備は整っています。この記事では、実験結果のデータから行動を起こし、効果的に実験を繰り返すことで、着実に成果に導く手法をご紹介します。

実験の勝敗は、データからビジネス上の決断を下す良い機会です。もし、勝利したバリエーションがあれば、改善内容をどう反映するか決めることになります。また、負けバリエーションや、結果に至らなかったバリエーションがあれば、ユーザーの要求を満たせていない現実を踏まえて新たな仮説を検証する実験につなげる貴重な機会となります。負けバリエーションや結果に至らなかったバリエーションは、短期的な実績にはつながりませんが、長期的な成功に向けて実験を続けることができるはずです。

A/Bテストの実験結果

実験結果の「勝利」「敗北」「不確定」とは何でしょうか?

「勝利」

これは、オリジナルのバリエーションと比較して、少なくとも1つのバリエーションで主要目標のコンバージョン率が統計的有意に改善した結果を示しており、他の目標もよい結果を示している結果です。

「敗北」

これは、オリジナルのバリエーションと比較して、すべてのバリエーションが統計的に負の差異を示している結果です。

「不確定」

これは、すべてのバリエーションの結果が比較的等しく、主要目標において統計的に有意な差が見られない結果です。

では次に、これらの実験結果タイプから、次にどのように行動を起こすかについてご説明します。

1つだけ勝利したバリエーション

実験が終わり勝利したバリエーションが1つだけあれば、Optimizelyでそのバリエーションを即座に全ての訪問者に公開することができます。

バリエーションを即座に全ての訪問者に公開する

[ Launch ]ボタンをクリックしてバリエーションを「ライブ」に設定し、勝利したバリエーションにトラフィックの100%を割り当てます。その後、開発者と協力して、サイトに永続的にこのバリエーションを実装します。これで、サイトに対する新たな変更を繰り返し実験できます。

注意事項

[ Launch ]ボタンをクリックしても、既に見たバリエーションがある実験の訪問者に遡っては適用されず、未来のトラフィックにのみ適用されます。完全にすべての訪問者に勝利したバリエーションを見せるには、実行中の実験を一時停止して複製し、新しい実験で勝利バリエーション以外を停止するようにトラフィックの割り当てを設定する必要があります。

次に何をするか?いくつかのアイデアをご紹介します。

拡大する

勝利から得た考察を他のエリアに拡大しましょう。メッセージや画像、コンテンツの優先順位を試す実験は、当然、拡大の候補になります。もし実験が複数サイトにまたがっている場合は、他のドメインへの展開も検討します。

もし「簡単な決済」を購入フローの最後の画面で訴求してコンバージョンが改善したとします。このバリエーションの成功から、購入フローの最初の画面、あるいはトップページでも同じ「簡単な決済」を訴求し、カート追加のクリックが増えるか、実験してみることができます。

※Optimizely Xを使用されている場合、購入ページで実験するためにPCIコンプライアンスの設定が必要になる可能性があります。詳細については、以下記事をご参照ください。
PCI compliance: Configure Optimizely X for PCI DSS compliant use

調整を続ける

実験結果で勝利を獲得することは、その傾向に沿って最適化を続ける機会をもたらすことがあります。予期しない大幅な改善結果が見られた場合や、構造的で劇的な変更が勝利した場合がこれに当てはまります。このような場合は、引き続き勝利したバリエーションの調整を続けてください。

例えば、製品の信頼性を高めるためトップページにケーススタディを追加した結果、社会的な信頼性が顧客行動に大きなプラスの変化を与えると示しているとします。この場合、さらに社会的な信頼性を高める成功ストーリーの動画を追加して、顧客行動にプラスの変化を与える効果が期待できます。

他のアイデアを試す

実験を続けることで得られるリターンの減少が発生しやすい実験もあります。例えば、低コントラストから高コントラストに最適化されたボタンの色は、それ以上改善を続けてもユーザーの行動にあまり影響を及ぼさない可能性があります。

実装をやめる

勝利したバリエーションを実装しても、ビジネスとして正しい方向に針が動かない状況もあります。例えば、コンバージョン経路を最適化する実験で、勝利したバリエーションが製品詳細ページのコンバーションを増加させたとします。しかし、全体のコンバージョンには影響がありません。この場合は一度大きな目標に立ち戻り、コンバージョン経路の最適化を再検討するとよいでしょう。

変更によって誤ったメッセージが表示され、クリックした訪問者が直帰した場合、これは実装しないほうがよいでしょう。重要な指標にインパクトを与える可能性は低いし、誤解を招く表示をしていると受け取られるかもしれません。また、今後の実験が遅れたり、ノイズが増えることにより統計的に有意な結果を得ることが困難になる恐れがあります。

もし、トラフィックの変動が激しい期間に実験を行った場合は、もう一度実験を試してみてください。外部要因によって、特定の訪問者タイプや状況に応じた最適化を行ってしまう懸念があります。例えば、求人サイトで卒業シーズンに実験を実行すると、新しい卒業生に寄せて結果が歪むことがあります。その結果は、1年を通じた平均的な訪問者にとっても上手くいくとは限りません。

大きな外部のイベントが勝利に影響したかについて考察を得るために、結果を分割するとよいでしょう。季節要因や瞬間的なトラフィック変動を考慮して、実験を再実行することをご検討ください。

勝利した複数のバリエーション

勝利した複数のバリエーションがある場合は、1つの最適化された体験につなげてみてください。

いくつかのアイデアをつなげる

例えば、不動産会社で問い合わせフォームを複数バリエーションで実験しています。バリエーションAでは、いくつかの項目を削除して60%改善しました。バリエーションBでは、価格情報を追加して67%改善しました。どちらも勝者ですので、2回目の実験を行うことにします。

バリエーションCでは、フォームからさらに項目を削除し、価格情報を追加します。物件写真も含めることを検討します。バリエーションDには、項目の削除が改善に振れることがわかっているので、予め入力された項目を追加します。バリエーションEでは、すべての価格情報をの物件の大きな写真に置き換えます。

勝利したアイデアを組み合わせることで、複数のポイントに基づいて一度に最適化と反復を実行できます。最も訪問者に響くものを実験する時は、既存のテーマを組み合わせてみると最高の体験が生まれるかもしれません。

1つのアイデアを掘り下げる

バリエーションの中で有望な傾向が見える場合、そのアイデアを少し掘り下げて検討します。
例えば、前述の不動産会社の問い合わせフォーム改善の例に戻りましょう。価格情報の横に大きな画像が含まれているバリエーションCがコンバージョンを増加させるとします。外装、インテリアの写真、アメニティの写真など、フォームにさらに写真を追加する等、このアイデアを広げてみてください。

最も勝利したバリエーションを実装する

結果をすばやく実装したい場合は、最も高い成果を得たバリエーションを選択してOptimizelyで即座に反映することができます。しかし、その前に、結果を分割して、最も重要な顧客層がどのように変化に対応しているかを確認してください。

もし重要な顧客層が別の勝利したバリエーションを好む場合、その2つの選択肢のビジネスへの影響を測ります。または、重要な顧客層向けにパーソナライズすることを検討してください。

まとめ

この記事では、実験結果のデータから行動を起こし、効果的に実験を繰り返すことで、着実に成果に導く手法をご紹介しました。

敗北したバリエーションや結果に至らなかったバリエーションから学び、次の行動を起こす手法については、 敗北したアイデアを行動につなげるには? をご覧ください。

この記事は、Optimizely社の以下記事を翻訳、編集しております。
https://help.optimizely.com/Analyze_Results/Take_action_based_on_the_results_of_an_experiment


Optimizelyのサポートに関するお問い合わせはこちらまで

前へ
次へ

ブログの関連記事

敗北したアイデアを行動につなげるには?
A/Bテストと検索エンジン最適化
モバイルランディングページのコンバージョンを最適化する6つのヒント
ロード速度がPVに与える影響を実験により定量化 – イギリスメディア大手The Telegraph社

ブログのよく読まれている記事

コメントは受け付けていません。