議論白熱! Speee社がA/Bテストの社内勉強会(レビュー会)「ABtestNight」を開催 | Optimizely 正規代理店イー・エージェンシー
  • 2017年05月08日

議論白熱! Speee社がA/Bテストの社内勉強会(レビュー会)「ABtestNight」を開催


Speee社がA/Bテストの社内勉強会(レビュー会)「ABtestNight」を開催されるということで取材にお伺いしてきました。

株式会社Speee
モバイルSEO事業を創業事業とし、デジタルマーケティング領域に強みを持ち、不動産、医療や海外メディアなど幅広い領域に事業を展開。
http://www.speee.jp/

Speee社は、メディア運営やコンサルティングにおいてA/Bテストを着実に運用し、貴重なノウハウを積み重ねて来られています。そのツールとしてご利用になっているのが、弊社が日本公式パートナーを務める「Optimizely」です。今回はそのご縁もあって、弊社にもお声掛けくださいました。


今回の勉強会(レビュー会)は、題して「ABtestNight」。モデレーターを務めるのは、ライフスタイルメディア事業部のディレクター、荘司和宏氏(上の写真、手前中央)です。荘司氏は、今回の目的として、次の2つを挙げてくださいました。

A/Bテスト勉強会(レビュー会)「ABtestNight」の目的

●メディア事業部内外で蓄積してきたA/Bテストの事例やノウハウについて、担当スタッフ同士で共有し、レビューしあい、さらにブラッシュアップすること。

●A/Bテストを活用していない事業部やそのスタッフにも、A/Bテストによるデータドリブンな取り組みとその価値について知ってもらうこと。

これは、A/Bテストをはじめ、データに基づいてPDCAのサイクルを日々運用していくような、データドリブンによるマーケティング手法をもっと世の中に浸透させたい弊社にとっても、非常に心強いお話です。そこで、弊社からもゲストプレゼンターというかたちで、データ×カイゼン部のコンサルタント、吉野裕人が参加させていただきました。


会場はSpeee社の社内ラウンジ。バーカウンターや世界時計、ビジネス書等がぎっしり詰まった本棚など、ちょっと知的なバラエティ番組のセットか、おしゃれなカフェかと見紛うような洗練されたスペースです。くつろいだ気分でフランクにお話をするにはぴったりの雰囲気で、社内外のイベントがよく開催されているというのも頷けます。

プログラムはライトニングトーク(LT)とパネルディスカッションの2部構成。モデレーターの荘司氏は、軽妙なトークを交えつつ、手慣れた様子でテンポよく進行されます。この日は金曜の夜ということもあって、お酒やおつまみ、ソフトドリンクも用意され、終始リラックスした雰囲気で行われました。

■第1部 ライトニングトーク(LT)×4名
(1)運用体制・フロー、目標設定、達成戦略、施策のアイデア出し・・・?
A/Bテストの運用でクリアすべき課題はこうやって解決!


ライトニングトークはメディア担当(現:広告コンサルティング担当)の伊佐氏からスタート。A/Bテストの運用でクリアすべき課題をどうやって解決してきたかについてお話をされました。

A/Bテストを導入したきっかけは、競合サイトの出現により、自社メディアの差別化とブラッシュアップを決断したこと。後戻りすることなく、着実に改善を積み重ねることができる手段として、A/Bテストを選んだと言います。とはいえ、A/Bテストを正しく運用するには、運用体制とフロー、目標設定と達成戦略、施策のアイデア出し等、クリアすべき課題も少なくありません。

たとえば目標設定といえばCVRが定番ですが、メディアサイトでは常に様々なプロモーションが実施されているため、CVRもその影響を受けてしまいます。これでは適切な評価ができません。では、レビュー可能な目標を設定するにはどうすればよいのか? そうした課題をひとつひとつ解決していくことによって、着実に改善に結び付けられるのがA/Bテストの魅力です。伊佐氏のチームもそのことを実感しながら成果を上げて来られたようです。

(2)CVRは改善したのに粗利が悪化!?
A/Bテストの改善指標が本当のゴール(ユーザーのニーズ)に結びついているか?


続いて、ライフスタイルメディア事業部で「ヌリカエ」を担当する阿部氏から、A/Bテストの改善指標が本当のゴール(ユーザーのニーズ)と結びついているのか、それを見極めることの重要性についてお話されました。題して「CVRだけ見ていて後悔した話」です。

「ヌリカエ」は外壁や屋根の塗装リフォームのマッチングメディア。確実にニーズがあるにもかかわらず、あまり情報化が進んでいない市場に着目した、ユーザーにも業者にも役立つユニークなサービスです。商材の特性上、サイト内だけでは完結せず、電話等でユーザーにヒアリングして業者に紹介したり、リフォームが成約したりした時点で売上が発生します。

外壁・屋根塗装業者紹介サービス「ヌリカエ」
https://www.nuri-kae.jp/

阿部氏のチームはA/Bテストを緻密に練り上げてLPのCVRを追求。その結果、CVRを3~4倍に伸ばします。普通ならこれで大成功。しかしながら、逆に、そのあと売上につながるユーザーの紹介率が1/3に落ち込んでしまいます。LPのCVRが伸び、後工程の稼働が上がったのに、売上はあまり変わらないという状況です。

そこで、ビジネスモデル全体を振り返って、LPのCVRが必ずしも売上にはつながらないことを再認識。売上に直結する紹介率、いわば紹介のCVRをKPIに設定し直して、改善目標を再設定。紹介のCVRにつながるようなLPのCVRをA/Bテストで追求し、軌道修正されたようです。

(3)クライアントに対するWebコンサルタントの存在価値は?
データに基づく客観的な分析と仮説立て!


CRO事業部でクライアントのECサイトのコンサルティングを担当される岡井氏は、データに基づく客観的な分析と、それによって仮説を立てることの重要性についてお話されました。

Webコンサルタントは、クラインアントの扱う商品やその市場、ユーザーに関する知識や経験、勘という面では、クライアントには及ばないことの方が多いかもしれません。では、Webコンサルタントの存在価値は何か? クライアントに向き合い、成果に貢献するにはどうすればよいのか? そこで思い至ったのが、Webならではのデータに基づく客観的な分析と、それによる仮説立てだと言います。

ユーザーの思考や感情をユーザーになり切って想像するだけではなく、ユーザーの行動をデータに基づいて客観的に分析し、仮説を導き出すこと。たとえば、データを元にサイト全体を俯瞰して課題のあるディレクトリを特定し、その中から課題のある導線やページを見極め、さらにページ内のレイアウトやクリエイティブの課題を発見する、といった具合です。こうすることによって課題を体系的にとらえることができ、取り組むべき優先順位も自ずと明らかになってくるでしょう。そうやって岡井氏のチームはクライアントの信頼を獲得して来られたようです。

そうしたデータに基づく客観的な分析と仮説立てが重要なのは、SEOで検索エンジンのアルゴリズムに対峙するときと同じである。と、Speee社が創業時から手掛けるSEO事業になぞらえてお話されていたのが印象的でした。

(4)クリエイティブは同じなのにCVRに大差が!?
忘れちゃいけない、伝えるタイミング!


弊社からもゲストプレゼンターとして、データ×カイゼン部のコンサルタント、吉野裕人がプレゼンテーション。「伝えるタイミング」というテーマに絞ってお話をさせていただきました。

ECサイトにおいて、メッセージや見せ方といったクリエイティブが同じでも、ユーザーに伝えるタイミングが違うだけでCVRに大きく差が出た事例をご紹介。A/Bテストの施策の1つとして、クリエイティブだけでなく、ユーザーの行動を促進するタイミングという視点による検証も重要であることをお伝えしました。


ライトニングトーク4本それぞれが特色のある内容で、かつ、プレゼンター4人もそれぞれがオーディエンスを楽しませようという姿勢で臨まれていて、発表から質疑応答まで非常に充実した雰囲気に包まれているように感じられました。

■第2部 パネルディスカッション
A/Bテスト“あるある”、運用でよく直面する課題6本


最後はプレゼンター4氏とモデレーターの荘司氏とでパネルディスカッション。テーマは次の6つ。どれもA/Bテストの運用でよく直面する“あるある”な課題です。

A/Bテスト“あるある”、運用でよく直面する課題6本
●改善対象ページの決め方は?
●施策の優先順位はどう決めてる?
●施策の振り返りはどうしてる?
●統計的有意性が出ないテストはどうしてる?
●改善目標・計画の立て方は?
●おすすめツールある?

ここまで来るとパネラー側からもオーディエンス側からも、ライトニングトークのとき以上に様々な質問や意見が飛び出し、議論は大盛り上がりになりました。



それぞれ正攻法や裏技(?)から、さらに出てくる“あるある”的な悩みごとやその解決方法まで議論は尽きません。それでも考え方の基本でありヒントになるのは、やはりライトニングトークで各担当者がお話されたことの中に詰まっているのではないでしょうか?

勉強会やレビュー会というと、発表者以外は淡々と受け身的な雰囲気で進行することも少なくないかもしれません。しかしながら、今回のSpeee社の場合は、オーディエンス側のみなさんも非常に積極的で、まさに侃々諤々、終始和やかながらも議論が白熱するシーンも多々あったかと思います。


モデレーターの荘司氏も、参加者の発表や議論の内容に期待以上の手応えを感じられた様子。参加されたみなさんにとって、今後のA/Bテストへのフィードバックと、さらなる成果が楽しみな勉強会(レビュー会)になったのではないでしょうか?

もちろん弊社にとっても、非常に刺激的な体験をさせていただきました。モデレーターの荘司氏、プレゼンターの4氏、そして、参加されたSpeee社のみなさん、貴重な機会をありがとうございました!

★Speee社のブログ「Speee DEVELOPER BLOG」の当イベント記事はこちら。
「グロースハッカー大集合! A/BテストNightを開催しました!」
http://tech.speee.jp/entry/ab-test-night


★今回のモデレーター、荘司氏。Speee社のコーポレートシンボルとともに。

株式会社Speee http://www.speee.jp/
ライフスタイルメディア事業部
「ヌリカエ」 https://www.nuri-kae.jp/
ディレクター
荘司和宏氏

★ちなみに、Speee社ではA/Bテストの導入・運用にあたって、弊社取締役の著書『A/Bテストの教科書』(下記)を各自1冊ずつ購入して、本当に教科書のようにご利用くださっているそうです。今回参加させていただいて初めて知り、うれしい驚き・・・。ありがとうございます!

弊社カスタマーサクセスマネジメント本部担当取締役、野口竜司著
『A/Bテストの教科書』(マイナビ出版)
http://www.e-agency.co.jp/publishing/abtest_textbook.html


Optimizelyのサポートに関するお問い合わせはこちらまで

前へ
次へ

ブログの関連記事

Optimizelyが取り扱う「集計/匿名データ」について
Optimizely Xを活用した分野別A/Bテスト活用シーン
Optimizelyの統計エンジンのアップデートについて
PCI対応 Optimizely Xはクレジットカード決済領域での実験ツールとしてPCI認可を得ています。

ブログのよく読まれている記事

mautic is open source marketing automation