正しいA/Bテストで成果を上げた求人サイト@typeのA/Bテストインハウス化事例 | Optimizely 正規代理店イー・エージェンシー
  • 2017年02月06日

正しいA/Bテストで成果を上げた求人サイト
@typeのA/Bテストインハウス化事例

optimizelyattype

イー・エージェンシーでは、A/Bテストの導入検討するお客さまに、A/Bテスト文化を社内に根付かせる「A/Bテストインハウス化支援」を行っています。今回は、昨年8月から「A/Bテストインハウス化支援」を提供させていただいている求人情報を提供する@typeを運営するキャリアデザインセンターの鳥居さまにインタビューさせていただきました。

「A/Bテストインハウス化支援」をご活用いただいたあとに、メンバーや組織にどういった変化があったかをお聞きしました。

中々成果がでないA/Bテスト

image00

――どのような課題の解決を目的として今回の取り組みを実施されたのでしょうか?

私たちは、人材・転職に関わるウェブサイト「@type」を運営していまして、事業の根幹です。

実は2011年に、サイトリニューアルしていまして、リニューアル後にSEO対策を強化したこともあり流入がとても増えました。その点は狙いどおりで効果があったのですが、コンバージョンレートという点ではリニューアル前と変わっていませんでした。集客が増えたこともありより課題として上がるようになりました。

そこで自分たちなりにA/Bテストの取り組みをはじめたのですが、なかなか効果があがらないという状況が続いていました。

――なかなかA/Bテスト効果があがらないというのは?

いまから考えると、仮説と検証がしっかり行えていなかったというのがわかります。

仮説は、十分に考えきれていなかったし検証も「有意性(そのA/Bテストが統計的に正しいか)」の判断ができていなかった。だから、効果がでていないというか、うまくいっているかわからず、自信が持てなかったのだと思います。

そこで、A/Bテストをちゃんと使いこなしたいと考えるようになり、A/Bテストを取り扱っている会社を探すようになりました。

イーエージェンシーを選んだ理由

――なぜ弊社を選んでいただいたのですか?

いくつかの会社にご相談させていただいて、イー・エージェンシーの良かった点は、ツールありきではなくて、仮説と検証の考え方の土台ができていますか?社内にA/Bテストが根付く土台がありますか?といったところからご提案いただいた点です。

そういった点を解決するために、「勉強会とワークショップ」があり、しかもその内容を私たちの会社用にアレンジしてご提案していただけたのが良かったです私たちは、「単にツールを導入しても、自己流だと結果がでない。A/Bテストのプロのやり方を知って実践したい」と思っていたのです。その点で、御社の「A/Bテストインハウス化支援」をご提供いただいたということです。

勉強会がもたらした意識の変化

――鳥居さん自身が勉強会のなかで感じたことや発見したことがあればお教えください。

「A/Bテストインハウス化支援」では、初回、ウェブサイトに関わるメンバーのほとんどが基礎的な勉強会を受けました。

ウェブマーケティングにしっかり取り組んでいるメンバーにとってみると「この内容はすでに知っている」ものでしたが、メンバーの中には知らないものもいます。その知っているメンバーと知らないメンバーのレベル感が、この勉強会でそろったというのが良かったと思います。

それからメンバーからは「セオリーが学べた。」という声、コンサルタントとの質疑応答がロジカルでわかりやすく「安心感があった」という声をもらいましたそしてその安心感は、初回の勉強会だけでなくその後も全体を通じてよかったことが、その後の導入につながったように思います。

――勉強会を通してメンバーのみなさまの意識に変化はありましたか?

実は、勉強会を受けてすぐにメンバー自ら、それぞれテストをするようになって(笑顔)、すごく変わったように思います。

――それはすごいですね。

image02

左:キャリアデザインセンター 鳥居さま 右:イー・エージェンシー 木村

メンバーには、変化する下地があったように思います。

仮説検証の大事さであったり、Webツールを使いこなせるスキルだったり、JQueryなどの技術的な知識もあった。そういった下地があったからこそ、セオリーを学んですぐに実行へ移せたように思います。

A/Bテストしたから効果があがるわけではなくて、『正しいテスト』をすることで、「Aがよい」ということが『わかる』、つまり『有意性のある結果は信頼して動く』というデータドリブンの下地ができていたのだろうと思います。

ワークショップ後の変化

――勉強会のあとにワークショップをするのですが、実施中、みなさまの様子はいかがでしたか?

私が思っていた以上に、ワークショップにメンバーがすすんで取り組んでくれました。本当は、ワークショップ後に自分たちのサイトでも実施した方がよいと思い、実は平行してサイト内でテストを実施していました。

ワークショップで実施した内容では勝てる案が出せなかったのですが、裏では、というか本サイトで行っていたテストでは効果でていたのです。早く結果が出て、とてもうれしかったです。座学よりも、やっぱり手を動かして身を持って試すことの方が理解は早い、知っているのと、やったことがあるのとは、ぜんぜん違いますね。

――ワークショップをやってよかったと思うことはありましたか?

専門の方からワークショップで学んでいるという信頼感と、コンサルタントの方との質疑で内容を噛み砕いて、わかりやすく伝えていてくれたことの安心感があったので、すっと腹落ちしました。

それから私も含めてスタッフみんな、自分たちで行っていたA/Bテストでは仮説を考えきれていなかったことにコンサルタントの方とのやりとりで気づかされました。根本から間違っているわけではなくて、その仮説の「なぜ?」の突き詰める深さが足りていなかった。ワークショップでA/Bテストを回していくうちにそれが磨かれたように思います。磨かれていない仮説では、結果をきちんと説明でないということになるということがわかりました。

image03

成果が出るA/Bテスト

――今回の勉強会を実施したことで、御社内の文化や理解に何か変化がありましたか?

いくつかあります。

・テスト結果が偶然か、偶然ではないかがわかるようになった

・課題管理シートをつかうことでPDCAをまわせるようになった

・仮説検証を含めたPDCAこそが大事だということがわかった

・とにかくしっかり検証するという文化ができた

――その変化は今後どのような成果や成長につながりそうですか?

仮説検証を含めたPDCAを回せるようになったというのは、大きな成長です。

正しい方向に走っているという実感があるので、確実に効果が出せるという自信が生まれました。

また、PDCAを回すことで、ノウハウが蓄積できるようになっています。

たとえば、「このサイトを使う人たちはこういうユーザーです。」ということを説明できるようになってくると思っています。それがあると新しく組織に参加する人たちも、早く理解できるのですぐに即戦力なってくれると思います。

ユーザーの理解というのは、1段階目として「ユーザーさんのことがわかる」、そして2段階目では「ユーザーさんにこうなってもらうと幸せである」と考えられるようになる、そこにたどり着くと、ユーザーにとっても、私たちにとっても、Win-Winの関係が築くことができます。

――組織にPDCAの文化を導入するためのコツやポイントについて、今回の取り組みの中で発見したことがあれば教えてください。

ひとつ目は、仮説検証などユーザードリブンにとって大事な考え方を理解しきれていない人とのギャップを埋める動きはしっかりきめ細かくやること。
ふたつ目は、当事者意識を持てる組織になるようにしておくこと。

人が育てばA/Bテストがいたるところで行われて、社内の文化になっていきます。今後も、組織全体としてうまくPDCAの文化を浸透させたいとおもっています。

イー・エージェンシーでA/Bテストを検討している方へ

――これからA/Bテストの導入を検討している企業様への一言ありますか?

まず、A/Bテストツールは魔法のツールではなくて、仮説検証手段だと考えています。その手段をより理解するために、正しい知識を学んで、正しく使って、この仮説思考をもった課題解決方法を体感してほしい、と思います。

イー・エージェンシーのインハウス化支援は、仮説検証の基本を学べて、具体的なA/Bテスト手法も学べるので、ぜひ受けてみて欲しいです。

あと誰かの「鶴の一声」で物事が決まってしまうような、データドリブンが苦手な組織や人には、イー・エージェンシーのインハウス化支援はおすすめしません(笑)

逆にいえば、イー・エージェンシーのインハウス化支援は「真実を知る」ということに向き合えるような会社さんにおすすめです。

――最後に、コンサルタントの対応・質には満足していただけたでしょうか?

コンサルタントの方の真摯な姿勢に大変感謝しております。

――インタビューは、以上です。株式会社キャリアデザインセンター鳥居さま、ありがとうございました。

image04

取材先

株式会社キャリアデザインセンター
http://cdc.type.jp/

サービスサイト
転職@type – マッチする求人情報が分かる、探せる、転職サイト
http://type.jp/


Optimizelyのサポートに関するお問い合わせはこちらまで

前へ
次へ

ブログの関連記事

Iron Mountain、リードジェネレーションプロセスを最適化
A/Bテストのワークショップ「OPTIMIZE Biz College」、第4回目を開催しました
LP改善にA/BテストOptimizelyを実施したらCVRが120%アップ!! 人気エステティックサロン「ラ・パルレ」の事例
Optimizelyで最適化された小売業サイト3つのトレンド

ブログのよく読まれている記事

mautic is open source marketing automation