第2話 はじめての、ABテストは苦い味
大切な前置き
このお話はフィクションです。実在の人物や団体、事件などとは一切関係ありません。
前回のもしグロ
管理栄養士から突如アプリのグロースハックチームへの異動を命じられたたんたん。グロースハック。PDCAサイクル。新しい言葉を教えられたたんたんは、翌日から始まるグロースハッカーとしての生活に向けて覚悟を決めたのだった。
グロースハッカーたんたん始動
翌日たんたんが出社すると、メンターであるよりーさんが準備をして待っていた。今日から本格的に業務が始まるとあって、たんたんも少々気合が入っていた。
ABテストをしよう
「じゃあ、昨日話したグロースハックを実際にやっていこう。」
「はい!おねがいします!」
「良い返事です。さて、実際にどうやってやっていくかはイメージがついてる?」
「改善する案を考えてそれを実際にやってみて、っていうふうにやるんですよね?」
「ざっくり言うとそうだね。それにあたりまず覚えてほしいのがABテストというやり方なんだ。」
「ABテスト!
なになに、『ABテストとは、「ある特定の期間にページの一部分を2パターン用意して、どちらがより効果の高い成果を出せるのかを検証すること」です。 例えば上記のボタンのようにどちらの色がより結果を出せるのか? といったヴィジュアル一つでもコンバージョンへの影響するため、小さな部分の改善を繰り返していきます。』
つ、つまりどういうことなんでしょう。。。」
参考:
「簡単に言うと『実際に同じ期間に2つのものを出してみて、どっちのほうがよかったかを比べる』というやり方だね。
前回のヘルスケア記事の閲覧ページを例にすると、まずは、順番を今までどおりにしたものと、たんたんの案の通りに入れ替えたものをランダムに出すようにするんだ」
「それで、2つの案で実際に記事が読まれた数とかを比べるんだ。そうすればどっちの案の方が良かったかわかるよね。」
「なるほど!
でも、同じ期間に2つの出し方で出すのはどうしてなんでしょう?毎回出てくる順番が変わったらユーザーは混乱しちゃいそうです。この期間にはこっちの順番、次の期間にはこの順番ってやっても同じことになるんじゃないんですか?」
「そのやり方だと、その期間に出た記事が良い記事だったから閲覧数が多かったっていう可能性が出ちゃうよね?比較したい要因以外のものを揃えたいからこそ同じ期間に両方出すっていうやり方をするんだ。
あと、画面はユーザーごとに出し分けるから、1人のユーザーから見たらずっと同じ順番だね。ユーザーIDが偶数か奇数かとかで出し分けるのが一般的かな。FUはもっと細かく出し分けられるようになっているよ。」
「なるほど。深いんですね!!」
「単純なやり方だけど、今あるやり方の中ではもっとも確実なやり方の1つだから、多くの企業が日々このABテストをやっているんだ。それくらい実績のある手法ってことだね」
「わかりました。やってみます!」
たんたん最初のお仕事
ふと、たんたんは今回教わったABテストのようなことを自分も過去にやっていたことを思い出した。
それは栄養士になるための勉強をしていたときの、ラットを使った栄養の実験である。ラットをいくつかのグループに分けてそれぞれ栄養バランスを変えた餌を与え、体重の変化を記録するということをした覚えがある。あのときは、特に何も考えずに実験手順に従っていただけだったけれど。
(あれもABテストの一種だったのかもしれないわ。まさかユーザーを相手に同じようなことをすることになるとは思わなかったけれど。)
過去のまったく違う体験が別の業種の作業で活きているということに、たんたんは奇妙な縁のようなものを感じた。ともあれ、以前に同じようなことをしていたという事実はたんたんに安心感を与えたのだった。
こうしてABテストという手法を学んだたんたんが最初に任されたのは、FUの特徴的な機能の1つである『FUちゃん』の会話のチューニングであった。
『FUちゃん』は、ユーザーと対話してユーザーの状態を引き出すという目的で作られた機能である。入会時やアプリからの通知を開いたときに可愛らしいアイコンとして出てきてユーザーに言葉をかけてくれる、FUがパーソナルトレーナーアプリと呼ばれる理由の1つである。
「どういう言葉をかけるべきか、文体や口調はどういうものがいいか、この機能については改善の余地が結構あると思ってるんだ。
たんたんには、特にこの機能で入会時の会話についてグロースハックをお願いしたいんだ。入会時の会話を工夫することで、ユーザーの翌日以降の継続率を上げてもらいたい。」
たんたんがいつものように元気のいい返事で引き受けると、よりーさんは入会時の会話を出し分けるための管理画面の使い方を説明してくれた。
こうして、たんたんのグロースハッカーとしての初仕事が始まった。
たんたんはまず仮説を考えることから始めた。ユーザーは、どのように話しかけられたいだろうか。早く機能を使いたいだろうから、なるべく簡素にすべきだろうか。でもそれだとユーザーが本当に何を求めているかがわからないから、その後のユーザーのサポートに支障が出るのではないだろうか。
そう考えているときに思い出すのは、昨日教えてもらったPDCAサイクルという言葉だった。試して、確認して、また改善して、それを繰り返すのが、PDCAサイクル。だったら。
「全部試そう!」
気分が乗ってきたたんたんは、試したいことをひたすら列挙していった。
「食事摂取基準ならぬ、FUちゃんコミュニケーション基準を完成させちゃうんだから!」
1週間後に自分が大いなる哀しみに包まれることを、たんたんはまだ知らなかった。
統計の知識を知ろう
「じゃあ、ここ1週間の成果を教えてもらえるかな。」
「はい!まず、これが試したことのリストになります!!!」
「す、すごい量だね。それで、結果はどうだったの?」
「結果がこちらです!見て分かる通り、ユーザーの翌日の継続率が高いのはパターン104と201だったので、この2つがいいんだと思います。要因としては、パターン104は親しみやすい口調で話したのがいいと思っていて、201ではダイエットに寄せた会話にしたのがユーザーの目的にあっていたんじゃないかと思ってます。」
「なるほどなるほど。でも、結論から言うとこの結果はダメなんだよね」
「はい!この結果はダメです、って、え?」
「うん。まずこれだけパターンがあるけど、それぞれのパターンのユーザーって何人くらいいるかわかる?」
「えっと、20人くらいです。」
「だよね。これだけパターンを考えたのはすごいんだけど、20人で取ったデータってそのパターンにあたったユーザーがどういう人達だったかによって結果がものすごくブレるよね?」
「たしかに!!!」
「統計でいう母集団と標本のズレというやつだね。ユーザー全体が母集団、そこから抽出されたサンプルを標本と呼ぶんだけど。」
よりー「ABテストの場合はそれぞれのパターンを見せられるユーザー群の1つ1つが標本だね。この時、標本は母集団の中のユーザーの特徴の比率に近い比率を保たないといけない。つまり、母集団の縮図になっていないといけないんだ。それには十分な数のユーザー数が必要になるんだ。」
「この図だと、良い標本の方は人数も多くて、男女比とか女性の中でも色々な人々が全体と同じ割合くらいになってそうだよね。」
「なるほど。悪い標本だと男女比が全体と全然違うし、女性も1種類しか入ってませんね。」
「ABテストをするときには、試している人数がある程度多くないと意味がないんだ。それに、先週の水曜日にダイエットを促進するキャンペーンをやったから、キャンペーンを見てアプリをインストールしたユーザーが結構いるよね。そういうユーザーって、他のユーザーと比べてなにか特徴がありそうじゃない?」
「はい。たしかに。。。」
「そういう場合はキャンペーンで入ってきたユーザーは除外してデータを取ったりしなきゃいけないんだ。
まとめると、十分なサンプル数で試すこと、試したい項目以外の要素を極力排除すること、という2つがABテストでは重要なんだ。
それで言うと今回の結果は、」
「明らかにダメっ・・・・!」
「そういうことだね。でもこれだけのパターンを考えられたのはすごいよ。今日教えたことを踏まえれば、次はしっかり成果が出せると思う。」
「わかりました!」
やり直し、そして
「難しいんだなー」
教わったことを取り入れて再びABテストを行ったたんたん。
300個近いパターンを一気に試した初回と違って、十分なサンプル数を意識して行うABテストは非常に地道なものとなった。
一週間後、2回目のABテストの結果を提出すると、今度はしっかりと成果として受け入れられた。最初の過ちを経て、たんたんはグロースハッカーとして少し成長したのだった。
そして、加えて少しうれしいことがあった。試したパターンの1つは、たんたんが自信を持って良いと思えるパターンだった。
それは管理栄養士として働いている頃、挫けそうになっているお客さんを励ますときにかける言葉を用いたパターンだった。「一生に一度のかけがえのない人生の成功をサポートする」そんな想いが詰まったパターンの継続率が高かったのである。
「この調子で、頑張ろう!」
最初の失敗に少し気落ちをしつつも、自分の経験を活かして成果を出せたという事実は、彼女にほんの少しだけ自信を与えたのだった。
次回予告
グロースハッカーとしての業務に徐々に慣れたたんたん。
そんなたんたんだったが、仮説検証を繰り返すうちに、もっともっと色々なデータを見たいと思うようになった。
そしてそれは、データ分析という深淵へと踏み出す第一歩だった!!
次回「たんたん、データの沼にはまっていく」でまた会おう!