オススメ度 ★★★★☆ ４／５
ABテストプラットフォームの先駆者であるOptimizelyのCEOである著者が、そのサービスやクライアントを通じて得られたABテストの知見を語る。
最近我が社でもまたABテスト熱が再燃しており、同僚がとっているその流れに不安を覚え、少しでも組織として意味のあるABテストができるようにと思い本書にたどり着いた。
ABテストを専門的に取り上げた書籍を読むのは本書で3冊目になるが、ABテストのプラットフォーマーとしての視点で書かれたものに触れたのは本書が初めてである。 序盤はオバマ大統領の大統領選におけるABテストの貢献の大きさなど、さまざまな形のABテストによる改善例を示している。
そんななか本書ではABテストの流れを次の5つのステップとしている。
2.Identify bottlenecks
3.Construct a hypothesis
4.Prioritize
5.Test
1の成功の定義は必ず言われることで（とはいえ抜けがち）特に新しくはないが、2のIdentify bottlenecksという考え方は他のABテスト関連の書籍にはなかったので新鮮に感じた。向上などの生産効率を上げるためにはボトルネックという考え方は一般的だが、より良いサイト制作においても、目的のコンバージョンに対して、トラフィックがどこで止まっているのか、そんなボトルネックにもっと意識を向けるべきなのだろう。
またMicroconversionとMacroconversionというように、コンバージョンを二つに分けて考えている点も興味深い。3のConstruct a hypothesisでは、単純に思う仮説ではなく、ユザーインタビューやご意見フォーム、フォーカスグループなどを通じてより精度の高い仮説を挙げることを推奨している。この辺はかけられる工数によって実践していきたいと思った。
中盤以降では、実際に組織にABテストの文化を組織に浸透させる方法について、外部のサービスを利用する方法や新たにエンジニアを雇って組織内にテストチームを作る方法など、それぞれのメリットやデメリットを書いている。
全体のなかで特に印象的だったのは次の言葉。
「勝ったテストパターンをすべてのユーザーに喜んで見せられますか？」と尋ねてみるべきです。
つまり、結果が良かったテストパターンが必ずしも正解というわけではなく、例えばユーザーがクリックするボタンが絶対的に正しければ、世の中のボタンはすべて女性の裸になってしまうということである。組織として、ブランドとして、そのテストパターンを世の中に自信をもって出せるのか。それを考えずに思いつくままテストをしてしまうと、ただ時間や労力の無駄になりかねないのである。
また次の冗談も、いきすぎたABテスト主義を抑制するために使えることだろう。
ABテストの方法にさらなる理解を与えてくれる内容である。本書の上の言葉に出会って、早速醜い見た目、誤解を招きかねないABテストパターンを実践している自社のABテストを改善したくなった。