4.実験を施す顧客群を抽出する

 実験によって理解したい顧客属性と一致する部分集団を、全顧客の中から選ぼう。手軽な手段、たとえば「オンラインユーザー」などのくくりで抽出したくなるかもしれないが、注意してほしい。実験したい属性が部分集団に適切に反映されていないと、実験結果が役に立たないおそれがあるからだ。

 たとえば、ECサイトでしか購入しない若いオンラインユーザーの行動様式は、実店舗で購入する年配の顧客層とはまったく違う可能性がある。その場合、オンラインプラットフォームの戦略立案では前者を部分集団に設定できるが、実店舗の戦略でこのグループを参考にしたら、判断を誤ることになる。

5.ランダム化する

 部分集団の被験者を、「処理群」と「対照群」に無作為に割り当てよう。処理群には実験を施し、対照群には従来の状態を保つ。両者の間には必ず、実験以外の差異がないようにする。ランダム化する際の第一のルールは、被験者にグループを選ばせないこと。さもないと実験結果は意味を成さなくなる。次いで、処理群と対照群との間に違いが生じないようにすることだ。

 時として2つ目のルールを守るのは難しい。たとえば我々が見たある会社は、日曜日と月曜日で異なる種類のクーポンを提供して実験していた。ここで問題となるのは、日曜日の客は月曜日の客と体系的に異なっているかもしれないことだ(たとえ各日の客数をコントロールしても)。

6.計画を緻密に立て、それを守り抜く

 実験に取り組む前に、計画を細かく立てよう。観察結果をどのくらい集め、実験期間をどのくらいにするのか。どの変数を収集、分析するのか。これらの詳細を固め、記録するのだ。グーグルのスプレッドシートで簡単に作成でき、公開されている試験登録システム(英語サイト)を活用して公式に進めることもできる。このように透明性を設けることで、誰もが取り組みを共有できるばかりか、実行時にありがちな過ちを防ぐこともできる。

 ひとたび実験が始まったら、後は見守るだけだ。期待どおりの結果が得られれば素晴らしいが、そうでなくても有意義となる。ここで1つ、禁止事項がある。予定された期間内で実験を終えず、自分の仮説に当てはまる結果が出るまで実験を続けてしまうことだ。この場合、心理学の研究で言うところの「再現性の危機」(replication crisis:実験結果を後で再現できないこと)に陥ってしまう。そして実験結果に大きなバイアスがかかり、得られる洞察が少なくなる。したがって、できる限り計画通りに進めなくてはならない。

7.データに語らせる

 実験結果の全体像を示すには、1つだけでなく複数の結果を取り上げるべきである。変化が見られない、期待どおりではない、皆目説明がつかない、といった結果もあるだろう。それでも目を背けず、ありのままに伝えるべきだ。主な結果を精査したら、その背景にある原理、つまり結果を引き起こした要因を本当に見出せたかどうか自問しよう。不安な場合には、実験を改良して再度実行し、さらに学習すればよい。

 実験は社会科学の分野ですでに中心的役割を果たしているが、組織においても急速に重要性を増している。実験が巧みに設計されていれば、有益な情報をもたらすはずだ。最も成功した暁には、思い込みを覆し、慣行を変革して、ライバルに差をつけることにつながる。実験とは学ぶことの多い有益で長期的なプロセスであり、1つひとつの試みが次の試みの出発点となるのだ。


HBR.ORG原文:How to Design (and Analyze) a Business Experiment October 29, 2015

■こちらの記事もおすすめします
より良いマネジメントは対照実験で導き出せる
ビジネスの仮説を高速で検証する

 

オリバー・ハウザー(Oliver Hauser)
ハーバード大学の博士課程履修生。

マイケル・ルカ(Michael Luca)
ハーバード・ビジネススクール助教。経営管理論を担当。