●ランダム化対照実験を実施する基本的なステップ

「実験の設計を、データアナリストに任せっきりにしてはなりません」と、レッドマンは言う。マネジャー自身がプロセスを理解することが重要なのだ。そうすれば、マネジャーはビジネスの知識と経験を提供し、アナリストは自身の専門知識を基にデータを収集・分析するという形で、よい協働ができる。

 以下に基本的なステップを示そう。

1. 実験で求める従属変数は何かを定める(複数の場合もある)。油井の例では、掘削の速さ/効率が知りたいので、これが従属変数だ。

2. 実験対象とする集団を決める。新しいドリルビットがあらゆる油井で効果的かを知りたいのか。それとも、ある特定の油井における効果を確かめたいのか。

3. この実験で何を証明したいのかを自問する。「帰無仮説」(否定したい仮説)は何か。「対立仮説」(証明したい仮説)は何だろうか。前者は「2種類のドリルビットに差はない」などで、後者は「新しいドリルビットのほうが作業が速い」などだ。

4. 実験を阻害しうるすべての要因を洗い出す。たとえば、ドリルビットを装着する機械の種類が同じではない、あるいは特定のタイプの油井でしか実施されない、などがある。

5. 実験計画書、つまり遂行のプロセスを文書化する。コントロールはどう設定するのか。標本数はどの程度必要か。油井はどう選択するのか。ランダム化をどう設定するのか。

6. 計画書ができたら、まずは小規模な実験を行って、プロセスがうまく運ぶかを試すようレッドマンは勧める。「パイロット実験をやるべき理由は、どうせコケる可能性が高いからです。パイロットであれば傷は小さくてすみます」。ただしドリルビットの実験のようなケースでは、油井の掘削に要する費用と時間をふまえれば、この段階を省くべきかもしれない。

7. パイロット実験から学んだことに基づいて、計画書を練り直す。

8. できる限り計画書に忠実に、実験を実施する。

9. 実験結果を分析する。この時、想定していた結果だけでなく、想定外の結果についても目を光らせる。

 実験結果の分析(そして多くの場合、統計的有意性の検証)を終えたら、いよいよ結果を実行に移す。言うまでもなく、ここからが本番だ。実験室で見出した結果は、現場でも通用するとは限らない。「儲けは、実験室ではなく現実の世界で得るものです。早々に現場へと出て行きましょう」(レッドマン)

●ランダム化対照実験でありがちな過ち

 レッドマンによれば、企業が犯す最大の過ちの1つは、単に実験を十分にやらないことだという。これはランダム化対照実験に限らず、さほど費用も時間もかからない簡易的な実験についてもいえる。「マネジャーは答えがわかっているものと期待されている存在です。マネジャーが『私には確信が持てないから、実験をやってみよう』と口にするには、実験のやり方に関する知識と理解が必要です」。実験をしなければ、自分の勘が正しいと確信できないはずだ。

 しかし実験に積極的なマネジャーでも、計画段階で慎重さを欠くことがよくある。レッドマンによれば、先述のステップすべてを実行することが大切だが、マネジャーはたいてい最初の数ステップしかやらないという。実験の対象とする変数と集団を決めるくらいで、その先を飛ばして実行に進んでしまうのだ。「考える作業が足りていないのです。嫌いだった退屈な科学の授業を思い出すのでしょう」。だが退屈だからといって、すべてのステップが重要なことには変わりない。

 このことはもう1つの過ちも導く。コントロールの設定が不十分となり、実験の対象とする変数を分離できないのだ。そうなると実験はすぐに台無しとなる。実験をうまくやるには、実験の設計について熟知しなければならない。分析したい要因を分離するために、具体的にどうするのか。これを明確に定めなければ、実験結果を誤った要因に結びつけてしまいかねない。

 レッドマンが指摘する最後の過ちは、「アナリストを関与させない」ことだ。これはたやすく解決できる。「マネジャーの多くは、データアナリストにはデータを渡しさえすればよいと考えています。でも、自尊心のあるデータアナリストなら誰しも、実験の設計や計画書の作成に関わりたいはずです」。それによって全員が得をする。プロセスのできるだけ早い段階で協働を始めれば、それだけお互いの経験から得られるものも大きいだろう。


HBR.ORG原文:A Refresher on Randomized Controlled Experiments March 30, 2016

■こちらの記事もおすすめします
ビジネス実験を成功させる7つのステップ
ビジネスの仮説を高速で検証する

 

エイミー・ギャロ(Amy Gallo
ハーバード・ビジネス・レビューの寄稿編集者。著書にHBR Guide to Managing Conflict at Workなどがある。職場力学について執筆と講演を行っている。