データのとり方は事前に定めておき、今集めているこのデータを使った分析結果についてを意識せず、実施時は作業に集中することがよいだろう、という話です。
データ分析では、仮説どおりの結果がほしくなるのがふつう
データ分析をするときには、まず仮説を立てます。
- 「ひょっとしたらこういうことが言えるのでないか」
- 「もしそうであれば、この問題が解決できるぞ」
それを確認するためにデータをとって分析してみるような形になります。
データ分析はまず仮説を立ててから始める。仮説どおりの結果が得られれば、なにかの発見があり、問題解決につながったりする。
ですから、仮説どおりの結果がほしいのは当たり前です。データを収集しているときには、自分が求めるほうへとデータを変えたくなる衝動に駆られるのはゼロにはできないはず。
たとえば、製造工場の製造において、いくつかの要因を変えて製品がどうなるか、実験をしたとします。製品サイズを大きくしたいと思っていて、仮説として、ある要因の変化させれば、製品サイズが大きくなるだろうと考えました。
実験後に測定する製品のサイズは、大きい値のほうが望ましい状況だということです。測定するときに、目盛りと目盛りのちょうど間を指していることがあったら、大きい側の測定結果としてしまう…
あるいは、アンケート調査をする場合では、自分が立てた仮説にそった回答がほしいがゆえに、誘導的な質問をしてしまいたくなる…こういったことがあるかもしれません。
このようにな誘惑が生まれる可能性は、ゼロではないでしょう。
データの操作を正当化してしまう
仮説を立証できそうなほうへと、データを操作したくなってしまうわけです。
こわいのは、これでいいんだと、正当化してしまう場合です。微妙なラインのことであったら、自分の望むほうに少しだけデータを変えてしまっても、「微妙だったからね。こっちでいいんだよ」となってしまいそうです。
これは、もちろんやるべきではありません。
データを集めるときには、その作業だけに集中する
では、どうすればいいのか。
それは、データをとるときには、純粋にその行為に集中することです。
「私が立てた仮説では、このデータはこうなるはずで…、こういった傾向があるはずで…」などと考えながら、データをとっていると、
データを分析する者としては、やはり仮説どおりだったんだと言えるような結果が欲しいじゃないですか。だからデータをとっているときにも、こんな結果になるかなとか考えながらやってしまいます。これがダメなんですね。
そのようなことを考えずに、もともと設計していたやり方で正確にデータをとることを意識して作業をする。恣意的にデータ集めをしないためによいと思いますね。単純にデータを正しく集めることに集中するのです。
アンケート調査などもそうですね。対面でのアンケート調査では、質問に仕方によって、相手の返答を誘導できてしまいます。私は詳しくないですが、心理学に長けたひとにとっては、難しくないのでは？
「こういった返答がほしいな」と思いながら質問していると、意識せずとも、その方向に返答をするように話をしてしまいそうです。事前に設計したとおりの質問内容、質問の仕方で正しくやることだけを意識するべきです。
ウソついてよい結果に仕立て上げても、意味がありません。上記の例でいえば、製造工場での実験結果でデータを操作してよい結果が得られても、製造工場にとって何もプラスになりません。自分はいい実験・分析ができましたと一時的に言えるだけです。