検定とは、仮説が成り立つのかどうか確率を用いて、偶然に起きたことなのか、それとも起こるべくして起きたことなのか、判定を下す行為です。
参考記事 検定とは何をするのか。意味、やり方、有意差、棄却、帰無仮説などを説明
検定では、まず本当に主張したいこととは、逆の仮説を立てて、それを否定することで自分の主張を証明しようとします。
なぜ、このようなまわりくどいことをするのか、この記事で説明していきます。
仮説検定は背理法
検定を行うときに立てる仮説は、帰無仮説といって、ほんとうに主張したいこととは逆の仮説を立てます。そして、その仮説を否定することで、自分の主張が正しいのだと証明しようとするのが、検定です。
ジャンケンに強いことを、検定して証明したいのであれば、まず仮説として、
「ジャンケンは他の人と同じ強さである」
と仮説を立てます。
ジャンケンの結果を観測しデータを集めて、「ジャンケンは他の人と同じ強さである」という仮説に矛盾がないかを調べます。
たとえば、実際にジャンケンしてみたところ、10も20回も連続で勝ったら、仮説に矛盾がありますよね。「ジャンケンは他の人と同じ強さである」はずなのに、連続で勝っているのはおかしいのです。
ですから、この仮説は間違っていると考えて、否定をします。そして、ジャンケンは他の人と同じ強さではなくて、ジャンケンは強いのだ、と結論づけることができます。
この証明方法は、数学で背理法と呼ばれています。
まわりくどくて、わかりにくやり方をする理由
では、なぜこのようにまわりくどくて、わかりにくいやり方をするのでしょうか。二つの理由があります。
仮説が真であると証明するのは難しい
一つ目の理由は、立てた仮説の正しさを証明するのはとても難しいことだからです。
一方で、仮説が正しくないことを証明するのは可能なことです。
黒いカラスがこの世のどこかに存在することを証明するには、黒いカラスを1羽だけ見つければ証明できます。
しかし、この世の全てカラスは黒いことを証明するには、どうしたらいいでしょうか。「この世のカラスは黒い」と仮説を立ててそれが正しいことを証明しようとしたら、生息するすべてのカラスを観察して黒いことを確かめなければいけませんよね。これは無理な話です。
しかし、「この世の全てカラスは黒い」ということに反証する（事実でないことを証明する）のであれば、白いカラスを１羽でも見つければ、できてしまうのです。この世の全てのカラスが黒いとしたら、白いカラスがいるのは矛盾していますよね。
同じく「この世の全てのカラスは白い」という仮説を立てて、それに反証するのも簡単です。黒いカラスを１羽でも見つければいいのです。
「ジャンケンに強い」という仮説を証明するのであれば、数人に勝っただけでなく、もっと他の人とも勝負しないとわからないよね、という話になります。
しかし、「ジャンケンは他の人と同じ強さである」ことに反証するには、その矛盾点を見つければいいのです。何回か連続で勝てば、他の人とは同じ強さではないよね、と言うことができます。
ところで、「ジャンケンは他の人と同じ強さ」という仮説が棄却できなかった場合であっても、それは積極的に「ジャンケンは他の人と同じ強さ」であるという仮説を証明したわけではありません。
もともと帰無仮説は、棄却するために立てている仮説です。
仮説を採択した場合は、仮説を棄却しなかったということであり、仮説が正しいことを積極的に証明しているわけではありません。仮説が間違いとは言えなかったということです。
ですから、検定の結果を言うときには、「ジャンケンは他の人と同じ強さである」とは言わずに、「ジャンケンは他の人よりも強いとは言えない」といった言い方をします。
仮説検定の流れや、「棄却」などの用語については下記の記事に書いていますのでよろしければ参考にしてください。
参考記事 検定とは何をするのか。意味、やり方、有意差、棄却、帰無仮説などを説明
重要な誤りを第1種の誤りにできる
二つ目の理由は、背理法では、重要な誤りを第１種の誤りとなるように設定することができるからです。
とある製薬メーカーが、従来の薬よりも効果をアップさせた新しい薬の開発に励んでいます。実験によってその効果を観測し、検定で判断をするときには、二つの誤りが発生する可能性があります。
その誤りとは、第１種の誤りと、第２種の誤りです。
- 第１種の誤りは、薬の効果アップは無いのに、あると判断してしまうこと
- 第２種の誤りは、薬の効果アップはあるのに、無いと判断してしまうこと
です。
どちらのほうが致命的な誤りかというと、無いのにあると判断してしまう第１種の誤りでしょう。
本当は効果が無いのに効果がある、といって世に販売してしまったら問題です。
一方で、本当は効果があるのに無い、と判断した場合は、販売はしないことになるでしょう。自社にとってはもったいない話になりますが、世の中に対して迷惑をかけるような問題は発生しません。
どちらの誤りを起こさないようにすべきかというと、まずは第１種の誤りです。第１の誤りを起こさないことが重要な問題となります。
背理法での仮説検定であれば、この第１種の誤りを犯す確率を、有意水準として自分で設定することができるのです。
こういった理由で、まわりくどいやり方で検定が行われています。
第１種の誤り、第２種の誤りについては、下記の記事に書いています。よろしければ参考にしてください。
参考記事 あわて者の誤り・ぼんやり者の誤り