有意水準とは、仮説検定をするときに、仮説を棄却するかどうかを判断するための基準です。
- 設定した仮説が正しいとする
- その上で、観測データがあって、偶然にそれが集まる確率を計算する
- その確率が、有意水準よりも小さければ、仮説を捨て去る
仮説検定は、このような流れになります。
有意水準には5%がよく採用される
有意水準は、一般的に5%がつかわれることが多いです。今、このデータが得られた。これが偶然に起こる確率が5%よりも小さいのであれば、それは偶然に起こったのではなくて、なにかしらの原因があって起こるべくして起こった、と考えるのです。
ただし、この判断には間違いがつきまといます。5%は偶然に発生した可能性があるのですから、それは、間違った判断を下す確率が5%あるということです。
なぜ5%なのか?
はっきりとした根拠はありません。20回に1回間違った判断をする程度なら許されるだろうということです。
有意水準は適切に設定する
有意水準は、5%に設定することが多いですのですが、必ずしも、5%にしなければならないという理由があるわけではありません。むしろ、そのときそのときの仮説検定に合わせて、適切に設定することが必要となります。
有意水準5%の仮説検定は、20回に1回くらいは間違えても問題ないだろう、という判断です。それでよいのであれば問題ありませんが、間違える確率は、もっと小さい確率になってくれなければ困る…という場合、有意水準をより小さく設定します。
医学分野では、1%、0.1%の有意水準が採用されることが多いです。人の健康、命が関わるようなことで、5%の有意水準、つまり5%の確率で間違えてしまうようではダメだということでしょう。
本当は変わっていないのに変わっている、と判断するのは、第1種の誤りです。逆に、本当は変わっているのに、変わっていない、と判断するのは、第2種の誤りです。
有意水準を小さくして厳しくするほど、第1種の誤りは減りますが、第2種の誤りが増えてしまいます。トレードオフの関係にあって、5%の有意水準は、この両者のバランスをとったものでしょう。
医学分野においては、第1種の誤りを減らすべく、有意水準を小さくすべきです。新しい治療方法を採用するかどうかを判断するときの、「有効な治療方法だと判断して採用することを決めたが、実は有効な治療方法ではなかった」という第1種の誤りは、その治療を受ける人々になにか被害を及ぼすかもしれません。慎重になったほうがよいということです。
「有効な治療方法だと判断せず、採用しないと決めたが、実は有効な治療方法だった」という第2種の誤りは、なにも行動はしないことになるので、治療を受ける人々に新たな被害は及ぼしません。
一方、ビジネスにおいては、重要な決断の場合は別ですが、探索的にデータ分析をするときには、あまり厳しくしすぎずに10%など緩い有意水準にするのがいいのではないかと考えます。
第1種の誤りが起こったとしても致命的にはなりません。それよりも、問題解決の種など新しい発見ができるようにしておくのです。その後に、詳しく見ていけばいいのではないかと思います。
後出しの有意水準は厳禁
分析の結果を見た後に有意水準を変更するべきでないのは、言うまでもありません。
5%で帰無仮説が棄却できなかったからといって、10%に変更して再び検定してみるといったことは、当然やってはいけないことです。
検定をする前に有意水準は設定しておくべきであり、有意水準を10%にするのであれば、10%にした理由がほしいですよね。とくに、緩くする場合はそうです。