検定とは、発生したことが意味があって起こるべくして起こったのか、それとも偶然に起こったのかを判定する行為です。
検定の考え方、やり方についてまた、検定のときにつかう言葉についてを合わせて説明します。
検定とは
検定とは、仮説が成り立つのかどうか、確率を使って判断を下す行為のことです。
それによって、目の前のできごとが、偶然に起きたのか、それとも偶然ではなくそのできごとが起こる原因があって起こるべくして起きたのか判定をします。
統計学における検定のルールを、ジャンケンの勝負で理解していきましょう。
検定の考え方、やり方
ジャンケン勝負
「私はジャンケンに強いんだ。」
こう言いはる友人がいました。その友人が「ジャンケンで勝負をしようじゃないか」と、あなたに話を持ちかけてきました。統計学を学んでいるあなたは、「そんなことはあるものか。勝負をして勝敗の確率をみてみようじゃないか」と勝負を受けて立ちました。
１回目の勝負・・・負け
最初の勝負は負けてしまいました。勝率\(\frac{1}{2}\)ですから、負けてしまったこと自体、不思議ではありません。
２回目の勝負・・・負け
２回目の勝負でも負けてしまいました。２回連続で負けて悔しいですが、２回連続で負ける確率は、\(\frac{1}{2}\times\frac{1}{2}\)で\(\frac{1}{4}\)です。\(\frac{1}{4}\)ならまあよくあるできごとだといえるでしょう。
３回目の勝負・・・負け
さらに４回目の勝負・・・負け
４回連続で負けてしまいました。4回連続で負ける確率は、
$$\frac{1}{2}\times\frac{1}{2}\times\frac{1}{2}\times\frac{1}{2}=\times\frac{1}{16}$$
$$=0.0625$$
です。
４回連続で負ける確率は6.25％です。そして…、
５回目の勝負・・・負け
最後の勝負として挑んだ５回目も、負けてしましました。
友人が５回連続でジャンケンに勝ったのは、偶然なのか、本当に強いのか
- 1回目・・・負け
- 2回目・・・負け
- 3回目・・・負け
- 4回目・・・負け
- 5回目・・・負け
ついに5回連続で負けてしまいました、5回連続で負けてしまう確率を計算すると、
$$\frac{1}{2}\times\frac{1}{2}\times\frac{1}{2}\times\frac{1}{2}\times\frac{1}{2}=\times\frac{1}{32}$$
$$=0.0312$$
3.12％。
ジャンケンの勝率は\(\frac{1}{2}\)で、両者のジャンケンの実力が同じであると仮定したら、友人が5回連続で勝つ確率は、3.12％と相当に小さい確率になってしまいます。
こんな小さい確率の偶然が起こったのでしょうか。
それとも…
友人は本当にジャンケンに強くいから５回連続で勝ったのでしょうか。
いったいどちらなのか…。
それを判定するのが、検定なのです。
ここで、検定を用いるなら、「私はジャンケンに強いんだ。」と言ったとおり、“友人はジャンケンが強い”と判定することになるでしょう。
まず、仮説どおりジャンケンの勝率は\(\frac{1}{2}\)であり、友人が偶然に５回連続で勝ったとするならば、3.12％という小さい確率のできごとが起きたことになります。
そこで考えるのは、
「こんなに小さい確率のできごとはめったに起きない。」
「だから、友人はまぐれで勝ち続けたとは思えない！」
「それよりも、友人が言うようにジャンケンが強くて、勝つべくして勝ったということを認めたほうがふつうだ！！」
です。
これが、友人はジャンケンが強いと判定する理由です。
偶然ではなくきちんとした原因（友人はジャンケン力がある！）があって起こったと判断をしたわけです。
「3.12％は小さな確率だから、偶然に起こることではないよね」と考えたわけですが、この偶然に発生する確率が、どのくらいの数字であれば、「これは偶然じゃないぞ」と判断ができるのでしょうか。
統計学での約束事として、5％を一つの目安として定めています。
発生確率が５％以下のことであれば、偶然に起こったのではなくて、なにか理由があって起こったのだろうと考えるのです。
５回連続でジャンケンに勝つことは、5％以下の小さな確率。これは、めったに起きないだろう。だから、本当にジャンケンが強くて、５回連続で勝ったのだ、と判断するわけです。
では、４回連続で負けた場合はどうでしょうか。
その確率は6.25％で、5％を下回っていませんから、まあ偶然起きたことだろうと考えて、両者の実力に差は無いと判定します。
このように判断を下す行為が「検定」です。
仮説を検定する流れ
上のジャンケンの勝負での検定は、まず最初に「ジャンケンは運の勝負であり、勝率は\(\frac{1}{2}\)である」という考えが前提にあります。
検定は、違いがあるのか・違いがないのかを判定することになります。最初に「違いはない」という仮説を立てることになります。
ジャンケン話であれば、「実力は等しく、勝率は\(\frac{1}{2}\)である」を仮説として設定します。
その後、実際に行ったジャンケンの結果から、この仮説は妥当かどうかを判断しています。検定には、まず仮説ありきです。
仮説の流れ おさらい
「ジャンケンの実力は等しく、勝率は\(\frac{1}{2}\)」と仮説を立てる。
↓
ジャンケンの結果をみて、それが起こる確率を計算する。
↓
この確率が30％とか40％、50％などであれば、それは、よく起こることだと言える。「両者のジャンケンの実力は等しい」という仮説は否定できず、まあ偶然に起こったことだろうと判定する。
この確率が5％以下であれば、「両者のジャンケンの実力は等しい」という仮説を捨て去り、両者のジャンケンの実力には差があると判定する。
仮説を捨て去ることは「棄却」といいます。
有意差を証明したい場合には、最初から仮説を捨て去りたいと考えているのですから、最初に立てる仮説は無に帰ることを期待して「帰無仮説」と呼ばれます。
まあ有意差を証明したいから検定をするのが普通ですね。
二人のジャンケンの実力には差があり仮説を棄却するなら、二人のジャンケンの実力には「有意差」があるといいます。
「有意差」とは“意味のある差”があるということです。
実は…、の話
発生確率が5％よりも大きい場合、偶然起きたことであり差は無いと判定します、と書いてきましたが、正確には「差があるとは言えない」という言い方をします。
ジャンケンの実力に差が無いという仮説の証明はできていないから、積極的に断定することはできず、こんな言い方になってしまいます。
ところで、わざわざ仮説を立てておいて、それを否定することで、自分の主張を証明しようとするのは、なぜでしょうか。
まわりくどくて、やりにくい気がしますよね。
その理由について、次の記事で書いていますので、もしよろしければ読んでみてください。
参考記事 仮説検定では、なぜまわりくどく、わかりにくい説明をするのか
小さな確率とは何％なのか
両者のジャンケンの実力は等しいと仮説を立て、結果が小さな確率でしか起こりえないものであれば、仮説を棄却し、有意な差があると判定するのが、検定ということでした。
では、小さな確率はどのくらいなのでしょうか。
有意水準は一般的には5％
この判定基準となる小さな確率とは、一般的には5％であることが多いです。
なぜ5％なのかというと、統計学の決まりごとのようなものであって、明確な根拠はないようです。100回に5回しか起こらないことなら偶然とは考えにくいよね、という考えです。
この偶然か偶然ではないかを分ける基準の確率のことを有意水準、あるいは棄却率といいます。有意水準5％、棄却率5％といった使い方をします。
「じゃあ、6％はどうなのか？5 ％も、6 ％もほとんど変わらないじゃないか。」
こんな声もあるかもしれませんが、どこかに線を引かなくてはいけませんので、5％を有意水準としたのであれば、1％違うだけの6％でも有意差は無いことにします。
有意水準は5％でも1％でもよい
有意水準の値は5％が用いられることが一般的ですが、必ずしも5％にしなくてはいけないわけでなく値を変えることは問題ありません。何を検定するのかによって有意水準を変えることはあります。
たとえば、人の命や健康に関わることであれば、間違いがあってはならないので1％など小さい値にします。
偶然に起こった確率が5％だった。それを見て仮説は間違っていると判断したとしましょう。でも本当は間違っていおらず、その5％の小さい確率のことが起きたかもしれませよね。もしそうであれば間違った判断をしてしまったことになります。
ですから間違いがあってはならないことは、１％など小さい有意水準を設定します。
逆に、 完全に決定をくだすのでなくて探索的に検定を行うのであれば、10％程度とします。
有意水準が小さすぎると少しの変化や前兆を見逃してしまうことになるからです。たとえ間違った判断をしてしまう可能性があっても、早く行動しておいたほうがいいことであれば有意水準を多少大きめに設定します。
有意水準をどこに設定するのかは経験や勘が試されます。
有意水準の値の設定については、こちらの記事で解説していますのでぜひ参考にしてください。
参考記事 有意水準5％？1％？その決め方