検定とはどういう行為なのか。その考え方

シェアする

検定の考え方

検定とは、判断を下す行為です。 偶然に起きたのか、それとも偶然ではなくその事象を起こす原因があって起こるべくして起きたのか判定をします。統計学における検定のルールを、ジャンケンの勝負で理解していきましょう。

「私はジャンケンに強いんだ。」

こう言い張る友人がいました。その友人がジャンケンで勝負をしようじゃないかと、あなたに話を持ちかけてきました。統計学を学んでいるあなたは、「そんなことはあるものか。勝負をして勝敗の確率をみてみようじゃないか」と勝負を受けて立ちました。

statistical-test

・1回目 ・・・ 負け

最初の勝負は負けてしまいました。勝率1/2ですから、負けてしまったこと自体、不思議ではありません。

2回目の勝負

・1回目 ・・・ 負け
・2回目 ・・・ 負け

2回目の勝負でも負けてしまいました。2回連続で負けて悔しいですが、2回連続で負ける確率は、1/2×1/2で1/4です。1/4ならまあよくあるといえるでしょう。

3回目の勝負

・1回目 ・・・ 負け
・2回目 ・・・ 負け
・3回目 ・・・ 負け

さらに4回目の勝負

・1回目 ・・・ 負け
・2回目 ・・・ 負け
・3回目 ・・・ 負け
・4回目 ・・・ 負け

4回連続で負けてしまいました。4回連続で負ける確率は、1/2×1/2×1/2×1/2で1/16です。0.0625ですから、4回連続で負ける確率は6.25%です。そして最後の勝負として挑んだ5回目も、負けてしましました。

・1回目 ・・・ 負け
・2回目 ・・・ 負け
・3回目 ・・・ 負け
・4回目 ・・・ 負け
・5回目 ・・・ 負け

ついに5回連続で負けてしまいました、5回連続で負けてしまう確率は、1/32ですから、0.0312で%になおすと3.12%です。逆にいえば友人が5回連続で勝つ確率も3.12%ということです。 両者のジャンケンの実力が同じであると仮定したら、友人が5回連続で勝つ確率は、3.12%と相当に小さい確率になってしまいます。こんな偶然が起こったというのでしょうか。

こんなに小さい確率なのですから、友人はまぐれで勝ち続けたと考えるよりも、友人がいうようにジャンケンが強くて、勝つべくして勝ったということを認めざるをえません。 「私はジャンケンに強いんだ。」と言ったとおり、“友人はジャンケンが強い”と判定することになりました。

偶然に起こるのであれば、3.12%という小さい確率ですので、偶然ではなくきちんとした要因があって起こったと判断をしたわけです。 この偶然に発生する確率が、どのくらいの数字であれば、こういった判断ができるのでしょうか。

統計学での約束事として、5%を一つの目安として定めています。

ジャンケンで言えば、運の勝負で勝率は1/2であり、偶然5回連続で勝つ確率は5%以下です。5回連続で勝ったのであれば、5%以下の小さな確率のことはめったに起きないだろう、 だからジャンケンが強いから5回連続で勝ったのだ、と判断するわけです。このように判断を下す行為を「検定」といいます。

仮説を検定する流れ

上のジャンケンの勝負での検定は、まず最初に「ジャンケンは運の勝負であり、勝率は1/2である」と仮説を立てていることになり、 その後実際に行ったジャンケンの結果から、この仮説は妥当かどうかを判断しています。検定には、まず仮説ありきになるのです。

ジャンケンの実力は等しい、と仮説を立てます。ジャンケンの実力が同じで勝率1/2と仮定するならば、5回連続で友人が勝つ確率は3.12%です。

ジャンケンの結果をみて、それが起こる確率を計算します。

この確率が5%を越えているのであれば、50%ではなかったとしても、「両者のジャンケンの実力は等しい」という仮説は否定できず、まあ偶然に起こったことだろうと判定します。
この確率が5%以下であれば、「両者のジャンケンの実力は等しい」という仮説を捨て去り、両者のジャンケンの実力には差があると判定をします。

このとき、ジャンケンの実力には「有意差」があるといいます。意味のある差があるということです。

仮説を捨て去ることを「棄却」といいます。

有意差を証明したい場合には最初から仮説を捨て去りたいと考えているのですから、最初に立てる仮説は無に帰ることを期待して「帰無仮説」と呼ばれます。

5%より大きいのであれば、小さい確率とはみなさずに偶然に起こったことだ、とします。 たとえば、4回連続で負けただけであれば、その確率は6.25%で、5%を下回っていませんから、仮説を捨てることができず、 偶然で4回負けたこととします。両者の実力に有意差はないと判定したわけです。

小さな確率とは何%なのか

両者のジャンケンの実力は等しいと仮説を立て、結果が小さな確率でしか起こりえないものであれば、仮説を棄却し、有意な差があると判定するのが、検定ということでした。

このふつうじゃ起こりえない小さな確率は、通常では5%とします。統計学の決まりごととして、一般的には5%と定めています。100回に5回しか起こらないことなら偶然とは考えにくいよね、ということです。

この数値のことを有意水準、あるいは棄却率といいます。有意水準5%、棄却率5%といった使い方です。

6%でも変わらないじゃないかとの声もあるかもしれませんが、どこかに線を引かなくてはいけませんので、5%を有意水準としたのであれば、1%違うだけの6%でも有意差はないこととします。

しかし、けっしてなにがなんでも5%とするのでなく、何を検定するのかによって、有意水準を変えることがあります。

人の命や健康に関わることであれば、間違いがあってはならないので、1%としますし、逆に、 完全に決定をくだすのでなくて探索的に検定を行うのであれば、10%程度とします。有意水準が小さすぎると、少しの変化、前兆を見逃してしまうことにつながりますから、たとえ間違った判断でも行動しておいたほうがいいのであれば、有意水準を多少大きめに設定します。

「偶然にそれしか起こらないのか」と「偶然にそんなおこるのか」、どちらで受け取るかは、経験や勘が試されます。