仮説検定の枠組み

仮説検定は、標本のデータを使い、母集団についての仮説を退けてよいかを確率にもとづいて判断する手法である。

まず、退けられるかを確かめたい仮説 (帰無仮説、例えば「2 つの売り場で平均購入額に差はない」) と、その反対の対立仮説を立てる。次に、帰無仮説が正しいとしたら標本の結果がどれほど起こりにくいかを確率で表し、前もって決めた境目 (有意水準) を下回れば帰無仮説を棄却 (退けること) して対立仮説を採る。棄却できなかったときも帰無仮説が正しいと証明されたわけではなく、「差があるとは言えない」という結論にとどまる。

たとえ刑事裁判で、まず被告人は無罪だと仮定し、その仮定では説明しにくいほど強い証拠がそろったときだけ有罪とする進め方に似ている。証拠が足りずに有罪にできなくても、無実が証明されたことにはならない点も同じである。

覚え方「帰無」は「無に帰す」。退けられることを見込んで立てる仮説なので、この名で呼ばれる。

有意水準は、帰無仮説を棄却するかどうかの境目となる確率で、検定を行う前に決めておく。

例えば 5% や 1% がよく使われ、帰無仮説が正しいとしたときに標本の結果かそれ以上に偏った結果が起こる確率がこれを下回ると、「偶然とは考えにくい」として棄却する。有意水準は、実際には正しい帰無仮説を棄却してしまう確率をどこまで許すかを決める値でもある。小さく設定するほど、棄却の条件は厳しくなる。

たとえ「これより珍しい出来事なら偶然とは見なさない」と前もって引いておく合格線のようなもの。結果を見てから線を動かすと、判断が都合よく変わってしまう。

覚え方「有意」は「偶然では片づけられない意味が有る」。境目を下回った結果を「有意な差」と呼ぶ。

第1種の誤りは、帰無仮説が実際には正しいのに、それを棄却してしまう誤りである。

本当は差がないのに「差がある」と結論づけることにあたる。この誤りが起こる確率は、検定の前に決めた有意水準を超えないように抑えられている。例えば、新しい広告に効果がないのに、たまたま売上が伸びた標本を見て「効果あり」と判断する場合がこれにあたる。

たとえ健康な人が健康診断で「要精密検査」と判定されるようなもの。何も起きていないのに、異常ありと言ってしまう失敗である。

覚え方別名「あわてものの誤り」。慌てて「差がある」と言ってしまう、と結び付ける。

第2種の誤りは、帰無仮説が実際には誤っているのに、それを棄却せずに見逃す誤りである。

本当は差があるのに「差があるとは言えない」と結論づけることにあたる。例えば、新しい教材に効果があるのに、集めた標本が少なくて差がはっきりせず、効果を見逃す場合がこれにあたる。ほかの条件が同じなら、標本を大きくするほどこの誤りは起こりにくくなる。

たとえ病気が始まっている人が健康診断で「異常なし」とされるようなもの。起きている変化を見落としてしまう失敗である。

覚え方別名「ぼんやりものの誤り」。ぼんやりしていて、あるはずの差を見落とす、と結び付ける。