統計的検定の論理

検定の論理

 統計解析では、得られたデータの意味を確率に基づいて判断する。
 例えば、あるい意見に賛成する人の割合が、女性は55%、男性は60%であったとする。このときの5%の差は、はたして意味がある差であろうか?
 標本調査では、無作為に抽出したサンプルと母集団との間で、比率や関連性に誤差(標本誤差)が生じる。すなわち上の例であれば、母集団においては男女の賛成の比率が全く同じであっても、抽出の際にいくぶんかのズレが起こってしまう。そのため、サンプルにおいて差が見られたからといって、直ちに母集団においても差があるとは言えない。
 しかし、もしサンプリングが無作為に行われていたなら標本誤差が生じる確率は計算することができる。すなわち、「母集団において男女に差がない場合にサンプルにおいて5%以上の差が生じる確率」を計算することができるのである。そこで、この値を実際に計算し確率が十分に低ければ、それは標本誤差によって(偶然に)起こったことではなく、もともと母集団においても差があったのだと判断する。

 以上のことをまとめると、統計的検定の手続きは以下のようになる。

有意水準

 それでは、確率がどの程度小さければ帰無仮説を棄却して良いのだろうか。
 この点に関しては、唯一絶対の正解というものはなく、分析者が分析の目的やデータの性質(特にサンプルの大きさ)などに応じてあらかじめ基準を設定し、その基準を満たしたものをとりあえず「有意な差がある」と判断していくしかない。この基準のことを「有意水準」(「危険率」とも言う)と呼ぶ。一般的な社会調査では、5%、1%などが用いられることが多い。

サンプルの大きさと統計的検定

 一般にサンプルが大きくなるほど、サンプルの統計量が母集団の統計量と大きく乖離する確率は小さくなってゆく。上の例であれば、母集団で男女の比率が同じ場合にサンプルで5%の差が生じる確率は、サンプルが大きくなるほど小さくなってゆく。
 これを逆に考えると、サンプルが大きいほど統計的に有意な結果が出やすいということである。
 もし母集団において軽微な差があった場合には、小さなサンプルではそれを統計的に証明することはできないが、大きなサンプルでは可能になる。