標本が大きいとわずかな効果でも有意になります。 標本が大きくなるにつれて標準誤差は小さくなるため、無視できるほどの差でも小さな p 値を生みます。実質的な重要性を判断するには、p 値を効果量や信頼区間と併せて読む必要があります。
統計的有意性は解釈の出発点であり、それ単独で結論を下すものではありません。
よくある質問 (FAQ)
p値とは何ですか
p 値とは、帰無仮説が真であると仮定したときに、観測された値と同等以上に極端な検定統計量が得られる確率です。データが帰無仮説のもとでどの程度起こりにくいかを示します。p 値が小さいほど、帰無仮説が真であればその結果は起こりにくく、帰無仮説に反する証拠とみなされます。p 値は帰無仮説が真である確率ではありません。
片側検定と両側検定はどう違いますか
両側検定はどちらの方向の差も検出するため、分布の両方の裾の確率を合算します(p = 2[1 − Φ(|z|)])。片側検定は事前に定めた一方向の差だけを対象とし、片方の裾のみを用います。右側検定では p = 1 − Φ(z)、左側検定では p = Φ(z) となります。