통계적 가설검정의 절차와 유의수준

추론통계는 표본에서 얻은 값으로 모집단에 대해 말하는 통계다. 그 중심 절차가 가설검정이며, 순서는 정해져 있다. 먼저 영가설(귀무가설)과 대립가설(연구가설)을 세운다. 영가설은 「차이가 없다·관계가 없다」는 진술이고, 대립가설은 연구자가 주장하려는 진술이다. 검정은 늘 영가설을 겨냥해 이루어지는데, 「없다」는 진술이라야 자료로 반박할 수 있기 때문이다. 다음으로 유의수준을 정한다. 보통 0.05나 0.01을 쓰며, 영가설이 참인데도 기각하는 잘못을 얼마까지 감수할지 미리 정해 두는 값이다. 그리고 자료로 검정통계량과 유의확률(p값)을 구해, p값이 유의수준보다 작으면 영가설을 기각하고 크면 기각하지 못한다. 판단에는 두 가지 잘못이 따른다. 제1종 오류는 영가설이 참인데 기각하는 것으로 「없는 것을 있다고 하는」 잘못이며, 그 확률이 곧 유의수준이다. 제2종 오류는 영가설이 거짓인데 기각하지 못하는 것으로 「있는 것을 없다고 하는」 잘못이다. 둘은 맞바꿈 관계여서 유의수준을 낮추면 제1종 오류는 줄지만 제2종 오류가 는다. 제2종 오류를 범하지 않을 확률을 검정력이라 하며, 표본이 클수록 커진다. 마지막으로 읽는 법이 중요하다. 기각하지 못했다는 것은 영가설이 참이라는 증명이 아니라 반박할 근거가 모자랐다는 뜻이다. 또 통계적으로 유의하다는 말이 효과가 크다는 뜻도 아니다. 표본이 아주 크면 사소한 차이도 유의해지므로, 유의확률과 함께 효과크기를 보아야 한다. 한 가지 더, 가설은 자료를 보기 전에 세워야 한다. 자료를 훑어 눈에 띄는 차이를 발견한 뒤 그것을 애초의 가설이었던 양 검정하면, 우연히 생긴 차이를 발견으로 둔갑시키게 된다. 여러 변수를 이것저것 검정해 보다가 유의하게 나온 것만 골라 보고하는 일도 같은 잘못이며, 검정 횟수가 늘수록 우연한 유의가 반드시 섞여 들기 때문이다.

가설검정은 「우연히 이럴 수도 있었을까」를 따지는 절차다. 두 집단의 평균이 다르게 나왔을 때, 정말 다른 것인지 아니면 표본을 뽑다 보니 우연히 그렇게 된 것인지 가려야 한다. 그래서 「차이가 없다」고 가정해 놓고, 그 가정 아래에서 지금 같은 자료가 나올 법한지 계산한다. 좀처럼 나오기 어려운 자료라면 애초의 가정을 버리고, 흔히 나올 만한 자료라면 가정을 버릴 근거가 없다고 말한다.