개념 정리
통계적 검증은 두 개의 가설을 세워 놓고 진행한다. 연구가설(대립가설, H1)은 연구자가 주장하려는 것으로 「차이가 있다」, 「관계가 있다」는 진술이다. 영가설(귀무가설, H0)은 그 반대로 「차이가 없다」, 「관계가 없다」는 진술이다.
검증의 방식이 특이하다. 연구가설을 직접 증명하는 것이 아니라 영가설을 기각할 수 있는지를 따진다. 자료가 「차이가 없다」로는 설명하기 어려울 만큼 강하면 영가설을 기각하고 연구가설을 채택한다. 반대로 기각할 만큼 강하지 않으면 영가설을 기각하지 못한다. 이때 「영가설이 참임을 증명했다」고 말하지 않는다는 점이 중요하다.
판단에는 언제나 틀릴 가능성이 따르며, 두 방향의 오류가 있다. 제1종 오류(Type I error, α) — 영가설이 참인데 기각하는 오류다. 실제로는 차이가 없는데 있다고 판정하는 것이며, 없는 효과를 있다고 하는 잘못이다. 제2종 오류(Type II error, β) — 영가설이 거짓인데 기각하지 못하는 오류다. 실제로는 차이가 있는데 없다고 판정하는 것이며, 있는 효과를 놓치는 잘못이다.
유의수준(α)은 제1종 오류를 얼마나 허용할지 미리 정해 둔 기준이며 흔히 .05나 .01을 쓴다. 유의수준을 낮추면 제1종 오류는 줄지만 제2종 오류는 늘어난다 — 둘은 서로 맞바꾸는 관계다. 검정력(power, 1−β)은 실제로 있는 차이를 찾아내는 능력이며, 표본 크기를 늘리면 두 오류를 함께 줄일 수 있다.
결과를 읽을 때는 유의성과 효과 크기를 함께 본다. 유의성은 「우연으로 보기 어려운가」를 답할 뿐 「얼마나 큰 차이인가」는 말해 주지 않으며, 표본이 크면 실질적으로 무의미한 차이도 유의하게 나온다. 그래서 효과 크기와 신뢰구간을 함께 보고하는 것이 원칙이다.
이해하기
통계 검증은 내 주장을 증명하는 방식이 아니라 반대 주장을 무너뜨리는 방식으로 진행된다. 차이가 없다는 가정을 세워 놓고 자료가 그것으로 설명되지 않을 만큼 강한지를 따지는 것이다. 그래서 결론도 조심스럽다. 기각하지 못했다는 것은 차이가 없다는 뜻이 아니라 차이가 있다고 말할 만큼의 근거가 없다는 뜻이다.
핵심 포인트
- 통계적 검증은 연구가설(대립가설, H1)과 영가설(귀무가설, H0) 둘을 세워 놓고 진행한다.
- 연구가설은 연구자가 주장하려는 「차이가 있다·관계가 있다」는 진술을 말한다.
- 영가설은 그 반대로 「차이가 없다·관계가 없다」는 진술이며 검증의 실제 대상이다.
- 검증은 연구가설을 직접 증명하지 않고 영가설을 기각할 수 있는지를 따지는 방식으로 한다.
- 기각하지 못했을 때 「영가설이 참임을 증명했다」고 말하지 않는 것이 중요한 원칙이다.
- 제1종 오류(α) — 영가설이 참인데 기각하는 오류로 없는 효과를 있다고 하는 잘못이다.
- 제2종 오류(β) — 영가설이 거짓인데 기각하지 못하는 오류로 있는 효과를 놓치는 잘못이다.
- 유의수준(α)은 제1종 오류를 얼마나 허용할지 미리 정한 기준이며 흔히 .05나 .01을 쓴다.
- 유의수준을 낮추면 제1종 오류는 줄지만 제2종 오류는 늘어나 둘은 맞바꾸는 관계에 있다.
- 검정력(1−β)은 실제 차이를 찾아내는 능력이며 표본을 늘리면 두 오류를 함께 줄일 수 있다.