영가설과 연구가설, 제1종·제2종 오류

제1종과 제2종 오류 가운데 어느 것을 더 경계할지는 상황이 정한다. 전통적으로 과학은 제1종 오류를 더 무겁게 보아 유의수준을 낮게 잡아 왔다 — 없는 효과를 있다고 주장하는 것이 학문에 더 해롭다고 보았기 때문이다. 그러나 실천의 자리에서는 다를 수 있다. 효과가 있는 개입을 없다고 판정하면(제2종) 도움이 될 서비스가 중단되고, 그 대가는 이용자가 치른다. 반대로 효과가 없는 개입을 있다고 판정하면(제1종) 쓸모없는 사업에 자원이 계속 들어가고, 더 나은 대안이 밀린다. 위험이 큰 개입(부작용이 있는 처치, 강제성이 따르는 조치)에서는 제1종 오류를 특히 경계해야 하고, 위험이 낮고 비용이 적은 개입에서는 제2종 오류를 더 걱정하는 편이 합리적이다. 실무적으로 중요한 것은 검정력을 미리 확보하는 것이다. 표본이 너무 작으면 실제로 효과가 있어도 유의하게 나오지 않으며, 그 결과 「효과 없음」으로 보고되어 사업이 중단된다. 그래서 평가 설계 단계에서 필요한 표본 크기를 미리 계산해 두는 것이 두 오류를 함께 줄이는 가장 실용적인 방법이다.

통계 결과를 읽을 때 가장 자주 저지르는 잘못이 유의성과 중요성을 같은 것으로 보는 것이다. 「p < .05」는 「이 정도의 차이가 우연히 나올 가능성이 낮다」는 뜻이지 「이 차이가 크다」거나 「실천에서 뜻이 있다」는 뜻이 아니다. 두 가지가 이 오해를 부른다. 첫째, 표본 크기의 효과. 표본이 아주 크면 실질적으로 무의미한 차이도 통계적으로 유의하게 나온다. 만 명을 조사하면 척도 점수 0.3점 차이도 유의해질 수 있는데, 그 0.3점이 삶에서 무엇을 뜻하는지는 통계가 답하지 않는다. 둘째, 「유의하지 않다」의 오독. 유의하지 않은 결과는 「차이가 없다」가 아니라 「차이가 있다고 말할 근거가 부족하다」이며, 표본이 작았을 가능성이 크다. 이 둘을 막는 방법이 효과 크기(effect size)를 함께 보고하는 것이다. 유의성은 「우연인가」를 답하고 효과 크기는 「얼마나 큰가」를 답하므로, 둘을 함께 보아야 실천으로 옮길 판단이 선다. 여기에 신뢰구간을 덧붙이면 그 추정이 얼마나 정확한지까지 알 수 있다.