내적 타당도 저해요인 — 외부사건·성숙·검사·도구

내적 타당도는 관찰된 변화가 정말 개입 때문에 생긴 것인가에 대한 믿음의 정도다. 개입이 아닌 다른 것으로도 그 변화를 설명할 수 있다면 내적 타당도가 낮은 것이며, 그 다른 설명들을 저해요인이라 부른다. 저해요인을 외우는 목적은 이름을 대는 데 있지 않고, 내 연구에서 어떤 설명이 아직 살아 있는지 점검하는 데 있다. 외부사건(역사)은 연구가 진행되는 동안 밖에서 일어난 사건이 결과에 영향을 주는 것이다. 취업지원 프로그램을 하는 사이 경기가 좋아졌다면 취업률 상승이 프로그램 때문인지 경기 때문인지 가릴 수 없다. 성숙은 시간이 흐르며 대상 자체가 자연히 변하는 것이다. 아동은 가만두어도 언어 능력이 늘고, 사별의 슬픔은 시간이 지나면 옅어진다. 기간이 길수록, 대상이 변화가 빠른 시기에 있을수록 크게 작용한다. 검사(주시험) 효과는 사전검사를 받았다는 사실 자체가 사후검사에 영향을 주는 것이다. 같은 문항을 다시 만나 익숙해지거나, 검사를 받으며 자기 상태를 자각해 행동이 달라지는 경우다. 도구 효과는 재는 도구나 방식이 앞뒤로 달라져서 생기는 변화다. 사전과 사후에 다른 척도를 쓰거나, 같은 척도라도 관찰자가 바뀌거나 익숙해져 기준이 달라지면 실제 변화가 없어도 점수가 달라진다. 네 가지는 모두 비교집단이 있으면 상당 부분 걷힌다. 비교집단도 같은 시기를 지나고 같은 검사를 받고 같은 도구로 재기 때문에, 두 집단의 차이에서 이 요인들이 상쇄된다. 다만 상쇄된다는 말은 두 집단에 똑같이 작용했을 때에만 성립한다. 개입집단만 다른 프로그램을 함께 받았다면 외부사건은 상쇄되지 않고, 개입집단만 사후검사를 더 정성껏 받았다면 도구 효과가 남는다. 그래서 비교집단을 두는 것으로 끝내지 말고 두 집단이 개입 말고 무엇을 다르게 겪었는지를 기록해 두어야 하며, 그 기록이 결과를 해석하는 근거가 된다.

개입이 효과가 있었다고 말하려면 「그 사이에 다른 일은 없었는가」라는 물음을 통과해야 한다. 밖에서 무슨 일이 있었는지, 그냥 두어도 좋아질 사람들이었는지, 앞서 받은 검사가 뒤의 검사를 도와준 것은 아닌지, 재는 자가 앞뒤로 달라지지는 않았는지를 차례로 묻는 일이다. 이 물음들에 「그럴 수 있다」가 남아 있는 만큼 효과 주장의 힘은 줄어든다.