내적 타당도 저해요인 — 통계적 회귀·선정편향·상실·모방

앞 장의 네 가지에 이어, 집단을 어떻게 고르고 어떻게 유지했는가에서 오는 저해요인들이 있다. 통계적 회귀는 극단적인 점수를 가진 사람들을 골라 놓으면 다시 쟀을 때 평균 쪽으로 되돌아가는 현상이다. 우울점수가 가장 높은 사람들만 모아 프로그램을 하면, 아무것도 하지 않아도 다음번 점수는 낮아지기 쉽다. 그날따라 유난히 나빴던 사정이 다음번에는 없기 때문이다. 사회복지 프로그램은 대개 가장 어려운 사람을 선발하므로 이 요인이 늘 따라다닌다. 선정편향(선택편향)은 두 집단이 애초에 달랐던 것이다. 참여를 자원한 사람과 그렇지 않은 사람은 동기부터 다르고, 그 차이가 결과 차이로 나타나면 개입의 효과와 구별되지 않는다. 무작위 배정이 없는 모든 설계가 안는 근본 문제다. 상실(탈락)은 연구 도중 참여자가 빠져나가는 것이다. 단순히 수가 주는 것보다 누가 빠졌는가가 문제인데, 효과를 못 본 사람들이 주로 그만두면 남은 사람들만 보고 효과를 과대평가하게 된다. 모방(개입의 확산)은 통제집단이 개입 내용을 알게 되어 따라 하는 것이다. 같은 기관 이용자끼리는 정보가 쉽게 오간다. 이와 짝을 이루는 것으로, 통제집단이 뒤처지지 않으려 더 노력하는 경쟁, 반대로 의욕을 잃는 사기 저하, 통제집단에 보상을 주다 차이가 흐려지는 보상적 평준화가 있다. 뒤의 네 가지는 방향이 서로 다르다는 점을 눈여겨볼 만하다. 모방과 경쟁과 보상적 평준화는 두 집단의 차이를 줄여 효과를 실제보다 작게 보이게 하고, 사기 저하는 통제집단을 더 나빠지게 해 차이를 키운다. 그래서 이 요인들이 의심될 때는 「효과가 없었다」는 결론도 「효과가 컸다」는 결론도 그대로 받아들이기 어려워지며, 두 집단이 서로를 얼마나 알고 있었는지를 먼저 밝혀야 한다.

앞의 네 가지가 시간과 도구에서 온다면, 이 네 가지는 사람에서 온다. 누구를 골랐는가, 그들이 애초에 어떻게 달랐는가, 누가 중간에 나갔는가, 두 집단이 서로 영향을 주고받지는 않았는가. 특히 사회복지 현장은 가장 어려운 사람을 골라 돕고 같은 건물에서 서로 마주치는 곳이라, 이 요인들이 교과서 속 걱정이 아니라 실제로 매번 일어나는 일이 된다.