순수실험설계 — 통제집단 사전사후·사후·솔로몬

순수실험설계(진실험설계)는 무작위 배정과 통제집단, 그리고 개입의 조작을 모두 갖춘 설계다. 내적 타당도가 가장 높아 인과를 말하는 힘이 가장 세다. 세 가지 기본형이 있다. 통제집단 사전사후검사 설계는 무작위로 나눈 두 집단 모두에게 사전검사를 하고, 한쪽에만 개입한 뒤 두 집단 모두 사후검사를 한다. 가장 널리 쓰이며, 사전점수가 있어 변화량을 볼 수 있고 두 집단이 애초에 같았는지도 확인할 수 있다. 다만 사전검사 자체의 영향을 피하지 못한다. 통제집단 사후검사 설계는 사전검사를 생략하고 개입 뒤에만 잰다. 무작위 배정으로 두 집단이 같다고 볼 수 있으므로 사전검사가 없어도 비교가 성립하며, 검사 효과와 검사·처치 상호작용을 없앤다는 것이 이점이다. 대신 변화량을 알 수 없고, 두 집단이 정말 같았는지 자료로 보여 주지 못한다. 솔로몬 4집단 설계는 앞의 두 설계를 합쳐 네 집단을 둔다. 사전검사를 받고 개입한 집단, 사전검사를 받고 개입하지 않은 집단, 사전검사 없이 개입한 집단, 사전검사도 개입도 없는 집단이다. 이렇게 하면 개입의 효과와 사전검사의 효과, 그리고 둘의 상호작용까지 갈라 낼 수 있다. 가장 엄밀하지만 집단이 네 개라 표본과 비용이 크게 들어 실제로는 드물게 쓰인다. 세 설계를 고르는 기준은 분명하다. 변화량이 필요하면 사전사후, 검사 효과가 걱정되면 사후검사만, 그 검사 효과의 크기까지 알아야 하면 솔로몬이다. 세 설계가 공통으로 얻는 것은 내적 타당도의 대부분이다. 무작위 배정이 선정편향을 막고, 통제집단이 외부사건·성숙·검사·도구·통계적 회귀를 두 집단에 함께 작용시켜 상쇄한다. 남는 것은 주로 상실과 모방인데, 이 둘은 배정 뒤에 생기는 일이라 설계만으로는 막히지 않고 실행 과정에서 관리해야 한다. 순수실험설계를 썼다는 말이 모든 저해요인을 없앴다는 뜻은 아니라는 점을 기억해 둘 만하다.

세 설계는 사전검사를 어떻게 다루느냐로 갈린다. 사전검사는 변화량을 보여 주는 이점과 응답자를 물들이는 부담을 함께 가진 장치다. 그래서 이점을 취하면 사전사후 설계가 되고, 부담을 피하면 사후검사 설계가 되며, 둘 다 놓치기 싫어 사전검사를 받은 집단과 받지 않은 집단을 함께 두면 솔로몬 설계가 된다. 얻는 것이 늘수록 집단 수와 비용도 함께 늘어난다.