무작위 배정과 통제, 두 타당도의 상충

내적 타당도를 확보하는 핵심 장치는 집단을 같게 만드는 일이며, 그 방법에는 세 가지가 있다. 무작위 배정은 참여자를 우연에 맡겨 두 집단에 나누는 것이다. 가장 강력한데, 나이나 동기처럼 이름 붙일 수 있는 변수뿐 아니라 연구자가 생각조차 못 한 변수까지 두 집단에 고르게 흩어 놓기 때문이다. 여기서 조심할 것이 있다. 무작위 표집은 표본을 뽑는 일이고 무작위 배정은 뽑은 표본을 나누는 일이다. 앞은 외적 타당도에, 뒤는 내적 타당도에 이바지한다. 배합(짝짓기)은 결과에 영향을 줄 만한 특성이 같은 사람끼리 짝을 지어 한 명씩 두 집단에 보내는 방법이다. 표본이 적을 때 무작위 배정만으로는 두 집단이 우연히 달라질 수 있어 함께 쓰지만, 알고 있는 변수만 맞출 수 있다는 한계가 있다. 통계적 통제는 자료를 모은 뒤 분석에서 다른 변수의 영향을 덜어 내는 것으로, 공분산분석이나 회귀분석이 여기에 든다. 설계로 통제하지 못한 것을 사후에 보완하는 방법이며, 역시 측정해 둔 변수만 다룰 수 있다. 이 장치들을 강하게 걸수록 내적 타당도는 오르지만 상황이 인위적이 되어 외적 타당도는 떨어지기 쉽다. 둘은 자주 서로를 갉아먹으며, 어느 쪽을 앞세울지는 연구의 목적이 정한다. 새 개입이 정말 효과가 있는지 처음 확인하는 자리라면 내적 타당도가 먼저이고, 이미 검증된 개입을 현장에 퍼뜨릴지 판단하는 자리라면 외적 타당도가 앞선다. 한 가지 순서는 분명하다. 내적 타당도가 무너진 연구는 외적 타당도를 따질 것도 없다. 그 안에서 인과가 성립하지 않는 결과라면 다른 자리로 옮길 것 자체가 없기 때문이다. 그래서 둘이 상충한다고 해서 대등하게 저울질하는 것이 아니라, 내적 타당도를 최소한 확보한 뒤에 외적 타당도를 얼마나 내줄지 정하는 것이 실제 판단의 모양이 된다.

집단을 같게 만드는 세 방법은 언제 손을 쓰느냐로 갈린다. 나누기 전에 우연에 맡기는 것이 무작위 배정, 나누면서 짝을 맞추는 것이 배합, 다 모으고 나서 계산으로 덜어 내는 것이 통계적 통제다. 뒤로 갈수록 편하지만 힘은 약해지는데, 앞의 것은 이름도 모르는 차이까지 흩어 주고 뒤의 것은 내가 재어 둔 것만 다룰 수 있기 때문이다.