외적 타당도와 그 저해요인

외적 타당도는 연구에서 얻은 결과를 다른 대상·다른 상황·다른 시기에도 옮겨 말할 수 있는가를 뜻한다. 내적 타당도가 「이 연구 안에서 인과가 성립하는가」를 묻는다면, 외적 타당도는 「그래서 이 결과가 우리 현장에도 해당하는가」를 묻는다. 아무리 잘 통제된 실험이라도 그 결과가 실험실 밖에서 재현되지 않는다면 실천에 쓸모가 적다. 저해요인은 크게 넷이다. 표본의 대표성 부족은 가장 흔한 문제로, 참여를 자원한 사람이나 한 기관 이용자만으로 얻은 결과를 전체에 옮길 수 없다는 것이다. 연구 상황의 인위성(반응적 상황 효과)은 참여자가 연구에 참여하고 있다는 사실 자체가 행동을 바꾸는 것으로, 관찰받고 있다는 이유만으로 성과가 오르는 호손 효과가 여기에 든다. 검사와 처치의 상호작용은 사전검사를 받은 사람에게만 개입이 잘 듣는 경우다. 사전검사가 문제를 자각하게 만들어 개입 효과를 키웠다면, 사전검사 없이 프로그램만 제공하는 실제 현장에서는 같은 효과가 나오지 않는다. 여러 처치의 간섭은 참여자가 다른 프로그램도 함께 받고 있어 그 조합의 효과가 잡히는 경우다. 외적 타당도를 높이는 길은 몇 갈래다. 표본을 확률표집으로 뽑고, 여러 기관과 지역에서 되풀이해 검증하며, 연구 상황을 되도록 평소와 가깝게 유지하고, 사전검사가 필요 없는 설계를 쓰거나 솔로몬 설계처럼 사전검사의 영향을 따로 재는 설계를 고른다. 다만 외적 타당도는 어느 수준을 넘으면 확보되는 성질이 아니라, 얼마나 비슷한 자리로 옮기는가에 따라 매번 새로 판단되는 것이다. 그래서 보고서에는 참여자와 현장의 조건을 자세히 적어 읽는 사람이 스스로 견주게 한다. 같은 결과라도 옮기려는 자리가 원 연구와 얼마나 닮았는지에 따라 판단이 달라지기 때문이다.

실험실에서 잘 듣는 약이 마을 보건소에서도 잘 듣는가 하는 물음이다. 참여자를 까다롭게 골라 조건을 깔끔하게 맞추면 효과는 또렷하게 보이지만, 그렇게 고른 사람들은 우리가 실제로 만나는 사람들과 다르다. 조건을 조일수록 결론은 선명해지고 옮겨 쓸 자리는 좁아진다. 그래서 좋은 연구는 결과와 함께 그 결과가 어떤 사람들에게서 어떤 상황에서 나왔는지를 함께 알려 준다.