인과관계와 조사설계의 뜻

조사설계는 물음에 답하기 위해 누구에게서 언제 무엇을 재고 무엇을 견줄지 미리 짜 놓은 틀이다. 자료를 모으기 전에 정해지며, 한번 정해지면 뒤에 아무리 정교한 분석을 해도 설계가 주지 않은 답은 나오지 않는다. 그래서 설계는 연구의 뼈대이자 말할 수 있는 것의 한계를 정하는 일이다. 설계를 가르는 축은 인과를 얼마나 말할 수 있는가이다. 「프로그램이 효과가 있었다」고 말하려면 프로그램이 원인이고 변화가 결과임을 보여야 하는데, 여기에는 두 가지가 필요하다. 비교할 것과 다른 설명을 물리칠 근거다. 한 집단을 프로그램 전후로만 재면 좋아졌다는 사실은 알 수 있으나 그 변화가 프로그램 때문인지 시간이 흘러서인지 가릴 수 없다. 비교집단이 있어야 「프로그램을 받지 않았다면 어땠을까」에 대한 답을 세울 수 있고, 두 집단이 애초에 같았다는 보장이 있어야 그 비교가 뜻을 갖는다. 그 보장을 만들어 주는 것이 무작위 배정이다. 설계의 힘은 이 두 요소를 갖춘 정도로 층을 이룬다. 순수실험설계는 무작위 배정과 통제집단을 모두 갖추고, 유사실험설계는 비교집단은 있으나 무작위 배정이 없으며, 전실험설계는 둘 다 없거나 하나뿐이다. 사회복지 현장에서는 서비스를 무작위로 나누어 주는 일이 윤리적으로나 실무적으로 어려워 유사실험설계를 쓰는 일이 많다. 설계를 평가하는 두 잣대가 내적 타당도와 외적 타당도다. 앞은 이 연구 안에서 인과 진술이 믿을 만한가이고, 뒤는 그 결과를 다른 대상과 상황에 옮길 수 있는가다. 설계를 고르는 일은 이 두 타당도와 현실의 제약 사이에서 절충하는 일이다. 통제를 강하게 걸수록 내적 타당도는 오르지만 현장과 멀어져 외적 타당도가 떨어지고, 현장을 그대로 두고 관찰하면 그 반대가 된다. 그래서 좋은 설계란 모든 저해요인을 없앤 설계가 아니라, 어떤 요인을 통제했고 어떤 요인이 남았는지 스스로 아는 설계다.

설계란 결론을 미리 지켜 두는 일이다. 프로그램을 마친 뒤에 좋아진 참여자들을 보며 효과가 있었다고 말하고 싶어도, 견줄 대상을 만들어 두지 않았다면 그 말을 뒷받침할 방법이 없다. 자료를 다 모은 뒤에는 어떤 통계 기법으로도 없는 비교집단을 만들어 낼 수 없다. 그래서 설계는 연구를 시작하기 전에 하는 일이고, 그 시점에 정해진 것이 끝까지 말할 수 있는 범위를 정한다.