함께 변하는가→무엇이 먼저인가→제3의 변수는 없는가→그제야 인과를 말한다
설계별로 갖출 수 있는 요건| 설계 | 공변 | 시간적 선행 | 외생변수 통제 |
|---|
| **순수실험설계** | 확인 | 확인 — 사전·사후 | 무작위 배정으로 확보 |
|---|
| **유사실험설계** | 확인 | 확인 — 사전·사후 | 약함 — 무작위 배정이 없다 |
|---|
| **종단조사** | 확인 | 확인 — 여러 시점 | 통계적 통제에 의존 |
|---|
| **횡단조사** | 확인 | 확인 어려움 | 통계적 통제에 의존 |
|---|
| **사례연구** | 제한적 | 맥락에서 추정 | 확보하지 않는다 |
|---|
더 알아보기
셋째 요건이 가장 어려운 까닭
세 요건 가운데 외생변수의 통제가 결정적으로 어려운 이유는 무엇을 통제해야 하는지 다 알 수 없기 때문이다. 연구자가 떠올린 변수는 재어서 통계로 통제할 수 있지만, 떠올리지 못한 변수는 재지도 못하고 따라서 통제할 수도 없다. 이것을 미측정 교란(unmeasured confounding)이라 한다. 여기서 무작위 배정의 힘이 나온다. 참여자를 우연에 맡겨 두 집단에 나누면, 이름을 붙이지 못한 변수까지 포함해 모든 특성이 두 집단에 고르게 흩어진다. 그래서 뒤에 나타난 차이를 처치의 효과로 돌릴 수 있게 된다. 무작위 배정이 인과 추론의 황금 기준으로 불리는 까닭이 여기에 있다. 다만 사회복지 현장에서는 무작위 배정이 어려운 경우가 많다 — 필요한 사람에게 서비스를 주지 않는 것이 윤리적으로 문제가 되고, 기관의 사정상 대상을 임의로 나눌 수 없기 때문이다. 그래서 실무에서는 유사실험설계를 쓰고, 통제하지 못한 요인을 밝히며, 여러 시점의 자료와 비교집단으로 그 약점을 메운다.
실무에서 인과를 조심스럽게 말하는 법
현장의 평가에서 세 요건을 다 갖추기는 어렵다. 그렇다고 아무 말도 하지 못하는 것은 아니며, 어디까지 말할 수 있는지를 정확히 아는 것이 요령이다. 층을 나누어 보자. 관련이 있다 — 공변만 확인된 상태다. 「참여자와 비참여자 사이에 점수 차이가 있었다」까지 말한다. 변화가 있었다 — 사전·사후를 재어 시간의 축이 생긴 상태다. 「참여 뒤 점수가 낮아졌다」고 말할 수 있으나, 시간이 지나 저절로 좋아졌을 가능성(성숙)은 남는다. 비교집단보다 나았다 — 비교집단이 있으면 성숙과 외부사건의 상당 부분이 걸러진다. 「비교집단보다 더 크게 낮아졌다」까지 말할 수 있다. 효과가 있었다고 볼 만하다 — 무작위 배정까지 있으면 인과에 가장 가까워진다. 실무 보고서에서 중요한 것은 이 층 가운데 어디에 서 있는지를 밝히고 그 이상으로 쓰지 않는 것이다. 그리고 통제하지 못한 요인을 한계로 적어 두면, 결론의 신뢰도는 오히려 올라간다.