횡단조사와 종단조사

횡단조사에서 두 변수가 함께 움직이는 것이 확인되어도 인과라고 말할 수 없는 이유는 인과의 세 요건 가운데 둘을 확인하지 못하기 때문이다. 예를 들어 「사회활동 참여가 많은 노인일수록 우울 점수가 낮다」는 결과를 얻었다고 하자. 공변은 확인되었다. 그러나 시간적 선행은 알 수 없다 — 참여가 우울을 낮춘 것인지, 원래 우울하지 않은 사람이 더 참여한 것인지 한 시점의 자료로는 가릴 수 없다. 이것을 역인과(reverse causation)의 가능성이라 한다. 외생변수의 통제도 어렵다 — 건강이 좋은 사람이 참여도 많이 하고 우울도 낮을 수 있으며, 그렇다면 건강이 둘을 함께 움직인 제3의 변수다. 그래서 횡단조사의 결론은 「관련이 있다」까지가 정확하다. 다만 아무것도 못 하는 것은 아니다 — 통계적으로 제3의 변수를 통제하는 방법이 있고, 과거의 사건처럼 시간 순서가 논리적으로 분명한 변수(출생 순위, 학력, 과거의 경험)라면 선행을 전제할 수 있다. 이런 경우에도 결론은 신중한 표현으로 적는 것이 원칙이다.

종단조사의 가장 큰 위협이 표본의 상실(attrition)이다. 단순히 표본이 작아지는 문제가 아니라, 누가 빠지는가가 무작위가 아니라는 것이 진짜 문제다. 빠지는 사람에게는 대개 공통점이 있다 — 건강이 나빠졌거나, 이사가 잦거나, 형편이 어려워졌거나, 조사에 지쳤거나, 상태가 크게 나아져 관심이 없어진 경우다. 그러면 남은 표본은 처음의 모집단과 다른 집단이 되고, 여기서 얻은 결과는 체계적으로 기울어진다. 프로그램 효과 연구에서 잘 안 되는 참여자가 먼저 그만두면 남은 사람의 평균이 좋아 보이는데, 이것을 효과로 읽으면 오류다. 줄이는 방법이 몇 가지 있다. 첫째, 연락 정보를 여러 개 확보한다 — 본인 외에 연락 가능한 사람을 함께 받아 둔다. 둘째, 조사 부담을 줄인다 — 문항 수와 소요 시간이 이탈을 크게 좌우한다. 셋째, 관계를 유지한다 — 중간에 결과를 알려 주거나 안부를 전하면 참여가 이어진다. 넷째, 빠진 사람의 특성을 분석한다 — 완전히 막을 수 없으므로, 남은 사람과 빠진 사람이 어떻게 다른지를 밝혀 결과 해석에 반영한다.