구성타당도 — 수렴·판별타당도와 요인분석

구성타당도는 척도가 이론이 말하는 개념 구조대로 움직이는가를 확인하는 타당도 근거다. 우울이라는 개념이 불안과는 어느 정도 함께 가고 자존감과는 반대로 가며 신발 크기와는 아무 상관이 없어야 한다면, 그 척도의 점수도 그렇게 움직여야 한다는 발상이다. 눈에 보이지 않는 개념을 재는 사회복지 조사에서 가장 중요하게 다루는 근거이며, 기준으로 삼을 잣대가 없는 새 개념에도 쓸 수 있다. 확인하는 길은 크게 셋이다. 수렴타당도는 같은 개념을 재는 다른 도구와 높은 상관을 보이는지 본다. 새 우울척도가 이미 인정받은 우울척도와 잘 맞으면 수렴 근거가 쌓인다. 판별타당도는 다른 개념을 재는 도구와는 상관이 낮은지 본다. 우울척도가 불안척도와 지나치게 높은 상관을 보인다면 둘을 가르지 못하고 있다는 뜻이므로, 이때는 수렴이 아니라 판별이 무너진 것이다. 수렴과 판별은 함께 갖추어야 뜻이 있으며, 둘 다 높은 상관만 좇으면 무엇이든 재는 척도가 되어 버린다. 요인분석은 문항들이 실제로 몇 개의 묶음으로 뭉치는지를 자료에서 확인하는 통계 방법이다. 이론이 세 영역이라 말했는데 문항이 두 덩어리로만 뭉친다면 개념 구조와 척도가 어긋나 있다는 신호다. 이론 없이 묶음을 찾아보는 탐색적 요인분석과, 세워 둔 구조가 자료에 맞는지 검증하는 확인적 요인분석으로 나뉜다. 구성타당도는 한 번의 검증으로 끝나지 않고, 여러 연구가 쌓이며 점점 더 튼튼해지거나 반증되는 성질을 갖는다. 이 갈래가 다른 타당도와 다른 점은 이론이 먼저 있어야 한다는 데 있다. 어떤 개념이 무엇과 가깝고 무엇과 멀어야 하는지에 대한 예상이 없으면 상관표를 앞에 두고도 무엇이 지지이고 무엇이 반증인지 가릴 수 없다. 그래서 구성타당도를 확인하는 일은 척도를 검증하는 일인 동시에 그 개념에 관한 이론을 시험하는 일이기도 하다. 예상과 어긋난 결과가 나왔을 때 척도를 고칠지 이론을 고칠지가 곧바로 정해지지 않는 까닭도 여기에 있다.

어떤 개념을 잰다는 말은 그 개념이 다른 것들과 맺는 관계까지 그대로 재현한다는 뜻이다. 우울이 불안과 가깝고 자존감과 멀다면, 좋은 우울척도의 점수도 그 지도 위에서 같은 자리에 놓여야 한다. 가까워야 할 것과 가깝고 멀어야 할 것과 멀다면 그 척도는 개념을 제대로 붙잡은 셈이고, 온갖 것과 다 가깝다면 그것은 우울이 아니라 「기분이 나쁨」쯤을 재고 있는 것이다.