내용타당도와 액면타당도

타당도는 재려고 한 것을 실제로 재고 있는가를 묻는다. 한결같은지를 묻는 신뢰도와 달리, 타당도는 겨냥이 맞았는지를 따진다. 타당도는 하나의 값으로 나오지 않고 여러 갈래의 근거를 쌓아 판단하는 것이며, 그 갈래가 내용·기준·구성타당도다. 내용타당도는 척도의 문항들이 재려는 개념의 영역을 고르게 덮고 있는가를 본다. 우울을 잰다면서 기분에 관한 문항만 늘어놓고 수면·식욕·흥미 상실·집중 곤란을 빠뜨렸다면 개념의 일부만 재고 있는 것이다. 통계값으로 확인하는 것이 아니라, 개념의 영역을 먼저 정의해 놓고 문항이 각 영역에 고루 걸치는지를 전문가가 판단한다. 그래서 개념 정의가 흐릿하면 내용타당도는 확보할 길이 없다. 액면타당도(안면타당도)는 문항이 겉보기에 그것을 재는 것처럼 보이는가이다. 전문가가 아니라 응답자나 일반인의 눈에 그럴듯해 보이는가를 묻는 것이어서 가장 약한 타당도로 다루어진다. 근거로서는 약하지만 쓸모가 없지는 않은데, 응답자가 문항을 엉뚱하다고 느끼면 성의 없이 답하거나 조사를 중도에 그만두기 때문이다. 둘의 갈림은 누가 무엇을 보고 판단하는가에 있다. 내용타당도는 전문가가 개념 영역의 대표성을 따지는 일이고, 액면타당도는 비전문가가 겉모습을 보고 받는 인상이다. 어느 쪽이든 통계로 확인되는 값이 아니라 판단에 기대므로, 논문에서는 자문한 전문가의 수와 배경, 문항을 고치고 걸러 낸 과정을 함께 적어 판단의 근거를 남긴다. 내용타당도가 무너지면 뒤의 어떤 통계도 그것을 메워 주지 못한다는 점이 이 갈래의 무게를 말해 준다. 문항이 개념의 한쪽만 재고 있으면 신뢰도는 오히려 더 높게 나오기 쉽고, 다른 척도와의 상관도 그 좁아진 범위 안에서는 그럴듯하게 나온다. 곧 빠진 영역은 자료 안에서 드러나지 않으며, 오직 개념 정의와 문항 배치를 맞대어 보는 사람의 눈에만 보인다. 척도를 새로 만들 때 문항 작성보다 영역 배분에 시간을 더 쓰라는 조언이 여기에서 나온다.

시험 문제로 생각해 보면 분명해진다. 한 학기 전체를 배운 뒤 치르는 시험인데 문제가 모두 첫 주 내용에서만 나왔다면 그 시험은 배운 것을 재지 못한다. 문항이 아무리 정교해도 범위를 고르게 덮지 못하면 소용이 없고, 이것이 내용타당도가 묻는 바다. 반면 문제지를 훑어본 학생이 「이 정도면 시험답다」고 느끼는 것은 인상일 뿐이어서, 그 느낌만으로는 범위가 고른지 알 수 없다.