개념 정리
신뢰도와 타당도는 서로 다른 물음이지만 한쪽이 다른 쪽을 한 방향으로만 제약한다.
신뢰도는 타당도의 필요조건이되 충분조건이 아니다. 값이 잴 때마다 들쭉날쭉한 도구는 무엇을 재는지 따질 계제조차 못 되므로, 타당하려면 먼저 한결같아야 한다. 그러나 한결같다고 해서 겨냥까지 맞았다는 뜻은 아니다. 눈금이 어긋난 저울은 언제나 같은 값을 주므로 신뢰도가 거의 완벽하지만 참값과는 계속 어긋난다. 그래서 신뢰도가 높은데 타당도가 낮은 경우는 흔하고, 타당도가 높은데 신뢰도가 낮은 경우는 성립하지 않는다.
두 개념은 오류의 종류와도 짝을 이룬다. 무작위 오류는 신뢰도를, 체계적 오류는 타당도를 갉아먹는다. 값이 흔들리면 신뢰도의 문제이고, 한쪽으로 치우치면 타당도의 문제다.
신뢰도를 높이는 길은 대체로 정해져 있다. 문항 수를 늘리는 것이 가장 확실한데, 무작위 오류가 서로 상쇄되기 때문이다. 뜻이 모호하거나 두 가지를 한꺼번에 묻는 문항을 걷어 내고, 응답자의 수준에 맞는 말로 쓰며, 응답 범주를 지나치게 적거나 많지 않게 잡는다. 예비조사로 문항을 다듬고, 변별력이 없는 문항과 다른 문항들과 따로 노는 문항을 걸러 낸다. 실시 상황과 지시문을 표준화하고 조사자를 훈련하는 것도 같은 목적이다. 다만 문항 수를 늘리는 처방은 응답 부담을 키우고, 비슷한 문항을 덧대는 방식으로 흐르면 신뢰도만 오르고 개념의 폭은 좁아진다는 점을 함께 기억해야 한다.
타당도를 높이는 길은 신뢰도와 달리 한 가지 처방으로 정리되지 않는다. 개념을 분명히 정의하고 영역을 나누어 문항을 고르게 배치하며, 전문가에게 검토받고, 검증된 다른 척도와 함께 실시해 관계를 확인하고, 요인 구조가 이론과 맞는지 살피는 일이 모두 필요하다. 곧 신뢰도는 도구를 다듬어 올리는 것이고 타당도는 근거를 모아 세우는 것이어서, 들이는 품의 성격 자체가 다르다.
이해하기
과녁 그림으로 정리하면 네 가지 경우가 나온다. 화살이 가운데에 촘촘히 모이면 신뢰도와 타당도가 모두 높고, 한쪽 구석에 촘촘히 모이면 신뢰도만 높다. 과녁 전체에 흩어졌다면 둘 다 낮으며, 흩어졌는데 그 한가운데가 우연히 정중앙인 경우를 두고 타당하다고 말하지는 않는다. 그래서 촘촘함이 먼저이고 겨냥이 그다음이라는 순서가 생긴다.
핵심 포인트
- 신뢰도는 타당도의 필요조건이지만 충분조건은 아니다 — 한결같음이 옳음을 보장하지 않는다.
- 신뢰도가 높고 타당도가 낮은 경우는 흔하지만, 그 반대 조합은 성립하지 않는다.
- 무작위 오류는 신뢰도를, 체계적 오류는 타당도를 갉아먹는다는 짝을 기억한다.
- 신뢰도를 높이는 가장 확실한 길은 문항 수를 늘려 무작위 오류를 상쇄시키는 것이다.
- 모호한 문항과 두 가지를 한꺼번에 묻는 문항을 걷어 내고 예비조사로 다듬는다.
- 실시 상황과 지시문을 표준화하고 조사자를 훈련하는 것도 신뢰도를 지키는 일이다.