기준타당도 — 동시타당도와 예측타당도

기준타당도는 새로 만든 척도의 점수가 이미 인정받은 다른 잣대와 얼마나 맞아떨어지는가로 타당도를 확인하는 방식이다. 그 다른 잣대를 기준(준거)이라 하며, 검증된 기존 척도일 수도 있고 실제로 일어난 결과일 수도 있다. 확인 방법은 두 값의 상관계수여서, 판단에 기대는 내용타당도와 달리 수치로 나온다는 것이 특징이다. 기준을 언제 재느냐에 따라 둘로 갈린다. 동시타당도는 새 척도와 기준을 같은 시점에 재어 상관을 본다. 새로 만든 짧은 우울 선별도구의 점수를 이미 검증된 긴 우울척도 점수와 견주는 것이 대표적이다. 지금 상태를 얼마나 잘 짚어 내는가를 보는 것이므로 현재를 진단하는 도구에 어울린다. 예측타당도는 기준을 나중에 재어, 척도 점수가 앞날의 결과를 얼마나 잘 맞히는가를 본다. 입사시험 점수가 뒤이은 근무 성적을 얼마나 예측하는지, 재범위험 평가 점수가 실제 재범과 얼마나 맞는지가 여기에 든다. 시간이 지나기를 기다려야 하므로 확인에 오래 걸리고 그 사이 이탈이 생기지만, 선발·배치·위험 예측처럼 앞날을 다루는 도구에는 이것이 본령이다. 기준타당도의 약점은 분명하다. 믿을 만한 기준이 있어야만 쓸 수 있다. 기준 자체가 부실하면 상관이 낮게 나와도 새 척도 탓인지 기준 탓인지 가릴 수 없고, 애초에 기준이 없는 새로운 개념에는 이 방법을 쓸 수 없다. 그런 자리에서 필요한 것이 구성타당도다. 기준을 무엇으로 삼을지는 그 자체가 판단이라는 점도 짚어 둘 만하다. 서비스 만족을 재는 척도의 기준으로 재이용 여부를 삼을 수도 있고 담당자의 평가를 삼을 수도 있는데, 어느 것을 고르느냐에 따라 상관의 크기가 달라진다. 그래서 무엇을 기준으로 삼았고 왜 그것이 적절한지를 밝히지 않은 기준타당도 수치는 해석할 근거가 없다. 상관계수 하나만 덩그러니 적힌 보고는 검증한 것처럼 보일 뿐 아무것도 말해 주지 않는다.

새로 산 체중계가 믿을 만한지 알아보려면 병원 저울과 같은 날 함께 재 보면 된다. 두 값이 잘 맞으면 새 체중계를 쓸 만하다고 본다. 이것이 동시타당도의 발상이다. 반면 신입사원을 뽑는 시험은 지금 무엇을 맞히는지가 아니라 뽑힌 사람이 나중에 일을 잘하는지로 값이 매겨지고, 그래서 결과가 나올 때까지 기다려 견주어야 한다. 이것이 예측타당도다. 언제 견주는가가 다를 뿐 발상은 같다.