신뢰도의 뜻과 재검사법·대안양식법

신뢰도는 같은 것을 되풀이해 재었을 때 얼마나 같은 값이 나오는가, 곧 측정의 일관성과 안정성을 말한다. 무엇을 재고 있는지를 묻는 타당도와 달리, 신뢰도는 재는 일 자체가 흔들리지 않는가만 따진다. 그래서 신뢰도가 높다는 말은 그 도구가 옳다는 뜻이 아니라 한결같다는 뜻이다. 신뢰도를 재는 방법은 크게 셋이며, 이 장에서는 시간을 두고 두 번 재는 방식 둘을 본다. 재검사법은 같은 사람에게 같은 척도를 시간 간격을 두고 두 번 실시해 두 점수의 상관을 본다. 절차가 단순하고 안정성을 직접 본다는 장점이 있으나 세 가지 약점이 있다. 앞 검사를 기억해 답이 닮아 버리는 주시험효과(검사효과), 그 사이에 응답자가 실제로 변해 버리는 문제, 그리고 두 번 만나야 하므로 드는 시간과 비용이다. 간격을 짧게 잡으면 기억이, 길게 잡으면 실제 변화가 끼어들어 간격을 정하는 일 자체가 판단이 된다. 대안양식법(복수양식법·동형검사법)은 내용과 난이도가 같도록 만든 두 벌의 척도를 각각 실시해 상관을 본다. 같은 문항을 다시 보지 않으므로 기억의 영향이 줄지만, 두 양식을 정말 같게 만드는 일이 어렵다는 것이 결정적인 부담이다. 두 양식이 어긋나면 낮게 나온 상관이 도구의 불안정 때문인지 양식 차이 때문인지 가릴 수 없다. 두 방법은 모두 두 번 재야 한다는 공통의 부담을 지며, 그 부담을 없앤 것이 한 번의 실시로 문항끼리를 견주는 내적일관성 방법이다. 어느 방법으로 구하든 신뢰도는 상관계수의 꼴로 0에서 1 사이의 값으로 보고되며, 1에 가까울수록 한결같다는 뜻이다. 다만 어느 값 이상이어야 한다는 기준은 절대적이지 않고 척도의 쓰임에 따라 달라진다. 집단의 평균을 견주는 연구라면 조금 낮은 값도 견딜 만하지만, 한 사람의 점수로 개입 여부를 정하는 자리라면 훨씬 높은 값을 요구한다. 신뢰도는 도구가 지닌 고정된 성질이 아니라 그 도구를 특정 대상에게 특정 상황에서 썼을 때 나온 값이므로, 다른 척도에서 보고된 신뢰도를 그대로 옮겨 적는 것이 아니라 내 자료에서 다시 구해 밝히는 것이 옳다.

저울이 믿을 만한지 알아보는 가장 단순한 방법은 같은 물건을 두 번 올려 보는 것이다. 두 번의 눈금이 크게 다르면 그 저울은 못 믿는다. 다만 사람을 재는 일에서는 두 번 사이에 사람이 변하기도 하고, 앞서 무엇을 답했는지 기억하기도 해서, 두 번의 값이 달라진 까닭이 저울 탓인지 사람 탓인지 가리는 일이 늘 따라붙는다. 재검사법의 간격을 정하는 고민이 바로 그 가리기이며, 그 고민을 피하려고 만든 것이 두 벌의 척도를 쓰는 대안양식법이다.