체계적 오류와 무작위 오류

어떤 측정도 참값을 그대로 담지 못한다. 관찰한 점수는 참값에 오류가 얹힌 값이며, 그 오류는 성질에 따라 둘로 갈린다. 체계적 오류는 한쪽으로 일관되게 치우치는 오류다. 저울이 늘 2킬로그램을 더 얹어 주듯 방향이 정해져 있어, 여러 번 재어 평균을 내도 사라지지 않는다. 소득을 실제보다 낮춰 답하는 경향, 바람직해 보이려는 사회적 바람직성 편향, 문항 방향을 살피지 않고 아래로 내려찍는 묵종반응, 조사자의 태도가 응답을 밀어 주는 것, 문화에 맞지 않는 척도를 그대로 옮겨 쓴 것이 모두 여기에 든다. 체계적 오류는 타당도를 무너뜨린다 — 재려던 것이 아닌 다른 것을 함께 재고 있기 때문이다. 무작위 오류는 방향 없이 그때그때 흩어지는 오류다. 응답자의 그날 기분과 피로, 문항을 잘못 읽은 일, 응답을 옮겨 적다 생긴 실수처럼 우연에서 온다. 방향이 없으므로 사례가 늘고 문항이 늘수록 서로 상쇄되어 평균에서는 옅어지지만, 점수를 들쭉날쭉하게 만들어 신뢰도를 갉아먹는다. 둘을 가르는 물음은 「다시 재도 같은 방향으로 틀리는가」이다. 같은 방향이면 체계적, 잴 때마다 다르면 무작위다. 이 구분이 중요한 까닭은 처방이 다르기 때문이다. 무작위 오류는 문항을 늘리고 표본을 키우고 조사 절차를 표준화하면 줄지만, 체계적 오류는 아무리 크게 재고 여러 번 재도 줄지 않는다. 익명성을 보장하고, 문항 표현에서 유도하는 말을 걷어 내고, 역방향 문항을 섞고, 조사자를 훈련하는 식으로 치우침의 원인 자체를 없애야 한다. 두 오류는 서로를 대신하지 않으므로 함께 살펴야 한다. 무작위 오류만 줄이면 값은 안정되지만 여전히 엉뚱한 자리에 안정되고, 체계적 오류만 걷어 내면 겨냥은 맞았으되 값이 계속 흔들린다. 그래서 척도를 검토할 때는 신뢰도 계수와 함께 다른 검증된 척도와의 관계, 집단 간 차이가 예상대로 나타나는지까지 살펴 두 종류의 오류를 각각 겨눈다.

과녁을 떠올리면 쉽다. 화살이 늘 오른쪽 위에 몰려 박히면 겨냥 자체가 틀어진 것이고, 이것은 몇 발을 더 쏘아도 고쳐지지 않는다. 반면 화살이 과녁 둘레에 고르게 흩어지면 겨냥은 맞았으되 손이 떨린 것이어서, 여러 발의 한가운데를 잡으면 참값에 가까워진다. 앞의 치우침이 체계적 오류이고 뒤의 흔들림이 무작위 오류이며, 전자는 타당도를, 후자는 신뢰도를 문제 삼는다.