설문지 작성의 원칙과 피해야 할 문항

설문지는 응답자가 혼자 읽고 답할 수 있어야 하는 도구다. 옆에서 설명해 줄 수 없으므로 문장 하나가 곧 측정 도구가 되며, 문항을 잘못 쓰면 그 자리에서 체계적 오류가 생긴다. 그래서 작성의 원칙은 짧고, 분명하고, 한 번에 하나만 묻는 것으로 모인다. 피해야 할 문항에는 이름이 붙어 있다. 이중질문(겹치기 질문)은 두 가지를 한 문장에서 묻는 것으로, 「상담 시간과 상담 내용에 만족하십니까」는 시간은 좋았고 내용은 별로였던 사람이 답할 칸이 없다. 유도질문은 특정 답으로 밀어 주는 문장이며, 「전문가들도 인정하는 이 제도에 찬성하십니까」가 그 예다. 모호한 표현은 사람마다 다르게 읽히는 말로, 「자주」·「가끔」·「적절히」가 여기에 든다. 전문용어와 약어, 부정문도 피한다. 특히 「반대하지 않으십니까」처럼 부정을 두 번 겹치면 응답자가 무엇에 동의하는지 알 수 없게 된다. 응답자가 알 수 없는 것을 묻는 문항과 기억에 지나치게 의존하는 문항도 답을 지어내게 만든다. 민감한 항목은 다루는 법이 따로 있다. 익명을 보장하고, 앞부분이 아니라 뒤쪽에 배치하며, 「그런 일은 흔히 있습니다」처럼 부담을 낮추는 도입을 두고, 소득처럼 정확히 답하기 꺼리는 것은 구간으로 받는 절충을 쓴다. 응답 범주에도 원칙이 있다. 범주는 서로 겹치지 않아야 하고(상호배타성) 빠지는 사람이 없어야 한다(포괄성). 「20~30세, 30~40세」처럼 경계가 겹치면 서른 살은 두 칸에 든다. 마지막으로 완성된 설문지는 반드시 예비조사를 거친다. 문항이 뜻대로 읽히는지, 응답 시간이 얼마나 걸리는지, 건너뛰기 지시가 제대로 작동하는지는 실제로 시켜 보아야만 드러난다.

설문지는 연구자가 자리에 없는 채로 하는 대화다. 대화라면 「그게 무슨 뜻이죠」 하고 되물을 수 있지만 설문지에는 그 기회가 없어서, 응답자는 자기 나름대로 해석하고 답해 버린다. 열 사람이 같은 문항을 서로 다르게 읽었다면 그 열 개의 답은 같은 것을 잰 값이 아니다. 문항을 다듬는 일이 곧 측정의 정확도를 다듬는 일인 까닭이 여기에 있다.