질문의 배열과 응답 형태

설문지는 문항 하나하나뿐 아니라 놓인 순서도 결과를 바꾼다. 앞 문항이 뒤 문항의 답에 영향을 주는 것을 문항 순서 효과라 하며, 이 때문에 배열에도 원칙이 생긴다. 일반적인 순서는 이렇다. 쉽고 흥미로운 문항을 앞에 두어 응답을 시작하게 하고, 민감하거나 답하기 어려운 문항은 뒤쪽으로 미룬다. 일반적인 것에서 구체적인 것으로 좁혀 가는 배열을 흔히 쓰며(깔때기형), 반대로 구체적인 경험을 먼저 떠올리게 한 뒤 전체 평가를 묻는 배열을 쓰기도 한다. 같은 주제의 문항은 묶어서 두어 응답자가 머릿속을 여러 번 옮기지 않게 하고, 인구사회학적 문항은 대개 맨 뒤에 둔다. 어떤 응답에만 해당하는 문항은 건너뛰기 지시를 분명히 적는다. 응답 형태는 크게 둘이다. 개방형 질문은 응답자가 자기 말로 답하는 형식으로, 예상하지 못한 답과 풍부한 내용을 얻을 수 있으나 응답 부담이 크고 무응답이 많으며 정리와 코딩에 품이 든다. 탐색 단계와 질적 자료 수집에 어울린다. 폐쇄형 질문은 미리 만든 보기 가운데 고르게 하는 형식으로, 답하기 쉽고 통계 처리가 간편하지만 보기에 없는 답은 잡히지 않고, 보기 자체가 응답을 유도할 수 있다. 폐쇄형에서 자주 문제가 되는 것이 중립 범주와 모름 칸이다. 가운데 칸을 두면 판단을 미루는 응답이 몰리고, 없애면 뚜렷한 의견이 없는 사람에게 억지로 한쪽을 고르게 한다. 어느 쪽을 고르든 그 선택이 결과를 바꾼다는 점을 알고 정하는 것이 중요하다. 응답 칸의 수도 같은 고민을 안는다. 칸이 너무 적으면 사람들 사이의 차이가 뭉개져 변별이 되지 않고, 너무 많으면 응답자가 칸의 뜻을 구별하지 못해 오히려 잡음이 는다. 태도를 재는 문항에서는 다섯에서 일곱 칸을 흔히 쓰며, 양 끝에만 이름을 붙일지 모든 칸에 붙일지도 미리 정해 조사 내내 같은 형식을 지키는 것이 좋다. 형식이 문항마다 바뀌면 응답자가 매번 규칙을 새로 익혀야 해 실수가 늘어난다.

설문지는 한 편의 대화 흐름이기도 하다. 처음 만난 사람에게 대뜸 소득과 가정사를 묻지 않듯, 설문지도 가벼운 것에서 시작해 신뢰가 쌓인 뒤 무거운 것으로 들어간다. 그리고 앞에서 무슨 이야기를 했는지가 뒤의 대답을 물들이므로, 어떤 문항을 먼저 두느냐가 답을 바꾼다. 형식을 고르는 일도 마찬가지다. 열어 두고 물으면 생각지 못한 이야기를 듣고, 보기를 주고 물으면 세기는 쉬워지되 보기 밖의 이야기는 들리지 않는다.