우편·대인면접·전화·온라인 조사의 대조

같은 설문지라도 어떻게 전달하느냐에 따라 응답률·비용·자료의 질이 달라진다. 네 가지 방식을 견주는 것이 서베이 설계의 기본이다. 우편조사는 넓은 지역에 값싸게 보낼 수 있고 응답자가 편한 때에 답할 수 있으며 조사자 편향이 없다. 대신 응답률이 가장 낮고 회수에 오래 걸리며, 문항을 이해하지 못해도 도와줄 수 없고 실제로 누가 작성했는지 확인할 수 없다. 대인면접조사는 조사원이 직접 만나 묻는 방식으로 응답률이 가장 높고, 복잡한 문항을 설명할 수 있으며 관찰 정보까지 얻는다. 대신 비용과 시간이 가장 많이 들고 조사원의 태도가 응답에 끼어드는 조사자 편향이 생기며, 민감한 항목에서는 바람직성 편향이 커진다. 전화조사는 빠르고 값이 중간이며 넓은 지역을 다룰 수 있다. 대신 길거나 복잡한 문항에 적합하지 않고, 보기를 눈으로 볼 수 없어 응답 범주가 많으면 앞뒤를 기억하지 못한다. 요즘은 낯선 번호를 받지 않아 접촉 자체가 어렵다. 온라인조사는 가장 값싸고 빠르며 자료가 곧바로 입력되고 화면으로 보기를 보여 줄 수 있다. 대신 인터넷을 쓰는 사람만 응답할 수 있어 표집틀이 치우치고, 중복 응답과 성의 없는 응답을 걸러 내야 한다. 고르는 기준은 하나로 모이지 않는다. 대상이 누구이고, 문항이 얼마나 복잡하며, 민감한 내용인지, 예산과 기한이 얼마인지를 함께 보아 정하고, 여러 방식을 섞어 쓰기도 한다. 섞어 쓰는 것을 혼합모드 조사라 한다. 온라인으로 먼저 보내고 응답하지 않은 사람에게 우편이나 전화로 다시 접촉하는 식인데, 한 방식으로는 닿지 않는 사람에게 닿을 수 있어 응답률이 오른다. 다만 방식마다 답이 조금씩 달라지므로, 얻은 자료를 하나로 합칠 때는 방식에 따른 차이가 결과에 섞여 들어간다는 점을 감안해야 한다. 그래서 보고서에는 각 방식으로 몇 명이 응답했는지를 함께 밝힌다.

같은 말을 편지로 보내는 것, 만나서 하는 것, 전화로 하는 것, 화면으로 보내는 것은 각각 다른 대화다. 만나서 물으면 대개 대답해 주지만 얼굴을 보고 말하기 어려운 것은 감추게 되고, 편지로 보내면 편하게 답할 수 있으나 아예 답하지 않을 수도 있다. 그래서 방식을 고르는 일은 응답률과 솔직함과 비용 사이에서 무엇을 앞에 둘지 정하는 일이다.