측정의 수준(척도)은 네 가지다 — 명목척도(분류만 가능. 성별ㆍ종교), 서열척도(순위는 있으나 간격이 일정하지 않음. 만족도 순위ㆍ학력), 등간척도(간격이 일정하나 절대영점이 없음. 온도ㆍ IQ), 비율척도(절대영점이 있어 비율 비교가 가능. 연령ㆍ소득ㆍ가족 수). 측정의 조건으로 신뢰도(일관성)와 타당도(재려는 것을 재는가)를 따지며, 신뢰도는 타당도의 필요조건이나 충분조건은 아니다. 표본추출은 확률표본(단순무작위ㆍ계통ㆍ층화ㆍ집락)과 비확률표본(편의ㆍ유의ㆍ할당ㆍ눈덩이)으로 갈리고, 확률표본만 표본오차의 추정과 모집단 일반화가 가능하다. 조사설계의 평가 기준은 두 가지다 — 내적 타당도는 「관찰된 변화가 정말 개입 때문인가」이고, 외적 타당도는 「그 결과를 다른 대상ㆍ상황으로 일반화할 수 있는가」다. 조사설계는 무작위 배정과 통제집단의 유무에 따라 순수실험설계(둘 다 갖춤), 유사실험설계(둘 중 하나가 없음), 전실험설계(둘 다 없음)로 나뉘며, 사회복지 현장에서는 통제집단에 서비스를 제공하지 않는 것이 윤리적으로 문제되어 유사실험설계와 단일사례설계가 널리 쓰인다.
02이해하기
척도 네 수준은 「무엇을 할 수 있는가」가 위로 갈수록 늘어나는 계단이다. 명목은 같다ㆍ다르다만, 서열은 크다ㆍ작다까지, 등간은 얼마나 차이 나는지까지, 비율은 몇 배인지까지 말할 수 있다. 등간과 비율을 가르는 것은 절대영점 하나다 — 섭씨 0도는 온도가 없는 것이 아니지만 소득 0원은 소득이 없는 것이므로, 「20도가 10도의 두 배」는 틀리고 「20만원이 10만원의 두 배」는 맞다. 내적ㆍ외적 타당도는 서로 상충하는 경우가 많다는 점도 기억할 자리다 — 통제를 강화하면 인과 추론은 정확해지지만 현실과 멀어져 일반화가 어려워진다.
03핵심 포인트
척도 네 수준 — 명목ㆍ서열ㆍ등간ㆍ비율. 등간과 비율의 차이는 절대영점의 유무
리커트 척도는 통상 서열척도이나 실무에서 등간척도처럼 다루는 경우가 많다
신뢰도 추정 — 재검사법, 동형검사법, 반분법, 문항내적일관성(크론바흐 α)
타당도 — 내용타당도, 기준타당도(예측ㆍ동시), 구성타당도(수렴ㆍ판별)
확률표본 — 단순무작위, 계통(일정 간격), 층화(모집단을 층으로 나눈 뒤 각 층에서 추출), 집락(집단 단위로 추출)
비확률표본 — 편의, 유의(판단), 할당, 눈덩이. 접근이 어려운 집단 조사에는 눈덩이표집이 현실적 대안
조사설계 — 순수실험(무작위 배정 + 통제집단), 유사실험(둘 중 하나 결여), 전실험(둘 다 결여)
솔로몬 4집단 설계 — 사전검사 실시 여부까지 교차시킨 네 집단. 검사효과 자체를 분리해 낼 수 있다
04한눈에 보기
내적 타당도
독립변수가 정말 종속변수의 변화를 일으켰는가. 위협 요인은 역사ㆍ성숙ㆍ검사효과ㆍ도구효과ㆍ통계적 회귀ㆍ선택ㆍ상실ㆍ인과적 시간순서.
VS
외적 타당도
그 결과를 다른 대상ㆍ상황ㆍ시기로 일반화할 수 있는가. 위협 요인은 표본의 대표성 부족, 검사와 개입의 상호작용, 인위적 실험 상황(호손효과).
더 알아보기
내적 타당도를 위협하는 여덟 요인
캠벨과 스탠리(Campbell & Stanley)가 정리한 위협 요인들은 이름만 알아서는 구별이 잘 안 되므로 사례와 함께 익혀야 한다. ① 역사(history) — 개입 기간에 일어난 외부 사건이 결과에 영향을 준 경우(프로그램 중 경기가 좋아져 취업률이 올랐다). ② 성숙(maturation) — 시간이 지나며 대상자가 자연히 변한 경우(아동의 언어 능력이 개입과 무관하게 늘었다). ③ 검사효과(testing) — 사전검사 경험이 사후검사 점수를 올린 경우. ④ 도구효과(instrumentation) — 측정 도구나 관찰자가 달라진 경우. ⑤ 통계적 회귀(regression to the mean) — 극단적 점수자를 뽑았을 때 다음 측정에서 평균 쪽으로 돌아가는 현상(가장 우울한 사람만 골라 개입하면 개입이 없어도 점수가 좋아진다). ⑥ 선택의 편의(selection) — 실험집단과 통제집단이 애초에 달랐던 경우(자발적 참여자와 비참여자를 비교). ⑦ 상실(mortality) — 중도탈락자가 특정 성향에 몰린 경우(효과를 못 본 사람이 먼저 빠져나가면 남은 사람만으로는 효과가 과장된다). ⑧ 인과적 시간순서 — 원인과 결과의 선후가 불분명한 경우. 무작위 배정과 통제집단은 ①~⑦ 대부분을 한꺼번에 통제한다는 점에서 강력한 장치다. 여기서 한 걸음 더 나아간 것이 솔로몬(Solomon) 4집단 설계로, 실험ㆍ통제집단 각각을 사전검사를 실시한 집단과 실시하지 않은 집단으로 다시 나눈다 — 네 집단을 비교하면 개입의 효과와 검사효과를 분리해 낼 수 있어, 검사효과가 위협하던 내적 타당도와 검사ㆍ개입의 상호작용이 위협하던 외적 타당도를 함께 확보한다. 다만 사회복지 현장에서는 서비스를 주지 않는 통제집단을 두는 것이 윤리적으로 문제되어 유사실험설계와 단일사례설계가 대안으로 쓰인다.
질적 연구가 사회복지조사에서 갖는 자리
양적 연구가 「얼마나」를 묻는다면 질적 연구는 「어떻게, 왜」를 묻는다. 사회복지에서 질적 연구가 필요한 이유는 세 가지다. 첫째, 클라이언트의 경험과 의미를 당사자의 언어로 이해해야 하는 경우 — 빈곤이나 학대의 경험은 척도 점수로 환원되지 않는다. 둘째, 통계로 잡히지 않는 소수 집단이나 새로운 현상을 탐색해야 하는 경우. 셋째, 개입이 왜 작동했는지 또는 왜 실패했는지의 과정을 밝혀야 하는 경우. 주요 방법으로는 근거이론(자료에서 이론을 생성), 현상학적 연구(체험의 본질 기술), 사례연구, 문화기술지(ethnography), 내러티브 연구가 있다. 신뢰도ㆍ타당도 대신 쓰이는 평가 기준도 다르다 — 링컨과 구바(Lincoln & Guba)는 신빙성(credibility), 전이가능성(transferability), 의존가능성(dependability), 확인가능성(confirmability)을 제시했고, 이를 확보하는 기법으로 삼각검증(triangulation), 장기간의 관여, 동료 검토, 연구 참여자 확인(member checking), 감사 추적(audit trail)이 쓰인다. 최근에는 양적ㆍ질적 방법을 결합한 혼합방법 연구가 프로그램 평가에서 널리 활용된다.