정책학 · 정책평가론
정책평가론
정책평가론은 집행된 정책이 의도한 효과를 거두었는지 체계적으로 검토하는 활동을 다룹니다. 정책평가의 타당성(내적·외적)과 신뢰성을 확보하기 위한 실험설계 방법(진실험·준실험)을 이해하고, 캠벨과 스탠리가 제시한 다양한 내적·외적 타당성 저해요인을 구분하는 것이 핵심입니다.
이해하기
내적 타당성 저해요인(역사요인, 성숙요인, 선정요인, 상실요인 등)의 정의를 헷갈리지 않도록 사례와 함께 암기하고, 진실험(무작위 배정)과 준실험(무작위 배정 없음)의 차이를 명확히 하세요.
핵심 포인트
- 1내적 타당성 — 정책의 효과가 다른 요인이 아닌 정책 그 자체로 인해 발생했다고 확신할 수 있는 정도입니다. 저해요인으로 역사요인(정책 외 사건 개입), 성숙요인(시간 경과에 따른 자연적 변화), 선정요인(비교집단 간 애초 다른 특성), 상실요인(실험 도중 대상자 탈락)이 있습니다.
- 2외적 타당성 — 특정 상황에서 얻은 정책평가 결과를 다른 상황에도 일반화할 수 있는 정도로, 호손 효과(관찰당한다는 사실 자체가 행동에 영향을 주는 현상)가 대표적 저해요인입니다.
- 3진실험(순수실험) — 실험집단과 통제집단을 무작위로 배정하여 외생변수를 통제하는 설계로, 내적 타당성이 높지만 현실 적용이 어렵습니다.
- 4준실험 — 무작위 배정 없이 유사한 비교집단을 구성하는 설계로, 현실 적용 가능성은 높지만 내적 타당성이 진실험보다 낮습니다(예: 비동질적 통제집단설계).
- 5정책평가의 논리모형 — 투입(input) → 활동(activity) → 산출(output) → 결과(outcome)의 단계로 정책의 인과관계를 도식화하여 평가의 틀로 활용합니다.
시험 함정
① '호손 효과는 내적 타당성을 저해하는 요인'이라는 진술은 틀렸습니다. 호손 효과는 '외적 타당성'을 저해하는 대표적 요인입니다. ② '준실험은 무작위 배정을 통해 내적 타당성을 진실험보다 더 높게 확보한다'는 진술은 틀렸습니다. 준실험은 무작위 배정을 하지 않으며 내적 타당성이 진실험보다 낮습니다.
틀린 표현 바로잡기
✕ 호손 효과(Hawthorne effect)는 정책평가의 내적 타당성을 저해하는 대표적인 요인이다.
○ 호손 효과는 '외적 타당성'을 저해하는 대표적 요인입니다. 관찰된다는 사실 자체가 행동에 영향을 미쳐 일반화가 어려워집니다.
✕ 준실험설계는 실험집단과 통제집단을 무작위로 배정함으로써 진실험설계보다 내적 타당성이 더 높다.
○ 준실험설계는 무작위 배정을 '하지 않으며', 내적 타당성이 진실험설계보다 '낮습니다'.