정책평가론은 집행된 정책이 의도한 효과를 거두었는지 체계적으로 검토하는 활동을 다룹니다. 정책평가의 타당성(내적·외적)과 신뢰성을 확보하기 위한 실험설계 방법(진실험·준실험)을 이해하고, 캠벨과 스탠리가 제시한 다양한 내적·외적 타당성 저해요인을 구분하는 것이 핵심입니다.
02이해하기
내적 타당성 저해요인(역사요인, 성숙요인, 선정요인, 상실요인 등)의 정의를 헷갈리지 않도록 사례와 함께 암기하고, 진실험(무작위 배정)과 준실험(무작위 배정 없음)의 차이를 명확히 하세요.
03핵심 포인트
내적 타당성 — 정책의 효과가 다른 요인이 아닌 정책 그 자체로 인해 발생했다고 확신할 수 있는 정도입니다. 저해요인으로 역사요인(정책 외 사건 개입), 성숙요인(시간 경과에 따른 자연적 변화), 선정요인(비교집단 간 애초 다른 특성), 상실요인(실험 도중 대상자 탈락)이 있습니다.
외적 타당성 — 특정 상황에서 얻은 정책평가 결과를 다른 상황에도 일반화할 수 있는 정도로, 호손 효과(관찰당한다는 사실 자체가 행동에 영향을 주는 현상)가 대표적 저해요인입니다.
준실험 — 무작위 배정 없이 유사한 비교집단을 구성하는 설계로, 현실 적용 가능성은 높지만 내적 타당성이 진실험보다 낮습니다(예: 비동질적 통제집단설계).
정책평가의 논리모형 — 투입(input) → 활동(activity) → 산출(output) → 결과(outcome)의 단계로 정책의 인과관계를 도식화하여 평가의 틀로 활용합니다.
04시험 함정
① '호손 효과는 내적 타당성을 저해하는 요인'이라는 진술은 틀렸습니다. 호손 효과는 '외적 타당성'을 저해하는 대표적 요인입니다. ② '준실험은 무작위 배정을 통해 내적 타당성을 진실험보다 더 높게 확보한다'는 진술은 틀렸습니다. 준실험은 무작위 배정을 하지 않으며 내적 타당성이 진실험보다 낮습니다.
05기출 지문
O
총괄평가는 정책 집행이 완료된 후 정책의 효과성과 효율성을
종합적으로 판단하는 평가이다.
총괄평가(summative evaluation): 정책 집행 완료 후 정책 효과성·효율성을 종합 판단하는 사후 평가이다.
형성평가는 일종의 예비평가로 공식 영향평가의 실행 가능성과
유용성을 검토하기 위하여 실시된다.
형성평가(formative evaluation)는 프로그램 진행 중에 개선을 위해 실시하는 평가이다. 보기의 설명(예비평가로서 공식 영향평가의 실행 가능성·유용성 검토)은 평가성 사정(evaluability assessment)의 정의다. 형성평가는 진행 중인 프로그램의 문제점을 파악·개선하는 것이 핵심이다.