개념 정리
서치먼(Suchman) 등이 정리한 평가 기준은 프로그램을 여러 축에서 보게 한다.
노력(effort) — 얼마나 했는가. 투입한 자원과 활동의 양을 본다. 상담 횟수, 투입 인력, 소요 시간이 지표이며 논리모델의 투입과 산출에 해당한다. 효과와 무관하게 활동의 양만 재는 것이 한계다.
효과(effectiveness) — 목표를 달성했는가. 설정한 성과목표에 얼마나 이르렀는지를 본다. 논리모델의 성과에 해당하며, 평가의 중심 기준이다.
효율(efficiency) — 같은 결과를 더 적은 비용으로 냈는가. 산출이나 성과를 비용으로 나눈 값을 본다. 비용편익분석과 비용효과분석이 도구이며, 다음 카드에서 다룬다.
영향(impact) — 프로그램이 없었다면 어땠을까에 견주어 실제로 문제를 얼마나 줄였는가. 지역사회 수준의 변화를 보며, 인과관계를 밝히기 가장 어렵다.
형평성(equity) — 서비스가 공평하게 배분되었는가. 필요한 사람에게 닿았는지, 특정 집단이 배제되지 않았는지를 본다. 앞 장에서 본 크리밍을 잡아내는 기준이다.
과정(process) — 어떻게 이루어졌는가. 계획대로 실행되었는지, 왜 효과가 있었거나 없었는지를 본다. 형성평가의 주된 기준이다.
서비스의 질(quality) — 제공된 서비스가 전문적 기준에 맞는가. 자격을 갖춘 인력이 적절한 방법으로 제공했는지를 본다.
노력·효과·효율·과정·영향의 다섯을 서치먼의 기준으로 드는 것이 일반적이며, 여기에 형평성과 질을 더해 쓴다.
기준을 여럿 두는 이유는 하나의 기준에서 좋은 평가를 받는 것이 다른 기준을 희생한 결과일 수 있기 때문이다. 효과가 높은 것은 쉬운 대상만 받아서일 수 있고, 효율이 높은 것은 인건비를 깎아서일 수 있다. 그래서 효과·효율·형평성·질을 함께 본다.
이해하기
일곱 기준은 하나의 프로그램을 일곱 각도에서 비추는 것이다. 효과만 보면 형평이 가려지고(잘된 것은 쉬운 사람만 받아서일 수 있다), 효율만 보면 질이 가려지며(싸게 한 것은 대충 해서일 수 있다), 노력만 보면 아무것도 알 수 없다. 한 기준으로 좋은 평가를 받는 것은 다른 기준을 희생한 결과일 수 있다는 것이 이 목록의 요점이다.
핵심 포인트
- 노력 기준은 얼마나 했는가를 묻고 투입한 자원과 활동의 양을 함께 본다.
- 노력 기준은 효과가 있었는지와 무관하게 활동의 양만 잰다는 한계가 있다.
- 효과 기준은 설정한 목표를 달성했는가를 묻고 논리모델의 성과에 해당한다.
- 효율 기준은 같은 결과를 더 적은 비용으로 냈는가를 묻고 비용 대비로 따진다.
- 효율을 재는 도구로는 비용편익분석과 비용효과분석의 두 가지가 쓰인다.
- 영향은 프로그램이 없었다면 어땠을까에 견주어 문제를 얼마나 줄였는지 본다.
- 형평성은 서비스가 공평하게 배분되었는가를 보며 크리밍을 잡아낸다.
- 과정 기준은 어떻게 이루어졌는가를 묻고 형성평가의 주된 기준이 된다.
- 서비스의 질 기준은 자격 있는 인력이 제공했는지 등 전문적 기준에 맞는가를 본다.
- 한 기준의 좋은 결과가 다른 기준의 희생일 수 있다는 것이 이 목록의 요점이다.