평가

평가의 기준 — 노력·효과·효율·영향·형평·과정·질

미학습

읽고 나면 회독 완료

서치먼(Suchman) 등이 정리한 평가 기준은 프로그램을 여러 축에서 보게 한다. 노력(effort) — 얼마나 했는가. 투입한 자원과 활동의 양을 본다. 상담 횟수, 투입 인력, 소요 시간이 지표이며 논리모델의 투입과 산출에 해당한다. 효과와 무관하게 활동의 양만 재는 것이 한계다. 효과(effectiveness) — 목표를 달성했는가. 설정한 성과목표에 얼마나 이르렀는지를 본다. 논리모델의 성과에 해당하며, 평가의 중심 기준이다. 효율(efficiency) — 같은 결과를 더 적은 비용으로 냈는가. 산출이나 성과를 비용으로 나눈 값을 본다. 비용편익분석과 비용효과분석이 도구이며, 다음 카드에서 다룬다. 영향(impact) — 프로그램이 없었다면 어땠을까에 견주어 실제로 문제를 얼마나 줄였는가. 지역사회 수준의 변화를 보며, 인과관계를 밝히기 가장 어렵다. 형평성(equity) — 서비스가 공평하게 배분되었는가. 필요한 사람에게 닿았는지, 특정 집단이 배제되지 않았는지를 본다. 앞 장에서 본 크리밍을 잡아내는 기준이다. 과정(process) — 어떻게 이루어졌는가. 계획대로 실행되었는지, 왜 효과가 있었거나 없었는지를 본다. 형성평가의 주된 기준이다. 서비스의 질(quality) — 제공된 서비스가 전문적 기준에 맞는가. 자격을 갖춘 인력이 적절한 방법으로 제공했는지를 본다. 노력·효과·효율·과정·영향의 다섯을 서치먼의 기준으로 드는 것이 일반적이며, 여기에 형평성과 질을 더해 쓴다. 기준을 여럿 두는 이유는 하나의 기준에서 좋은 평가를 받는 것이 다른 기준을 희생한 결과일 수 있기 때문이다. 효과가 높은 것은 쉬운 대상만 받아서일 수 있고, 효율이 높은 것은 인건비를 깎아서일 수 있다. 그래서 효과·효율·형평성·질을 함께 본다.
일곱 기준은 하나의 프로그램을 일곱 각도에서 비추는 것이다. 효과만 보면 형평이 가려지고(잘된 것은 쉬운 사람만 받아서일 수 있다), 효율만 보면 질이 가려지며(싸게 한 것은 대충 해서일 수 있다), 노력만 보면 아무것도 알 수 없다. 한 기준으로 좋은 평가를 받는 것은 다른 기준을 희생한 결과일 수 있다는 것이 이 목록의 요점이다.
  1. 노력 기준은 얼마나 했는가를 묻고 투입한 자원과 활동의 양을 함께 본다.
  2. 노력 기준은 효과가 있었는지와 무관하게 활동의 양만 잰다는 한계가 있다.
  3. 효과 기준은 설정한 목표를 달성했는가를 묻고 논리모델의 성과에 해당한다.
  4. 효율 기준은 같은 결과를 더 적은 비용으로 냈는가를 묻고 비용 대비로 따진다.
  5. 효율을 재는 도구로는 비용편익분석과 비용효과분석의 두 가지가 쓰인다.
  6. 영향은 프로그램이 없었다면 어땠을까에 견주어 문제를 얼마나 줄였는지 본다.
  7. 형평성은 서비스가 공평하게 배분되었는가를 보며 크리밍을 잡아낸다.
  8. 과정 기준은 어떻게 이루어졌는가를 묻고 형성평가의 주된 기준이 된다.
  9. 서비스의 질 기준은 자격 있는 인력이 제공했는지 등 전문적 기준에 맞는가를 본다.
  10. 한 기준의 좋은 결과가 다른 기준의 희생일 수 있다는 것이 이 목록의 요점이다.
  1. 노력과 효과를 뒤섞지 말 것 — 노력은 얼마나 했는가, 효과는 목표를 이뤘는가다.
  2. 효율을 「효과가 큰 것」으로 적으면 틀린다. 비용 대비를 본다.
  3. 「영향은 참여자 개인의 변화」로 적으면 틀린다. 지역사회 수준의 문제 감소다.
  4. 형평성 기준을 빠뜨리지 말 것 — 크리밍을 잡는 유일한 축이다.
  5. 「효과가 크면 효율도 반드시 크다」로 적으면 틀린다. 비용이 크면 효율은 낮다.
노력 얼마나 했나 → 과정 어떻게 했나 → 질 제대로 했나효과 목표를 이뤘나 → 효율 비용 대비 어땠나형평성 누구에게 닿았나 → 영향 문제 자체가 줄었나
평가의 일곱 기준
기준묻는 것논리모델의 대응
노력얼마나 했는가투입·활동·산출
효과목표를 달성했는가성과
효율같은 결과를 더 적은 비용으로 냈는가성과 ÷ 비용
영향문제 자체를 얼마나 줄였는가영향
형평성공평하게 배분되었는가도달률, 대상 구성
과정어떻게 이루어졌는가활동의 충실도
질전문적 기준에 맞는가인력의 자격, 방법의 적절성

더 알아보기

형평성 기준이 없으면 보이지 않는 것

평가 기준 가운데 형평성은 다른 기준으로는 절대 드러나지 않는 것을 잡아낸다. 상황을 보자. 한 취업지원 프로그램이 참여자의 70%를 취업시켰다. 효과 기준으로는 우수하다. 1인당 비용도 낮아 효율도 좋다. 노력도 계획한 만큼 했고, 과정도 계획대로 진행되었으며, 질도 자격 있는 인력이 표준 방법으로 제공했다. 여섯 기준에서 모두 좋은 평가를 받는다. 형평성 기준을 대면 다른 그림이 나온다. 참여자를 보니 대부분 학력이 높고 최근까지 일한 경험이 있는 사람이었다. 표적집단으로 삼았던 장기 실업자와 중고령자는 거의 없었다. 취업이 어려운 사람을 받지 않았기 때문에 성공률이 높았던 것이다. 이것이 앞 장에서 여러 번 나온 크리밍이며, 효과와 효율 기준만으로는 절대 잡히지 않는다. 오히려 크리밍을 할수록 그 두 기준의 점수가 올라간다. 형평성을 보는 방법이 몇 가지다. 대상 구성을 표적집단과 견준다. 표적집단의 인구 구성과 실제 참여자의 구성을 비교하면 어떤 집단이 빠졌는지 보인다. 앞 장에서 본 표적집단 대비 클라이언트집단의 비율이 이 계산이다. 하위 집단별로 성과를 나누어 본다. 전체 성공률 70%가 어떤 집단에서는 90%, 다른 집단에서는 20%일 수 있다. 평균만 보면 이 격차가 가려진다. 중도 이탈자를 본다. 성공률을 수료자 기준으로 계산하면 도중에 그만둔 사람이 빠진다. 어려운 사람일수록 이탈하기 쉬우므로, 이탈자를 포함한 계산이 실제 형평성을 보여 준다. 접근성을 본다. 물리적 거리, 이용 시간, 비용, 절차의 복잡성이 특정 집단을 배제하고 있지 않은지 확인한다. 형평성 기준이 평가에 들어가야 하는 이유는 단지 공정성 때문만이 아니다. 사회복지 프로그램의 존재 이유가 시장이 닿지 못하는 사람에게 닿는 것이므로, 쉬운 사람만 돕는 프로그램은 그 목적 자체를 잃은 것이다.

「효율」을 사회복지에서 어떻게 다룰 것인가

효율 기준은 사회복지에서 늘 논쟁적이다. 「사람을 돕는 일에 비용을 따지는 것이 옳은가」라는 반발이 있고, 반대로 「한정된 재원을 낭비하면 도울 수 있었던 사람을 못 돕는다」는 논리도 있다. 효율을 따져야 하는 이유부터 분명히 하자. 자원은 유한하다. 같은 예산으로 100명을 도울 수 있는데 50명만 돕고 있다면, 나머지 50명은 비효율의 대가를 치르는 것이다. 앞 장에서 본 공공부조의 원리에서 자원의 유한성이 행정의 필요를 낳는다고 한 것과 같은 논리다. 곧 효율은 냉정함이 아니라 형평의 다른 얼굴일 수 있다. 그럼에도 조심할 지점들이 있다. 첫째, 효율은 효과를 전제한다. 효과가 없는 프로그램을 싸게 하는 것은 효율이 아니라 낭비다. 효율 계산은 성과가 확인된 뒤에 의미가 있으며, 그래서 평가 기준의 순서에서 효과가 효율보다 앞에 온다. 둘째, 비용을 낮추는 방식이 질을 깎는 것일 수 있다. 인건비를 줄여 1인당 비용을 낮추면 효율 지표는 좋아지지만, 그것은 앞 장에서 본 저임금과 고이직의 구조로 이어져 결국 서비스의 질을 떨어뜨린다. 효율은 질 기준과 함께 봐야 한다. 셋째, 재기 어려운 편익이 빠진다. 다음 카드에서 볼 비용편익분석의 근본 문제이며, 화폐로 환산하기 어려운 편익 — 존엄, 관계, 삶의 만족 — 이 계산에서 사라진다. 그러면 그런 편익을 주는 서비스가 불리해진다. 넷째, 대상에 따라 단가가 다르다. 중증장애인 한 사람에게 드는 비용은 경증인 사람보다 크다. 1인당 비용으로 효율을 재면 어려운 대상을 맡는 기관이 불리해지고, 다시 크리밍의 유인이 생긴다. 그래서 실무적 원칙은 이렇게 정리된다. 효율을 재되 단독 기준으로 쓰지 않는다. 효과·질·형평성과 함께 보고, 대상의 난이도를 보정하며, 화폐로 환산되지 않는 편익은 별도로 서술한다. 그리고 효율의 개선은 인건비 삭감이 아니라 과정의 개선에서 찾는다 — 중복 업무의 제거, 절차의 간소화, 자원 연계의 효율화가 그것이다.

0개

이 기출이 도움이 됐다면, 봄기출 앱에서도 공부해 보세요.