노력 얼마나 했나 → 과정 어떻게 했나 → 질 제대로 했나→효과 목표를 이뤘나 → 효율 비용 대비 어땠나→형평성 누구에게 닿았나 → 영향 문제 자체가 줄었나
평가의 일곱 기준| 기준 | 묻는 것 | 논리모델의 대응 |
|---|
| 노력 | 얼마나 했는가 | 투입·활동·산출 |
|---|
| 효과 | 목표를 달성했는가 | 성과 |
|---|
| 효율 | 같은 결과를 더 적은 비용으로 냈는가 | 성과 ÷ 비용 |
|---|
| 영향 | 문제 자체를 얼마나 줄였는가 | 영향 |
|---|
| 형평성 | 공평하게 배분되었는가 | 도달률, 대상 구성 |
|---|
| 과정 | 어떻게 이루어졌는가 | 활동의 충실도 |
|---|
| 질 | 전문적 기준에 맞는가 | 인력의 자격, 방법의 적절성 |
|---|
더 알아보기
형평성 기준이 없으면 보이지 않는 것
평가 기준 가운데 형평성은 다른 기준으로는 절대 드러나지 않는 것을 잡아낸다.
상황을 보자. 한 취업지원 프로그램이 참여자의 70%를 취업시켰다. 효과 기준으로는 우수하다. 1인당 비용도 낮아 효율도 좋다. 노력도 계획한 만큼 했고, 과정도 계획대로 진행되었으며, 질도 자격 있는 인력이 표준 방법으로 제공했다. 여섯 기준에서 모두 좋은 평가를 받는다.
형평성 기준을 대면 다른 그림이 나온다. 참여자를 보니 대부분 학력이 높고 최근까지 일한 경험이 있는 사람이었다. 표적집단으로 삼았던 장기 실업자와 중고령자는 거의 없었다. 취업이 어려운 사람을 받지 않았기 때문에 성공률이 높았던 것이다.
이것이 앞 장에서 여러 번 나온 크리밍이며, 효과와 효율 기준만으로는 절대 잡히지 않는다. 오히려 크리밍을 할수록 그 두 기준의 점수가 올라간다.
형평성을 보는 방법이 몇 가지다.
대상 구성을 표적집단과 견준다. 표적집단의 인구 구성과 실제 참여자의 구성을 비교하면 어떤 집단이 빠졌는지 보인다. 앞 장에서 본 표적집단 대비 클라이언트집단의 비율이 이 계산이다.
하위 집단별로 성과를 나누어 본다. 전체 성공률 70%가 어떤 집단에서는 90%, 다른 집단에서는 20%일 수 있다. 평균만 보면 이 격차가 가려진다.
중도 이탈자를 본다. 성공률을 수료자 기준으로 계산하면 도중에 그만둔 사람이 빠진다. 어려운 사람일수록 이탈하기 쉬우므로, 이탈자를 포함한 계산이 실제 형평성을 보여 준다.
접근성을 본다. 물리적 거리, 이용 시간, 비용, 절차의 복잡성이 특정 집단을 배제하고 있지 않은지 확인한다.
형평성 기준이 평가에 들어가야 하는 이유는 단지 공정성 때문만이 아니다. 사회복지 프로그램의 존재 이유가 시장이 닿지 못하는 사람에게 닿는 것이므로, 쉬운 사람만 돕는 프로그램은 그 목적 자체를 잃은 것이다.
「효율」을 사회복지에서 어떻게 다룰 것인가
효율 기준은 사회복지에서 늘 논쟁적이다. 「사람을 돕는 일에 비용을 따지는 것이 옳은가」라는 반발이 있고, 반대로 「한정된 재원을 낭비하면 도울 수 있었던 사람을 못 돕는다」는 논리도 있다.
효율을 따져야 하는 이유부터 분명히 하자. 자원은 유한하다. 같은 예산으로 100명을 도울 수 있는데 50명만 돕고 있다면, 나머지 50명은 비효율의 대가를 치르는 것이다. 앞 장에서 본 공공부조의 원리에서 자원의 유한성이 행정의 필요를 낳는다고 한 것과 같은 논리다. 곧 효율은 냉정함이 아니라 형평의 다른 얼굴일 수 있다.
그럼에도 조심할 지점들이 있다.
첫째, 효율은 효과를 전제한다. 효과가 없는 프로그램을 싸게 하는 것은 효율이 아니라 낭비다. 효율 계산은 성과가 확인된 뒤에 의미가 있으며, 그래서 평가 기준의 순서에서 효과가 효율보다 앞에 온다.
둘째, 비용을 낮추는 방식이 질을 깎는 것일 수 있다. 인건비를 줄여 1인당 비용을 낮추면 효율 지표는 좋아지지만, 그것은 앞 장에서 본 저임금과 고이직의 구조로 이어져 결국 서비스의 질을 떨어뜨린다. 효율은 질 기준과 함께 봐야 한다.
셋째, 재기 어려운 편익이 빠진다. 다음 카드에서 볼 비용편익분석의 근본 문제이며, 화폐로 환산하기 어려운 편익 — 존엄, 관계, 삶의 만족 — 이 계산에서 사라진다. 그러면 그런 편익을 주는 서비스가 불리해진다.
넷째, 대상에 따라 단가가 다르다. 중증장애인 한 사람에게 드는 비용은 경증인 사람보다 크다. 1인당 비용으로 효율을 재면 어려운 대상을 맡는 기관이 불리해지고, 다시 크리밍의 유인이 생긴다.
그래서 실무적 원칙은 이렇게 정리된다. 효율을 재되 단독 기준으로 쓰지 않는다. 효과·질·형평성과 함께 보고, 대상의 난이도를 보정하며, 화폐로 환산되지 않는 편익은 별도로 서술한다. 그리고 효율의 개선은 인건비 삭감이 아니라 과정의 개선에서 찾는다 — 중복 업무의 제거, 절차의 간소화, 자원 연계의 효율화가 그것이다.