논리모델 — 투입·활동·산출·성과·영향

논리모델의 진짜 쓸모는 다섯 칸을 채우는 데 있지 않고, 칸 사이의 화살표가 성립하는지 묻는 데 있다. 특히 활동·산출에서 성과로 가는 화살표가 자주 비약한다. 전형적인 비약을 보자. 「취업 교육 20시간을 실시하면(활동·산출) 취업한다(성과)」. 이 화살표에는 여러 가정이 숨어 있다 — 참여자가 취업하지 못하는 이유가 기술 부족이라는 가정, 20시간이면 충분하다는 가정, 교육받은 기술을 쓸 일자리가 있다는 가정이다. 어느 하나라도 틀리면 교육을 아무리 잘해도 성과는 나오지 않는다. 실제로 참여자가 취업하지 못하는 이유가 돌볼 아이가 있어서라면, 취업 교육이 아니라 보육 지원이 필요하다. 이유가 일자리가 없어서라면 교육이 아니라 일자리 개발이나 고용주와의 연계가 필요하다. 화살표를 검토하는 방법이 있다. 첫째, 문제의 원인을 확인한다. 논리모델 앞에 문제 분석을 붙이는 것이며, 「왜 이 문제가 생기는가」를 먼저 답해야 활동이 정해진다. 둘째, 중간 단계를 명시한다. 활동에서 최종 성과로 바로 화살표를 그으면 비약이 보이지 않는다. 단기·중기·장기 성과로 나누어 놓으면 어디서 끊기는지 보인다. 교육을 받아 지식은 늘었는데(단기 성과 달성) 구직 활동은 시작하지 않았다면(중기 성과 미달), 지식과 행동 사이에 다른 장벽이 있다는 뜻이다. 셋째, 근거를 확인한다. 이 활동이 이 성과를 낳는다는 근거가 선행 연구나 다른 사례에 있는가. 증거기반실천의 요구가 이 지점이다. 넷째, 통제할 수 없는 요인을 적어 둔다. 노동시장 상황, 가족의 지지, 건강 상태처럼 프로그램 밖의 요인을 명시해 두면, 성과가 나오지 않았을 때 원인을 가릴 수 있다. 논리모델에 외부 요인(external factors) 칸을 두는 형식이 이것을 위한 것이다. 곧 논리모델은 프로그램의 이론을 드러내는 도구다. 무엇을 하면 왜 그것이 변화를 낳는지에 대한 우리의 생각을 그림으로 그려 검토에 붙이는 것이며, 그 생각이 틀렸다면 실행 전에 알아채는 편이 낫다.

산출이 아니라 성과를 재라는 요구는 정당하고 필요하다. 앞 장에서 본 대로 활동량만 재면 효과 없는 사업도 계속되기 때문이다. 그런데 이 요구가 강해질 때 나타나는 부작용도 함께 봐야 한다. 첫째, 크리밍이 강해진다. 성과로 평가받으면 성과가 나올 사람을 고르게 된다. 취업률로 평가하는 프로그램은 취업 가능성이 높은 사람을 선발하고, 개선도로 평가하는 프로그램은 상태가 덜 심각한 사람을 받는다. 앞 장에서 여러 번 나온 구조이며, 성과 요구가 강해질수록 심해진다. 둘째, 재기 쉬운 성과로 몰린다. 척도로 잴 수 있고 단기간에 확인되는 성과가 목표가 되고, 재기 어렵지만 중요한 것 — 관계의 회복, 존엄의 유지, 임종기의 돌봄 — 은 뒤로 밀린다. 성과가 잘 안 나오는 대상 집단에 대한 서비스가 축소될 수도 있다. 셋째, 통제할 수 없는 것에 책임을 진다. 성과는 정의상 프로그램이 온전히 통제할 수 없다. 노동시장이 나빠 취업률이 떨어진 것을 기관의 책임으로 돌리면 부당하고, 그 부담은 실무자의 소진으로 이어진다. 넷째, 자료 조작의 유인이 생긴다. 성과가 재원과 직결되면 유리하게 기록할 압력이 생긴다. 균형을 잡는 방법이 제시된다. 산출과 성과를 함께 본다 — 성과가 나쁠 때 활동이 부족했는지 활동은 충실했으나 다른 요인이 작용했는지 가릴 수 있다. 대상의 난이도를 보정한다 — 어려운 대상을 받으면 그것을 성과 판단에 반영한다. 도달률을 함께 평가한다 — 표적집단 가운데 얼마나 닿았는지를 지표에 넣으면 크리밍의 유인이 줄어든다. 과정의 질을 평가한다 — 무엇을 어떻게 했는지가 기준에 맞았는지를 본다. 여러 해에 걸쳐 본다 — 한 해의 성과로 판단하지 않는다. 뒤에 볼 평가의 유형과 기준이 이 여러 축을 다루는 자리이며, 어느 하나의 지표로 프로그램을 판단하지 않는 것이 이 분야 평가의 원칙이다.