평가의 유형 — 형성평가와 총괄평가

평가자를 누구로 하느냐는 평가의 성격을 크게 바꾼다. 둘의 장단점이 정확히 거울상이므로 조합이 답이 되는 경우가 많다. 내부평가의 강점. 프로그램의 맥락을 잘 안다 — 왜 그렇게 설계했는지, 어떤 제약이 있었는지, 기록에 안 나오는 사정이 무엇인지 안다. 자료에 접근하기 쉽고 비용이 적으며, 결과를 바로 개선에 쓸 수 있다. 평가 결과를 방어적으로 받아들이지 않고 학습의 재료로 삼기도 쉽다. 내부평가의 약점. 객관성이 의심된다. 자기 프로그램을 평가하면 좋게 보려는 편향이 작동하고, 실제로 공정하게 해도 밖에서 믿어 주지 않는다. 그리고 조직 안의 관계 때문에 부정적 결과를 그대로 쓰기 어렵다. 외부평가의 강점과 약점은 그 반대다. 객관성과 신뢰가 높고 전문적 방법을 쓸 수 있으나, 맥락을 모르고, 비용이 들며, 결과가 조직에 받아들여지지 않으면 개선으로 이어지지 않는다. 「밖에서 와서 한 철 보고 뭘 알겠나」는 반응이 나오면 보고서는 서랍으로 간다. 조합의 방법이 몇 가지다. 형성평가는 내부, 총괄평가는 외부. 진행 중의 개선은 맥락을 아는 내부가 빠르게 하고, 최종 판단은 객관성이 필요하므로 외부에 맡긴다. 가장 흔한 조합이다. 설계와 자료 수집을 나누기. 평가 설계와 분석은 외부 전문가가 하고, 자료 수집은 내부에서 한다. 비용을 줄이면서 방법의 엄밀성을 얻는다. 참여적 평가. 외부 평가자가 진행하되 실무자와 이용자가 평가 질문 설정과 해석에 참여한다. 객관성과 맥락 이해를 함께 얻고, 무엇보다 결과가 수용되어 개선으로 이어질 가능성이 높아진다. 제도적 평가와의 관계도 봐야 한다. 사회복지사업법 제43조의2에 따른 시설 평가는 외부평가이며 3년마다 이루어진다. 이것은 책임성 확보와 최저기준 유지를 겨눈 것이지 개별 프로그램의 개선을 위한 것이 아니다. 그래서 기관은 제도적 외부평가와 별개로 자체 평가 체계를 갖춰야 하며, 둘을 같은 것으로 여기면 개선의 기능이 비게 된다.

평가에 자원을 들이고도 그 결과가 아무것도 바꾸지 못하는 일이 흔하다. 평가의 활용(utilization)이 오래된 연구 주제인 이유다. 쓰이지 않는 이유가 몇 가지다. 첫째, 물음이 잘못되었다. 평가자가 궁금한 것을 물었지 의사결정자가 필요한 것을 묻지 않았다. 「이 프로그램은 효과가 있었는가」에 답했는데 실제로 필요한 답은 「어느 대상에게 어떤 방식이 잘 맞는가」였을 수 있다. 둘째, 시점이 늦다. 결정이 이미 내려진 뒤에 보고서가 나온다. 다음 해 예산이 확정된 뒤에 「이 사업은 축소해야 한다」는 결론이 나와도 소용이 없다. 셋째, 결과가 위협으로 받아들여진다. 평가가 책임을 묻는 도구로 인식되면 방어적 반응이 나온다. 자료를 유리하게 제공하고, 부정적 결과는 방법론을 문제 삼아 부인한다. 앞 장에서 본 조직문화의 문제이며, 실패를 말할 수 있는 조직인지가 평가의 실효성을 좌우한다. 넷째, 실행할 힘이 없다. 무엇을 고쳐야 하는지 알아도 예산과 인력이 없으면 못 고친다. 평가가 「이미 아는 문제」를 확인하고 끝나는 경우다. 다섯째, 이해관계자가 참여하지 않았다. 평가 설계에 관여하지 않은 사람은 그 결과를 자기 것으로 여기지 않는다. 활용을 높이는 방법이 여기서 나온다. 의사결정 일정에 맞춰 평가를 설계하고, 의사결정자와 실무자에게 무엇이 궁금한지 먼저 묻고, 중간 결과를 공유하며, 평가를 학습의 도구로 자리매김하고, 실행 가능한 권고를 담는 것이다. 특히 마지막이 중요하다. 「전면적 재설계가 필요하다」는 권고는 실행되지 않는다. 「무엇을 언제까지 누가 어떻게 바꿀 수 있는가」까지 구체화된 권고여야 움직임이 생긴다. 앞 장에서 본 PDCA의 Act가 실질화되는 조건이 이것이다.