평가

지역사회복지의 성과 가운데 상당수가 과정 목표 — 주민의 역량, 관계, 조직, 참여의 경험 — 이며, 이것을 재는 방법이 평가의 가장 어려운 대목이다. 「못 잰다」가 답이 아니다. 못 잰다고 빼면 평가에서 사라지고, 사라지면 사업에서도 밀린다. 완벽하지 않더라도 관찰 가능한 형태로 바꾸는 것이 필요하다. 관계의 변화를 재는 법. 앞 장에서 본 사회관계망 지도를 사업 전후에 그려 비교한다. 참여자가 아는 사람의 수, 도움을 요청할 수 있는 사람의 수, 모임 사이의 연결이 늘었는지 본다. 「이 동네에서 급할 때 도움을 청할 수 있는 사람이 몇 명입니까」 같은 문항으로 설문에 넣을 수도 있다. 조직의 형성을 재는 법. 모임이 몇 개 생겼는가만이 아니라 그 모임이 어떤 상태인가를 본다. 스스로 회의를 소집하는가, 회칙이나 역할 분담이 있는가, 실무자 없이도 운영되는가, 새로운 일을 스스로 기획하는가. 이것들은 단계로 배열할 수 있고 그 단계의 이동이 성과가 된다. 역량의 변화를 재는 법. 주민이 스스로 할 수 있게 된 일의 목록을 만든다. 예산 신청서를 쓸 수 있게 되었는가, 행정과 협의할 수 있게 되었는가, 회의를 진행할 수 있게 되었는가. 참여의 질을 재는 법. 참여자의 수만이 아니라 누가 참여하는가(구성의 다양성), 어떤 참여인가(듣기만 하는가 결정에 관여하는가)를 본다. 뒤에 볼 아른스테인의 참여 8단계가 이 척도의 틀이 된다. 질적 기록의 활용. 실무자의 관찰 기록, 참여자의 이야기, 회의록에서 변화의 장면을 뽑아 정리한다. 「전에는 실무자가 다 준비했는데 이번에는 주민이 순서를 정했다」 같은 기록이 과정 성과의 증거다. 중요한 것은 계획 단계에서 이것을 정해 두는 것이다. 사업이 끝난 뒤에 「관계가 좋아졌나요」를 물으면 기억에 의존한 답만 얻는다.

참여적 평가는 주민과 이해관계자가 평가의 대상이 아니라 주체가 되는 방식이다. 무엇을 평가할지, 어떤 기준으로 볼지, 결과를 어떻게 해석할지에 함께 참여한다. 무엇이 달라지는가. 첫째, 성과의 정의가 달라진다. 기관이 보는 성과와 주민이 보는 성과가 다른 경우가 많다. 기관은 「프로그램을 계획대로 운영했다」를 성과로 보고, 주민은 「이 일 덕분에 동네 사람들과 인사하게 되었다」를 성과로 본다. 후자를 평가에 넣으려면 주민에게 물어야 한다. 둘째, 자료의 질이 달라진다. 앞 장의 협력적 사정과 같은 이치로, 주민이 물으면 다른 답이 나온다. 셋째, 평가 자체가 역량이 된다. 자기 활동을 되돌아보고 무엇이 잘되고 안 되었는지 판단하는 경험이 쌓인다. 이것이 페터만이 말한 역량강화 평가(empowerment evaluation)의 발상이며, 평가를 심판이 아니라 학습의 도구로 자리매김한다. 넷째, 결과가 쓰인다. 앞 장에서 본 대로 평가 결과가 쓰이지 않는 큰 이유가 「내 것이 아니어서」다. 함께 만든 평가는 함께 실행할 근거가 된다. 어려운 점. 시간이 오래 걸리고, 참여하는 주민을 교육해야 하며, 객관성에 대한 의문이 제기된다. 자기 활동을 스스로 평가하면 좋게 보려는 편향이 있고, 밖에서 그것을 믿어 주지 않는다. 절충의 방법. 외부 평가와 병행하는 것이다. 외부 평가가 객관성을 담보하고 참여적 평가가 맥락과 주민의 관점을 담는다. 그리고 참여적 평가에서도 근거를 남기는 것 — 왜 그렇게 판단했는지 자료로 뒷받침하는 것 — 을 규칙으로 두면 신뢰도가 올라간다. 제도적 근거로는 사회보장급여법 제41조제2항제1호가 지역사회보장협의체의 심의사항에 「지역사회보장계획 수립·시행 및 평가에 관한 사항」을 둔 것을 들 수 있다. 민관이 함께 평가를 심의하는 구조이며, 그 자리를 실질화하는 것이 참여적 평가의 제도적 통로다.