목적(goal) — 궁극적으로 이루려는 방향→성과목표 — 대상자에게 일어날 변화(무엇이 달라지는가)→과정목표 — 그 변화를 위해 할 활동(무엇을 얼마나)→측정 방법 — 언제 무엇으로 확인할 것인가를 함께 정한다
과정목표와 성과목표| 축 | 과정목표 | 성과목표 |
|---|
| 묻는 것 | 무엇을 얼마나 할 것인가 | 무엇이 달라질 것인가 |
|---|
| 주어 | 우리 조직 | 대상자 |
|---|
| 통제 | 조직이 통제할 수 있다 | 온전히 통제할 수 없다 |
|---|
| 예 | 집단상담 주 1회 12회기, 가정방문 월 2회 | 우울척도 점수 20% 감소, 취업률 30% 달성 |
|---|
| 확인 | 실시 기록으로 바로 확인 | 측정 도구와 시점을 미리 정해야 한다 |
|---|
더 알아보기
과정목표만 있는 사업계획서가 만드는 것
많은 사업계획서가 과정목표로만 채워져 있다. 「상담 200회 실시」, 「교육 12회 운영」, 「가정방문 300건」처럼 활동의 양만 적는다. 왜 그렇게 되고 무엇이 문제인지 보자.
왜 그렇게 되는가. 과정목표는 쓰기 쉽고 달성이 확실하다. 계획한 횟수를 채우면 100% 달성이고, 그 근거도 실시 기록으로 남는다. 반면 성과목표는 무엇을 어떻게 잴지 정해야 하고, 노력해도 달성되지 않을 수 있다. 평가에서 불이익을 받을 위험을 감수해야 한다.
무엇이 문제인가.
첫째, 효과를 알 수 없다. 상담을 200회 했다는 것과 그 200회가 도움이 되었다는 것은 다른 이야기다. 활동량만 재면 효과가 없는 사업도 계속된다.
둘째, 개선의 실마리가 없다. 목표를 달성했으니 고칠 것이 없어 보인다. 앞 장에서 본 PDCA의 Check가 실적 집계에 그치면 Act가 나오지 않는 것과 같은 구조다.
셋째, 양을 늘리는 방향으로 왜곡된다. 횟수가 목표면 짧고 얕은 접촉을 늘리는 것이 유리하다. 한 사람과 깊이 만나는 것보다 여러 사람과 잠깐씩 만나는 편이 숫자가 잘 나온다.
넷째, 설명 책임을 다하지 못한다. 재원 제공자와 지역사회에 「이만큼 했습니다」는 말할 수 있어도 「이만큼 달라졌습니다」는 말할 수 없다.
성과목표를 세우기 어려운 현실적 이유도 인정해야 한다. 앞 장에서 여러 번 본 대로 이 분야의 성과는 늦게 나타나고 여러 요인이 얽힌다. 그래서 완벽한 성과 측정을 요구하면 아무것도 못 한다.
절충의 방법이 있다. 중간 성과(intermediate outcome)를 세우는 것이다. 최종 목표가 「자립」이라면 그 앞에 「구직 활동을 시작한다」, 「직업훈련을 수료한다」, 「자기효능감이 향상된다」 같은 중간 단계를 두고 그것을 잰다. 시간 안에 확인할 수 있고, 최종 성과로 가는 경로를 보여 준다. 다음 카드의 논리모델이 이 층위를 체계적으로 나누는 도구다.
측정 방법을 목표와 함께 정해야 하는 이유
성과목표를 세울 때 흔히 빠지는 것이 측정 방법이다. 「참여자의 사회적 관계가 향상된다」라고 써 두고 무엇으로 확인할지는 정하지 않는다. 그러면 평가 시점에 가서 곤란해진다.
미리 정해야 하는 이유가 셋이다.
첫째, 사전 측정이 필요하다. 변화를 재려면 시작할 때의 상태를 알아야 한다. 프로그램이 끝난 뒤에 「얼마나 좋아졌나」를 물으면 기억에 의존한 답만 얻는다. 사전-사후 측정을 하려면 시작 전에 도구가 준비되어 있어야 한다. 이것이 목표 설정 단계에서 측정을 함께 정해야 하는 가장 실질적인 이유다.
둘째, 목표의 모호함이 드러난다. 「사회적 관계가 향상된다」를 어떻게 잴지 생각하는 순간, 그것이 무엇을 뜻하는지 정해야 한다. 만나는 사람의 수인가, 만남의 빈도인가, 관계의 질에 대한 주관적 평가인가, 외로움 척도 점수인가. 측정을 정하는 과정이 목표를 명확하게 만든다.
셋째, 달성 가능한 수준인지 판단할 수 있다. 도구를 정하면 「이 척도에서 20% 개선이 현실적인가」를 따져 볼 수 있다. 근거 없이 숫자를 정하면 지나치게 높거나 낮은 목표가 된다.
측정 방법을 정할 때의 고려가 몇 가지 있다. 표준화된 척도를 쓰면 비교가 가능하고 신뢰할 만하지만, 프로그램의 내용과 어긋날 수 있다. 자체 개발 도구는 프로그램에 맞지만 타당도를 보장하기 어렵다. 행정 자료(출석, 이용 기록, 취업 여부)는 객관적이지만 태도와 인식의 변화는 못 잡는다. 질적 자료(면담, 관찰 기록)는 풍부하지만 정리에 품이 들고 비교가 어렵다.
여러 방법을 함께 쓰는 것이 대개 답이다. 척도로 변화의 크기를 재고, 면담으로 그 변화가 어떤 것이었는지 듣고, 행정 자료로 객관적 사실을 확인한다. 어느 하나만으로는 사회복지 프로그램의 성과를 담기 어렵다.
측정의 부담도 함께 고려해야 한다. 참여자에게 매번 설문을 돌리면 그 자체가 부담이고 참여를 방해한다. 재는 일이 서비스를 밀어내지 않도록 최소한으로 필요한 것을 고르는 판단이 필요하다.