교육평가는 두 축으로 분류된다. 시기와 기능에 따른 축에서는 진단평가(수업 전, 선수학습 정도와 출발점 행동 확인, 학습 곤란의 원인 진단), 형성평가(수업 중, 학습 진전을 확인해 수업과 학습을 개선), 총괄평가(수업 후, 성취도를 종합 판정하고 성적을 부여)로 나뉜다. 참조 기준에 따른 축에서는 규준참조평가(상대평가, 다른 학생과 비교해 서열을 매김), 준거참조평가(절대평가, 미리 정한 준거의 도달 여부를 판단), 자기참조평가(성장참조ㆍ능력참조)로 나뉜다. 검사도구의 조건으로는 타당도(재려는 것을 재고 있는가), 신뢰도(일관되게 재는가), 객관도(채점자 간 일치), 실용도(경제성과 편의성)를 든다. 타당도는 내용타당도ㆍ준거타당도(예언ㆍ공인)ㆍ구인타당도로 나뉘고, 신뢰도 추정법에는 재검사법ㆍ동형검사법ㆍ반분법ㆍ문항내적일관성법(크론바흐 알파)이 있다. 평가 결과를 해석하는 도구로는 원점수를 상대적 위치로 바꾼 규준점수가 쓰이는데, 백분위(그 점수 아래에 놓인 사례의 백분율), Z점수(평균 0ㆍ표준편차 1), T점수(평균 50ㆍ표준편차 10), 스테나인(1~9의 아홉 등급)이 대표적이다.
02이해하기
타당도와 신뢰도의 관계가 이 단원의 뼈대다. 신뢰도는 타당도의 필요조건이지 충분조건이 아니다 — 매번 똑같이 잘못 잰다면 신뢰도는 높지만 타당도는 없다. 반대로 타당도가 높으면 신뢰도도 일정 수준 이상 확보된다. 「과녁을 맞히는가(타당도)」와 「한곳에 모이는가(신뢰도)」로 그려 보면 관계가 분명해진다 — 한곳에 모였지만 과녁을 벗어난 경우는 가능하고, 과녁에 몰려 맞았는데 흩어진 경우는 성립하기 어렵다.
03핵심 포인트
진단평가 — 수업 전. 선수학습 정도, 출발점 행동, 학습 곤란의 원인 진단
형성평가 — 수업 중. 교수ㆍ학습 개선이 목적. 성적 산출이 목적이 아니다
총괄평가 — 수업 후. 성취 수준의 종합 판정과 성적 부여, 다음 학습의 성공 예측
타당도의 종류 — 내용타당도(교과 전문가의 논리적 판단), 준거타당도(예언ㆍ공인), 구인타당도(구성개념의 조작적 정의를 검증)
수행평가 — 실제 상황에서 지식ㆍ기능을 적용하는 과정과 결과를 관찰ㆍ판단. 루브릭으로 채점 기준을 명세화
04한눈에 보기
규준참조평가(상대평가)
비교 대상은 다른 학생. 개인차 변별이 목적이므로 문항곤란도가 중간이고 변별도가 높은 문항이 좋다. 선발ㆍ배치에 적합.
VS
준거참조평가(절대평가)
비교 대상은 설정된 준거. 목표 도달 여부 판단이 목적이므로 변별도보다 준거 관련성이 중요하다. 자격 인정ㆍ완전학습에 적합.
더 알아보기
평가 목적에 따라 좋은 문항이 달라진다 — 곤란도와 변별도의 해석
문항곤란도는 그 문항의 정답률이고, 문항변별도는 능력이 높은 집단과 낮은 집단의 정답률 차이를 나타내는 지수다. 규준참조평가에서는 정답률이 0.5 부근일 때 변별력이 최대가 되므로 중간 난이도 문항이 선호되고, 변별도가 0에 가깝거나 음수인 문항(하위집단이 더 많이 맞히는 문항)은 결함이 있는 것으로 본다. 그러나 준거참조평가에서는 사정이 다르다. 모든 학생이 목표에 도달했다면 정답률이 0.9를 넘고 변별도는 0에 가까워지는데, 이는 문항의 결함이 아니라 수업이 성공했다는 증거다. 따라서 문항분석 결과를 해석할 때는 「이 검사가 무엇을 하려는 검사인가」를 먼저 확인해야 한다. 같은 지수가 한 평가에서는 문항 폐기의 근거가 되고 다른 평가에서는 수업 성공의 근거가 된다.
수행평가와 루브릭 — 객관도를 확보하는 방식
수행평가는 학생이 지식이나 기능을 실제 상황에서 적용하는 과정과 산출물을 관찰해 판단하는 평가다. 선택형 검사가 「알고 있는가」를 묻는다면 수행평가는 「할 수 있는가」를 묻는다. 논술형ㆍ실험보고서ㆍ포트폴리오ㆍ토론ㆍ프로젝트가 그 형태이며, 실제성(authenticity)과 과정 중시가 특징이다. 문제는 채점자의 주관이 개입할 여지가 크다는 점 — 즉 객관도 확보다. 이를 위해 쓰는 도구가 루브릭(rubric)으로, 평가 준거(무엇을 볼 것인가)와 수준별 기술(각 수준이 어떤 모습인가)을 표로 명세화한다. 루브릭은 총체적(holistic, 전체 인상을 하나의 척도로)과 분석적(analytic, 준거별로 나누어 채점)으로 나뉜다. 분석적 루브릭은 피드백이 구체적이지만 채점 부담이 크고, 총체적 루브릭은 빠르지만 어디를 고쳐야 할지 알려 주지 못한다. 루브릭을 학생에게 미리 공개하면 평가도구가 동시에 학습 안내가 된다는 점이 수행평가의 강점으로 꼽힌다.
05기출 지문
X
구인타당도에서의 구인은 가설적인 구성개념이 아니라 직접 관찰하고 측정할 수 있는 개념이다.
구인은 직접 관찰·측정할 수 없는 가설적 구성개념이므로 ‘직접 관찰하고 측정할 수 있는 개념’은 옳지 않다(정답).