내적일관성 신뢰도는 한 번의 실시로 신뢰도를 재는 방식이다. 같은 속성을 재려고 만든 문항들이라면 서로 비슷하게 움직여야 한다는 생각에 기대어, 문항끼리 얼마나 함께 가는가를 신뢰도로 삼는다. 두 번 만날 필요가 없어 재검사법과 대안양식법의 부담을 한꺼번에 던다.
반분법은 척도를 반으로 갈라 두 묶음의 점수를 낸 뒤 상관을 본다. 앞뒤로 자르면 뒤쪽에 피로와 난이도가 몰릴 수 있으므로 보통 홀짝으로 가른다. 문제는 어떻게 가르느냐에 따라 값이 달라진다는 점이고, 또 하나는 반쪽 척도의 상관이므로 원래 길이의 신뢰도보다 낮게 나온다는 점이다. 뒤의 문제는 길이를 되돌려 주는 스피어만-브라운 공식으로 보정한다.
크론바흐 알파는 반분법의 첫 번째 문제를 근본에서 없앤다. 가능한 모든 반분 방식의 평균에 해당하는 값이어서 가르는 방법을 고를 필요가 없고, 그래서 오늘날 가장 널리 쓰인다. 값은 0에서 1 사이이며 보통 0.7 이상이면 받아들일 만하고 0.8을 넘으면 좋다고 본다.
알파를 읽을 때 반드시 함께 기억할 것이 있다. 알파는 문항 수가 늘면 저절로 올라간다. 비슷한 문장을 여러 개 늘어놓아 알파를 0.9대로 올려 놓고도 정작 개념의 폭은 좁아지는 일이 흔하다. 알파가 지나치게 높으면 문항들이 거의 같은 말을 되풀이하고 있다는 신호일 수 있으므로, 문항 수와 문항 간 평균 상관을 함께 보는 것이 옳다.
또 하나, 알파는 문항들이 하나의 속성을 재고 있다는 전제 위에서만 뜻을 갖는다. 서로 다른 두세 개의 속성을 한 척도에 뒤섞어 놓고 전체 알파를 구하면 값은 어중간하게 나오고 그 어중간함이 무엇을 뜻하는지 말할 수 없다. 그래서 하위영역이 나뉜 척도는 영역별로 따로 알파를 구해 보고하며, 전체 알파는 참고로만 적는다. 요컨대 알파는 척도가 한 갈래로 잘 묶였는지를 확인한 다음에 읽어야 할 값이다.
02이해하기
같은 것을 재려고 만든 문항이라면 서로 손발이 맞아야 한다는 발상이다. 한 사람이 어떤 문항에서 높게 답했으면 같은 속성을 묻는 다른 문항에서도 대체로 높게 답할 것이고, 그렇지 않다면 그 문항들은 서로 다른 것을 재고 있는 셈이다. 반분법은 그 손발 맞음을 두 묶음으로 갈라 한 번 확인하는 방식이고, 크론바흐 알파는 갈라 볼 수 있는 모든 방법을 다 해 본 뒤 평균을 낸 것이라고 보면 된다.
03핵심 포인트
내적일관성 신뢰도는 한 번의 실시로, 문항끼리 얼마나 함께 움직이는가를 본다.
반분법은 척도를 반으로 갈라 두 묶음 점수의 상관을 보며, 보통 홀짝으로 가른다.
반분법은 가르는 방법에 따라 값이 달라지고, 반쪽 길이라 신뢰도가 낮게 잡힌다.
낮게 잡히는 문제는 스피어만-브라운 공식으로 원래 길이에 맞게 보정한다.
크론바흐 알파는 가능한 모든 반분의 평균에 해당해 가르는 방법을 고를 필요가 없다.
알파는 문항 수가 늘면 저절로 올라가므로, 문항 수와 문항 간 상관을 함께 읽어야 한다.
04한 줄 예시
05시험 함정
알파가 높으면 타당하다고 여기는 것 — 알파는 한결같음을 말할 뿐 무엇을 재는지 말하지 않는다.
비슷한 문장을 늘려 알파를 올리는 것 — 값은 오르되 개념의 폭이 좁아진다.
역방향 문항을 역코딩하지 않고 알파를 구하는 것 — 값이 까닭 없이 낮게 나온다.
06한눈에 보기
반분법과 크론바흐 알파
반분법
한 번 실시하고 반으로 갈라 상관을 본다. 가르는 방법에 따라 값이 달라지고, 반쪽 길이라 스피어만-브라운으로 보정한다.
VS
크론바흐 알파
가능한 모든 반분의 평균에 해당한다. 가를 방법을 고를 필요가 없어 널리 쓰이며, 보통 0.7 이상을 요구한다.
신뢰도를 재는 세 갈래
방법
실시 횟수
핵심
재검사법
두 번
같은 척도를 다시 실시해 안정성을 본다
대안양식법
두 번
동등한 두 벌로 기억의 영향을 던다
반분법·알파
한 번
문항끼리의 일관성을 본다
더 알아보기
알파가 문항 수에 끌려 올라가는 성질
크론바흐 알파는 문항 간 평균 상관과 문항 수, 두 가지가 함께 정하는 값이다. 그래서 문항끼리의 관계가 그대로여도 문항 수만 늘리면 값이 올라간다. 문항 간 평균 상관이 0.2로 그리 높지 않아도 문항이 스무 개쯤 되면 알파가 0.8을 넘길 수 있다. 이 성질 때문에 알파만 보고 「좋은 척도」라 말하는 것은 위험하다. 문항 수가 적은데 알파가 높으면 문항들이 정말 한 방향으로 잘 묶인다는 뜻이지만, 문항이 많고 알파만 높은 경우에는 각 문항이 개념의 다른 면을 짚고 있는지 따로 확인해야 한다. 그래서 보고할 때는 알파와 함께 문항 수, 문항 간 평균 상관, 그리고 각 문항을 뺐을 때의 알파 변화를 같이 적는 것이 관례이며, 이 표가 있어야 읽는 사람이 값의 출처를 가늠할 수 있다.
알파가 지나치게 높을 때 의심할 것
알파가 0.95를 넘으면 신뢰도가 아주 좋다고 반기기 전에 문항들을 다시 읽어 볼 일이다. 그렇게 높은 값은 문항들이 사실상 같은 문장을 조금씩 바꾸어 되풀이하고 있을 때 잘 나온다. 「나는 요즘 슬프다」·「나는 요즘 우울하다」·「나는 요즘 마음이 가라앉는다」를 나란히 두면 응답이 거의 같이 움직이므로 알파는 치솟지만, 척도가 담는 것은 우울의 한 조각뿐이어서 식욕이나 수면, 흥미 상실 같은 면은 아예 빠진다. 이런 상태를 개념을 좁게 잘라 냈다는 뜻에서 문제 삼으며, 결과적으로 신뢰도를 얻고 타당도를 잃는 교환이 일어난다. 좋은 척도는 문항들이 같은 개념을 가리키되 서로 다른 면을 짚어, 알파는 넉넉하면서 개념의 폭도 지키는 자리에 선다.