크론바흐 알파가 높으면 좋은 설문도구라고 말할 수 있을까

설문도구를 개발하거나 번역한 연구에서 다음과 같은 문장을 자주 볼 수 있다.

전체 문항의 크론바흐 알파가 0.92로 나타났으므로 본 설문도구의 신뢰도와 타당도가 매우 높다.

언뜻 보기에는 자연스럽지만 이 문장에는 두 가지 문제가 있다.

첫째, 크론바흐 알파는 설문도구의 모든 품질을 평가하는 지표가 아니다.
둘째, 알파가 높다고 타당도가 입증되는 것은 아니다.

크론바흐 알파는 여러 문항을 합산하거나 평균해 하나의 점수를 만들 때 그 점수의 내적 일관성 신뢰도를 평가하는 대표적인 계수다(Cronbach, 1951).

하지만 알파가 높다는 사실만으로는 다음 질문에 답할 수 없다.

• 문항들이 하나의 개념을 측정하는가?
• 설문이 측정하려는 개념을 제대로 측정하는가?
• 중요한 내용이 빠지지 않았는가?
• 다른 집단에서도 같은 구조로 작동하는가?
• 시간이 지나도 점수가 안정적인가?
• 실제 행동이나 외부 기준을 잘 예측하는가?
• 문항들이 지나치게 비슷하지 않은가?

따라서 핵심 결론은 다음과 같다.

크론바흐 알파가 높다는 것은 일정한 조건 아래에서 문항 합산점수의 내적 일관성이 높다는 근거일 수 있지만, 좋은 설문도구라는 결론을 단독으로 입증하지는 못한다.

크론바흐 알파는 무엇을 측정하는가

크론바흐 알파는 여러 문항을 더하거나 평균해 만든 총점이 얼마나 일관된 점수로 기능하는지를 추정한다.

문항 수를 \(k\), 각 문항의 분산을 \(\sigma_{i}^{2}\), 총점의 분산을 \(\sigma_{T}^{2}\)라고 하면 알파는 다음과 같다.

\[
\alpha=\frac{k}{k-1}\left(1-\frac{\sum_{i=1}^{k}\sigma_{i}^{2}}{\sigma_{T}^{2}}\right)
\]

각 기호의 의미는 다음과 같다.

문항들이 서로 같은 방향으로 움직이면 문항 간 공분산이 커지고 총점의 분산도 커진다. 그 결과 알파가 높아질 가능성이 있다.

표준화된 문항들의 평균 상관계수를 \(\bar{r}\)라고 하면 표준화 알파는 다음과 같이 표현할 수 있다.

\[
\alpha_{\mathrm{std}}=\frac{k\bar{r}}{1+(k-1)\bar{r}}
\]

이 공식은 알파가 다음 두 요인의 영향을 받는다는 사실을 보여준다.

1. 문항들이 서로 얼마나 관련되어 있는가
2. 문항이 몇 개나 포함되어 있는가

즉, 알파는 문항 간 관련성만을 나타내는 지표가 아니다. 문항 수가 많아지면 평균 문항 간 상관이 같아도 알파는 높아진다(Cortina, 1993).

알파 0.80은 무엇을 의미하는가

알파가 0.80이라고 해서 다음을 의미하는 것은 아니다.

• 응답자의 80%가 일관되게 답했다.
• 문항의 80%가 올바른 문항이다.
• 설문의 정확도가 80점이다.
• 설문이 측정하려는 개념을 80% 타당하게 측정한다.
• 다시 검사하면 80%가 같은 응답을 한다.

고전검사이론의 조건이 적절하게 충족된 상황에서는 관찰된 총점 분산 가운데 신뢰할 수 있는 점수변동이 차지하는 비율과 관련된 추정치로 해석할 수 있다.

그러나 알파가 실제 신뢰도와 같아지려면 문항구조와 오차에 관한 가정이 필요하다. 따라서 알파 0.80을 기계적으로 “80%가 참점수이고 20%가 오차”라고 단정하는 것도 지나치게 단순한 해석이다(Sijtsma, 2009; McNeish, 2018).

알파는 표본자료에서 계산된 추정값이다. 표본이 달라지거나 설문을 적용한 집단이 달라지면 값도 달라질 수 있다.

신뢰도는 설문지 이름에 영구적으로 붙어 있는 고정된 속성이 아니라 특정 모집단, 상황과 점수사용 방식에서 얻어진 점수의 속성이다.

문항 수가 많으면 알파는 높아진다

평균 문항 간 상관계수가 0.30으로 동일한 설문을 생각해 보자.

문항 수만 달라질 때 표준화 알파는 다음과 같다.

4문항일 때는 약 0.63이지만 20문항으로 늘리면 약 0.90이 된다.

문항 사이의 평균적인 관련성은 전혀 달라지지 않았다. 단지 비슷한 문항이 더 많이 포함되었기 때문에 알파가 상승했다.

4문항의 경우는 다음과 같다.

\[
\alpha=\frac{4\times0.30}{1+3\times0.30}\approx0.63
\]

12문항의 경우는 다음과 같다.

\[
\alpha=\frac{12\times0.30}{1+11\times0.30}\approx0.84
\]

이 때문에 문항 수가 다른 척도의 알파를 단순히 비교해서는 안 된다.

10문항 설문의 알파가 0.85이고 3문항 설문의 알파가 0.70이라고 해서 첫 번째 설문이 반드시 더 좋은 측정도구라고 말할 수는 없다.

짧은 척도는 문항 수가 적기 때문에 알파가 상대적으로 낮게 나타날 수 있다. 반대로 긴 척도는 비슷한 문항을 반복해 알파를 높일 수 있다.

알파가 지나치게 높으면 문항 중복을 의심해야 한다

알파가 높을수록 언제나 좋은 것은 아니다.

다음 문항들을 생각해 보자.

• 이 쇼핑몰의 결제과정은 편리하다.
• 이 쇼핑몰에서 결제하기는 쉽다.
• 이 쇼핑몰의 결제절차는 어렵지 않다.
• 이 쇼핑몰의 결제단계는 편리하게 구성되어 있다.
• 이 쇼핑몰의 결제방식은 사용하기 쉽다.

문장 표현은 조금씩 다르지만 거의 같은 내용을 반복하고 있다.

이러한 문항들은 서로 높은 상관을 보일 가능성이 크다. 알파 역시 매우 높게 나타날 수 있다.

하지만 고객경험이라는 넓은 개념을 측정하려는 설문이라면 다음 내용이 빠져 있을 수 있다.

• 배송
• 상품정보
• 고객지원
• 환불절차
• 시스템 안정성
• 가격 신뢰성

알파는 높지만 측정내용은 결제 편의성에 지나치게 좁게 집중되어 있다.

이 경우 설문의 내적 일관성은 높을 수 있어도 내용타당도는 낮을 수 있다.

알파가 0.95 이상이면 문항 중복 가능성을 검토하라는 조언이 자주 사용된다. 그러나 0.95가 절대적인 경계선은 아니다. 문항 수, 측정개념과 사용목적을 함께 살펴야 한다(Tavakol & Dennick, 2011).

지나치게 높은 알파는 완벽한 설문의 증거일 수도 있지만, 같은 문장을 여러 번 물었다는 신호일 수도 있다.

알파는 단일차원성을 검정하지 않는다

크론바흐 알파에 관한 가장 흔한 오해 중 하나는 알파가 높으면 모든 문항이 하나의 요인을 측정한다고 생각하는 것이다.

그러나 알파는 단일차원성을 검정하는 통계량이 아니다(Cortina, 1993; Schmitt, 1996).

12개의 문항이 다음 두 영역으로 구성되어 있다고 하자.

• 불안 문항 6개
• 우울 문항 6개

불안과 우울은 서로 관련되어 있을 수 있다. 두 요인의 상관이 높고 각 영역의 문항들이 강하게 관련되어 있다면 12개 전체 문항의 알파가 0.90 이상으로 나타날 수 있다.

하지만 문항구조는 하나가 아니라 두 개의 잠재요인일 수 있다.

전체 알파가 높다는 이유만으로 모든 문항을 하나의 총점으로 합산하면 불안과 우울이라는 서로 다른 개념을 섞어버릴 수 있다.

단일차원성을 평가하려면 다음 방법이 필요하다.

• 문항 내용에 대한 이론적 검토
• 탐색적 요인분석
• 확인적 요인분석
• 잔차상관 검토
• 이중요인 모형
• 요인 간 상관
• 측정불변성 검토

요인분석 결과 두 개 이상의 하위요인이 나타났다면 각 하위척도의 신뢰도를 별도로 제시하는 것이 일반적이다.

강한 일반요인이 존재해 전체점수를 사용할 수 있는지는 오메가 계층계수, 설명된 공통분산과 이중요인 모형 등을 이용해 추가로 검토할 수 있다(Revelle & Zinbarg, 2009).

단일차원성만 확인하면 알파를 사용할 수 있을까

단일차원성은 중요하지만 그것만으로 충분하지 않다.

알파가 점수 신뢰도를 적절하게 반영하려면 대표적으로 다음 조건을 검토해야 한다.

문항들이 하나의 공통개념을 측정한다

문항들이 하나의 점수로 합산될 수 있는 충분한 공통구조를 가져야 한다.

본질적 타우동등성이 성립한다

각 문항이 잠재개념을 동일한 크기로 측정한다는 조건과 관련된다.

단순한 1요인 모형을 다음과 같이 표현할 수 있다.

\[
X_{i}=\tau_{i}+\lambda_{i}F+\varepsilon_{i}
\]

타우동등성에서는 문항의 요인적재량이 같거나 동등한 참점수 구조를 갖는다고 본다.

\[
\lambda_{1}=\lambda_{2}=\cdots=\lambda_{k}
\]

현실의 설문에서는 어떤 문항은 개념을 매우 강하게 반영하고 다른 문항은 상대적으로 약하게 반영하는 경우가 많다.

적재량이 서로 다른 동족측정 모형에서는 알파가 실제 점수 신뢰도를 적절히 추정하지 못할 수 있다(Raykov, 1997; Dunn et al., 2014).

문항 오차가 서로 독립적이다

비슷한 문장표현, 같은 상황설명이나 연속된 배치 때문에 문항 오차들이 관련될 수 있다.

예를 들어 두 문항이 거의 같은 표현을 사용하면 잠재개념 때문이 아니라 문장 중복 때문에 높은 상관이 나타날 수 있다.

오차상관은 알파를 인위적으로 높이거나 왜곡할 수 있다.

이러한 가정을 확인하지 않고 알파만 제시하면 신뢰도 추정이 지나치게 단순해질 수 있다.

알파는 타당도를 보여주지 않는다

신뢰도와 타당도는 서로 다른 개념이다.

신뢰도는 점수가 얼마나 일관되고 안정적으로 측정되는가와 관련된다.

타당도는 점수에 대해 내리려는 해석과 사용을 뒷받침하는 근거가 충분한가와 관련된다.

잘못된 개념을 매우 일관되게 측정할 수도 있다.

예를 들어 대학생활 만족도를 측정한다면서 도서관 시설에 관한 문항만 20개 사용했다고 하자.

20개 문항이 서로 비슷하다면 알파는 매우 높을 수 있다.

하지만 대학생활 만족도에는 다음과 같은 요소도 포함될 수 있다.

• 수업의 질
• 교수와의 상호작용
• 행정서비스
• 진로지원
• 친구관계
• 생활환경
• 경제적 부담

도서관만 반복적으로 질문한 설문은 대학생활 만족도의 전체 내용을 충분히 포함하지 못한다.

알파가 높아도 대학생활 만족도를 타당하게 측정한다고 말하기 어렵다.

설문도구의 타당도를 평가하려면 다음 근거를 함께 검토해야 한다.

크론바흐 알파는 이 가운데 일부 내적 일관성 정보만 제공한다.

높은 신뢰도는 타당도를 위한 필요조건이 될 수 있지만 충분조건은 아니다.

알파 0.70이면 무조건 합격일까

알파가 0.70 이상이면 적절하고 0.70 미만이면 부적절하다는 규칙이 널리 사용된다.

그러나 0.70은 모든 설문에 적용되는 절대적인 기준이 아니다.

필요한 신뢰도 수준은 점수의 사용목적에 따라 달라질 수 있다.

알파가 0.69라고 해서 척도를 즉시 폐기하고, 0.71이라고 해서 자동으로 채택하는 것은 타당하지 않다.

다음 정보를 함께 판단해야 한다.

• 신뢰구간
• 문항 수
• 평균 문항 간 상관
• 요인구조
• 점수 사용목적
• 측정개념의 폭
• 문항의 내용적 중요성
• 다른 신뢰도 계수
• 외부 타당도 근거

기준값은 의사결정을 돕는 참고자료이지 설문도구의 합격과 불합격을 자동으로 결정하는 절대선이 아니다.

평균 문항 간 상관도 함께 봐야 한다

알파는 문항 수의 영향을 크게 받기 때문에 평균 문항 간 상관을 함께 보고하는 것이 도움이 된다.

평균 문항 간 상관은 다음과 같다.

\[
\bar{r}=\frac{\sum_{i<j}r_{ij}}{k(k-1)/2}
\]

문항이 10개라면 가능한 문항 쌍은 다음과 같다.

\[
\frac{10\times9}{2}=45
\]

45개 문항 쌍의 상관을 평균한 값이 평균 문항 간 상관이다.

평균 상관이 지나치게 낮다면 문항들이 서로 다른 내용을 측정할 가능성이 있다.

반대로 지나치게 높다면 문항들이 거의 같은 내용을 반복할 가능성이 있다.

다만 적절한 평균 상관범위도 측정개념의 폭에 따라 달라진다. 좁고 구체적인 개념은 높은 문항 간 상관이 자연스러울 수 있고, 폭넓은 개념은 상대적으로 낮을 수 있다(Clark & Watson, 1995).

원점수 알파와 표준화 알파는 다르다

통계 프로그램은 다음 두 종류의 알파를 제공할 수 있다.

• 원점수 알파
• 표준화 알파

원점수 알파는 문항의 공분산행렬을 사용한다.

표준화 알파는 문항을 각각 표준화한 뒤 상관행렬을 사용한다.

모든 문항이 동일한 1∼5점 척도를 사용하고 분산 차이가 특별한 의미를 가진다면 원점수 알파를 주로 보고할 수 있다.

문항의 단위가 서로 다르다면 표준화 알파가 고려될 수 있다. 그러나 단위가 다른 변수들을 하나의 총점으로 합산하는 것 자체가 이론적으로 타당한지 먼저 검토해야 한다.

표준화 알파가 원점수 알파보다 높다는 이유만으로 더 좋은 결과를 선택해서는 안 된다.

어떤 점수를 실제로 사용할 것인지와 일치하는 계수를 보고해야 한다.

역문항을 처리하지 않으면 알파가 낮아질 수 있다

다음 두 문항을 생각해 보자.

• 이 서비스에 만족한다.
• 이 서비스를 다시 이용하고 싶지 않다.

두 번째 문항은 높은 점수가 부정적인 의미를 가진다.

전체 점수에서 높은 점수가 높은 만족을 의미하도록 만들려면 역채점이 필요하다.

1∼5점 척도에서 역채점 공식은 다음과 같다.

\[
X_{\mathrm{rev}}=1+5-X=6-X
\]

역문항을 반전하지 않으면 정방향 문항과 음의 상관이 발생할 수 있다.

그 결과 알파가 낮아지거나 심하면 음수가 될 수 있다.

음의 알파는 일반적으로 다음 문제를 의심하게 한다.

• 역문항 미처리
• 자료 입력 오류
• 문항 방향 불일치
• 서로 관련되지 않은 문항의 합산
• 지나치게 작은 표본
• 잘못된 변수 선택

신뢰도 자체가 실제로 음수라는 뜻이 아니라 현재 자료와 채점방식이 내적 일관성 모형에 맞지 않는다는 경고로 보아야 한다.

자동으로 역문항을 탐색해 반전하는 기능은 편리하지만 공식 채점기준을 대체해서는 안 된다.

문항 간 상관만 보고 프로그램이 자동으로 방향을 바꾸면 표본의 우연한 패턴에 따라 원래 의도와 다른 채점이 이루어질 수 있다.

역문항을 넣었다고 무조건 좋은 것은 아니다

역문항은 동의편향을 줄이기 위해 사용되기도 한다.

하지만 부정문과 이중부정은 응답자를 혼란스럽게 만들 수 있다.

다음과 같은 문항을 생각해 보자.

이 수업이 유익하지 않았다는 의견에 동의하지 않는다.

응답자는 문장의 의미보다 부정어를 해석하는 데 더 많은 노력을 들여야 한다.

역문항끼리 별도의 요인을 형성한다면 실제 구성개념이 아니라 문장방향에 의한 방법효과일 수 있다.

따라서 역문항은 다음을 함께 점검해야 한다.

• 응답자의 이해 가능성
• 번역의 자연스러움
• 문항-총점 상관
• 정방향 문항과의 요인구조
• 오차상관
• 인지면접 결과
• 표본집단의 언어능력

낮은 알파를 역채점 하나로 해결했다고 해도 문항표현에 의한 방법효과가 남아 있을 수 있다.

‘문항을 삭제할 경우 알파’는 신중하게 사용해야 한다

통계 프로그램은 각 문항을 삭제했을 때 전체 알파가 어떻게 달라지는지 보여준다.

예를 들어 다음과 같은 결과가 나올 수 있다.

문항 3을 삭제하면 알파가 0.84에서 0.89로 올라간다고 하자.

이를 보고 문항 3을 즉시 제거해서는 안 된다.

알파 상승에는 다음 이유가 있을 수 있다.

• 문항 3이 실제로 다른 개념을 측정한다.
• 역문항 처리가 잘못되었다.
• 문항 표현이 모호하다.
• 문항 3만 중요한 하위영역을 측정한다.
• 표본에서 우연히 상관이 낮게 나타났다.
• 나머지 문항들이 지나치게 중복되어 있다.

문항을 삭제하면 알파는 높아질 수 있지만 측정개념의 중요한 내용을 잃을 수 있다.

문항 삭제는 다음 근거를 종합해 결정해야 한다.

1. 문항의 이론적 중요성
2. 전문가 내용검토
3. 문항-총점 상관
4. 요인적재량
5. 교차적재
6. 인지면접
7. 다른 표본에서의 재현성
8. 삭제 전후 내용타당도
9. 외부변수와의 관계
10. 전체 검사길이와 응답부담

알파를 최대화하는 것이 척도개발의 목표가 되어서는 안 된다.

Likert 문항에는 일반 알파를 사용해도 될까

Likert형 문항은 기본적으로 순서형 자료다.

1점과 2점 사이의 심리적 차이가 4점과 5점 사이의 차이와 정확히 같다고 보장할 수는 없다.

전통적인 알파는 숫자로 코딩된 문항의 공분산이나 Pearson 상관을 이용한다.

다음 조건에서는 일반 알파와 순서형 자료를 고려한 계수가 비슷하게 나타날 수 있다.

• 응답범주가 5개 이상이다.
• 범주별 빈도가 지나치게 치우치지 않는다.
• 표본이 충분하다.
• 문항분포가 극단적이지 않다.

반면 다음 상황에서는 다분상관을 이용한 순서형 알파나 범주형 요인모형 기반 오메가를 고려할 수 있다.

• 이분형 또는 3점 척도
• 극심한 천장효과
• 극심한 바닥효과
• 응답범주가 비대칭적으로 사용됨
• 순서형 잠재반응 모형이 연구목적에 적절함

다만 순서형 알파가 언제나 더 정확한 것은 아니다.

다분상관은 각 순서형 응답 뒤에 연속적인 잠재변수가 존재한다고 가정한다. 범주별 응답자가 적거나 분포가 극단적이면 상관추정이 불안정해질 수 있다(Gadermann et al., 2012; Flora, 2020).

따라서 다음처럼 보고하는 것이 좋다.

문항이 5점 순서형 척도이고 일부 문항에서 분포 비대칭이 확인되어 Pearson 상관 기반 알파와 다분상관 기반 신뢰도 계수를 함께 검토하였다.

이분형 문항의 KR-20과 알파

정답과 오답처럼 문항이 0과 1로 구성되어 있다면 Kuder–Richardson 20, 즉 KR-20을 사용할 수 있다.

동일한 이분형 문항에 적용할 경우 KR-20은 크론바흐 알파와 대수적으로 동일하다.

따라서 다음 설명은 정확하지 않다.

이분형 문항에는 알파를 사용할 수 없고 반드시 KR-20을 사용해야 한다.

이분형 문항의 알파와 KR-20은 같은 계열의 신뢰도 추정치다.

다만 시험문항에서는 난이도, 변별도, 추측, 속도요인과 문항반응이론의 적합성도 별도로 검토해야 한다.

알파가 높아도 시간적 안정성은 낮을 수 있다

알파는 한 시점에서 문항들이 서로 얼마나 일관되게 작동하는지를 평가한다.

시간이 지나도 같은 점수가 나오는지는 검정하지 않는다.

오늘 측정한 불안 문항들이 서로 높은 관련성을 보여 알파가 0.90일 수 있다.

하지만 일주일 뒤 불안점수와의 상관이 0.40이라면 시간적 안정성은 상대적으로 낮다.

이를 평가하려면 검사-재검사 신뢰도가 필요하다.

측정하려는 개념이 순간적인 감정상태라면 낮은 검사-재검사 상관이 반드시 나쁜 것은 아니다.

반대로 성격이나 안정적인 능력을 측정한다면 시간적 안정성이 중요하다.

어떤 신뢰도가 필요한지는 측정개념과 점수사용 목적에 따라 결정해야 한다.

표본이 달라지면 알파도 달라진다

알파는 설문도구의 고정된 상수가 아니다.

같은 설문을 사용해도 다음 집단에서 서로 다른 값이 나올 수 있다.

• 일반인과 환자
• 청소년과 성인
• 초급자와 전문가
• 한 국가와 다른 국가
• 오프라인 응답과 온라인 응답
• 동질적인 표본과 다양한 표본
• 원어판과 번역판

점수범위가 좁은 동질적인 집단에서는 문항 간 공분산과 총점 분산이 달라져 알파가 낮아질 수 있다.

반대로 매우 이질적인 표본에서는 점수변동이 커져 알파가 높아질 수 있다.

이 때문에 기존 연구에서 알파가 0.90이었다고 해서 새로운 연구에서도 동일한 값을 그대로 인용해서는 안 된다.

새로운 표본에서 점수를 사용했다면 해당 표본의 신뢰도를 다시 계산해 보고하는 것이 바람직하다.

알파에는 신뢰구간이 필요하다

표본에서 계산한 알파는 모집단 신뢰도의 점추정값이다.

알파가 0.82라고 해서 모집단 값이 정확히 0.82라는 뜻은 아니다.

다음 두 연구를 비교해 보자.

점추정값은 같지만 연구 A의 불확실성이 훨씬 크다.

표본이 작거나 문항 수가 적으면 신뢰구간이 넓어질 수 있다.

신뢰구간을 제시하면 다음을 판단할 수 있다.

• 신뢰도가 얼마나 정밀하게 추정되었는가?
• 실무적으로 필요한 수준보다 낮을 가능성이 있는가?
• 다른 척도와 차이가 분명한가?
• 표본 수가 충분했는가?

알파도 다른 통계량과 마찬가지로 점추정값과 불확실성을 함께 보고해야 한다(Bonett, 2002).

알파 대신 오메가를 사용해야 할까

맥도널드 오메가는 요인모형에서 추정한 문항별 적재량과 오차분산을 이용해 점수 신뢰도를 평가한다.

단일요인 모형에서 요인분산을 1로 두면 단순화된 오메가 식은 다음과 같다.

\[
\omega=\frac{\left(\sum_{i=1}^{k}\lambda_{i}\right)^{2}}{\left(\sum_{i=1}^{k}\lambda_{i}\right)^{2}+\sum_{i=1}^{k}\theta_{i}}
\]

여기서 다음과 같다.

• \(\lambda_{i}\): 문항 \(i\)의 요인적재량
• \(\theta_{i}\): 문항 \(i\)의 오차분산

오메가는 문항별 요인적재량이 서로 다를 수 있도록 허용한다.

현실의 설문에서는 문항들이 잠재개념을 동일한 정도로 측정하지 않는 경우가 많으므로 오메가가 알파보다 적절한 경우가 있다(Dunn et al., 2014; Hayes & Coutts, 2020).

대표적인 오메가 지표는 다음과 같다.

그러나 오메가도 자동으로 정답을 제공하지 않는다.

오메가는 다음 조건의 영향을 받는다.

• 요인 수
• 요인모형의 적합성
• 회전방법
• 교차적재
• 오차상관
• 범주형 문항 처리
• 표본크기
• 이중요인 모형의 안정성

잘못된 요인모형에서 계산한 오메가는 좋은 신뢰도 추정치가 아니다(Flora, 2020).

따라서 다음 문장도 지나치게 단순하다.

알파는 잘못된 계수이고 오메가는 항상 올바른 계수다.

보다 적절한 접근은 다음과 같다.

측정모형을 먼저 검토하고, 알파와 오메가의 가정이 자료와 점수해석에 얼마나 적합한지 판단한 뒤 계수를 선택한다.

알파와 오메가가 비슷하면 무엇을 의미하는가

문항들이 하나의 요인을 측정하고 요인적재량도 비슷하다면 알파와 오메가는 유사하게 나타날 수 있다.

예를 들어 다음 결과가 나왔다고 하자.

\[
\alpha=0.86
\]

\[
\omega=0.87
\]

두 값이 비슷하다고 해서 타우동등성이 완벽하게 증명된 것은 아니다.

다만 현재 자료에서 알파와 모형기반 신뢰도 추정치의 차이가 크지 않다는 정보는 제공한다.

반대로 다음처럼 차이가 날 수 있다.

[
\alpha=0.72
]

[
\omega=0.84
]

이 경우 문항별 적재량의 차이, 다차원성, 오차구조와 계산방식을 검토해야 한다.

숫자가 다른 이유를 살피지 않고 더 높은 값만 선택해서 보고해서는 안 된다.

좋은 설문도구를 평가하려면 무엇을 봐야 할까

좋은 설문도구는 알파 하나로 정의되지 않는다.

측정개념이 명확해야 한다

무엇을 측정하려는지 이론적으로 정의되어야 한다.

‘서비스 만족’, ‘고객 충성도’, ‘학습동기’처럼 넓은 단어만 제시하는 것으로는 부족하다.

문항내용이 개념을 충분히 포괄해야 한다

전문가 검토, 문헌검토, 대상자 인터뷰와 내용타당도 평가가 필요하다.

응답자가 문항을 의도대로 이해해야 한다

인지면접과 예비조사를 통해 모호한 표현, 이중질문과 어려운 단어를 확인해야 한다.

요인구조가 이론과 일치해야 한다

탐색적 요인분석과 확인적 요인분석을 이용해 총점과 하위점수의 구조를 검토한다.

점수의 신뢰도가 목적에 충분해야 한다

알파, 오메가, 검사-재검사와 평가자 신뢰도 가운데 필요한 정보를 평가한다.

다른 변수와 예상되는 관계를 보여야 한다

관련된 개념과는 적절한 상관을 보여야 하고, 구분되어야 할 개념과는 지나치게 높은 상관을 보여서는 안 된다.

집단 간 비교가 가능해야 한다

성별, 연령, 문화권 또는 시점 사이의 평균을 비교하려면 측정불변성을 검토해야 한다.

점수가 실제 활용에 적합해야 한다

선별, 진단, 연구, 집단비교와 개인 의사결정은 서로 다른 수준의 측정정밀도를 요구한다.

R로 알파 계산하기

survey_data라는 데이터프레임에 item1부터 item8까지 문항이 있다고 하자.

먼저 분석할 문항을 선택한다.

item_names <- paste0(
  "item",
  1:8
)

items <- survey_data[
  item_names
]

item_names <- paste0(
  "item",
  1:8
)

items <- survey_data[
  item_names
]

모든 문항이 숫자형이고 예상 범위 안에 있는지 확인한다.

vapply(
  items,
  is.numeric,
  logical(1)
)

summary(
  items
)

vapply(
  items,
  is.numeric,
  logical(1)
)

summary(
  items
)

1∼5점 척도의 세 번째 문항이 공식 채점표에서 역문항이라면 다음과 같이 변환한다.

items$item3 <- (
  1 +
    5 -
    items$item3
)

items$item3 <- (
  1 +
    5 -
    items$item3
)

역문항 여부는 상관계수만 보고 정하지 말고 설문도구의 공식 채점기준과 문항 의미를 확인해야 한다.

R에서 psych 패키지로 알파 분석하기

패키지를 설치하고 불러온다.

# 최초 한 번만 실행
# install.packages("psych")

library(
  psych
)

# 최초 한 번만 실행
# install.packages("psych")

library(
  psych
)

알파를 계산한다.

alpha_result <- psych::alpha(
  items,
  check.keys = FALSE
)

alpha_result$total

alpha_result <- psych::alpha(
  items,
  check.keys = FALSE
)

alpha_result$total

주요 결과를 선택할 수 있다.

alpha_result$total[
  c(
    "raw_alpha",
    "std.alpha",
    "average_r",
    "S/N"
  )
]

alpha_result$total[
  c(
    "raw_alpha",
    "std.alpha",
    "average_r",
    "S/N"
  )
]

각 항목은 다음과 같다.

문항을 삭제했을 때 알파 변화를 확인한다.

alpha_result$alpha.drop

alpha_result$alpha.drop

문항-총점 관계는 다음에서 확인할 수 있다.

alpha_result$item.stats

alpha_result$item.stats

alpha.drop의 값만 보고 문항을 자동으로 삭제해서는 안 된다. 문항 내용과 요인구조를 함께 검토해야 한다.

R로 알파를 직접 계산하기

다음 함수는 완전응답자만 사용해 원점수 알파를 계산한다.

cronbach_alpha <- function(data) {
  x <- as.data.frame(
    data
  )

  if (ncol(x) < 2L) {
    stop(
      "알파 계산에는 두 개 이상의 문항이 필요합니다."
    )
  }

  numeric_items <- vapply(
    x,
    is.numeric,
    logical(1)
  )

  if (!all(numeric_items)) {
    stop(
      "모든 문항은 숫자형이어야 합니다."
    )
  }

  x <- x[
    complete.cases(x),
    ,
    drop = FALSE
  ]

  if (nrow(x) < 2L) {
    stop(
      "완전한 응답자료가 충분하지 않습니다."
    )
  }

  item_variances <- vapply(
    x,
    stats::var,
    numeric(1)
  )

  total_score <- rowSums(
    x
  )

  total_variance <- stats::var(
    total_score
  )

  if (
    !is.finite(total_variance) ||
    total_variance <= 0
  ) {
    stop(
      "총점 분산이 0이므로 알파를 계산할 수 없습니다."
    )
  }

  item_count <- ncol(
    x
  )

  item_count /
    (
      item_count - 1
    ) *
    (
      1 -
        sum(
          item_variances
        ) /
          total_variance
    )
}

cronbach_alpha <- function(data) {
  x <- as.data.frame(
    data
  )

  if (ncol(x) < 2L) {
    stop(
      "알파 계산에는 두 개 이상의 문항이 필요합니다."
    )
  }

  numeric_items <- vapply(
    x,
    is.numeric,
    logical(1)
  )

  if (!all(numeric_items)) {
    stop(
      "모든 문항은 숫자형이어야 합니다."
    )
  }

  x <- x[
    complete.cases(x),
    ,
    drop = FALSE
  ]

  if (nrow(x) < 2L) {
    stop(
      "완전한 응답자료가 충분하지 않습니다."
    )
  }

  item_variances <- vapply(
    x,
    stats::var,
    numeric(1)
  )

  total_score <- rowSums(
    x
  )

  total_variance <- stats::var(
    total_score
  )

  if (
    !is.finite(total_variance) ||
    total_variance <= 0
  ) {
    stop(
      "총점 분산이 0이므로 알파를 계산할 수 없습니다."
    )
  }

  item_count <- ncol(
    x
  )

  item_count /
    (
      item_count - 1
    ) *
    (
      1 -
        sum(
          item_variances
        ) /
          total_variance
    )
}

함수를 실행한다.

cronbach_alpha(
  items
)

cronbach_alpha(
  items
)

결측자료를 완전사례로 제거하는 것이 항상 최선은 아니다.

결측이 많거나 비무작위로 발생했다면 다중대체나 모형기반 방법을 고려하고, 어떤 결측처리 규칙을 사용했는지 보고해야 한다.

R로 알파의 부트스트랩 신뢰구간 계산하기

알파의 표본 불확실성을 부트스트랩으로 확인할 수 있다.

complete_items <- items[
  complete.cases(
    items
  ),
  ,
  drop = FALSE
]

set.seed(
  2026
)

bootstrap_count <- 2000L

bootstrap_alpha <- replicate(
  bootstrap_count,
  {
    sampled_rows <- sample(
      seq_len(
        nrow(
          complete_items
        )
      ),
      replace = TRUE
    )

    cronbach_alpha(
      complete_items[
        sampled_rows,
        ,
        drop = FALSE
      ]
    )
  }
)

quantile(
  bootstrap_alpha,
  probabilities = c(
    0.025,
    0.975
  ),
  na.rm = TRUE
)

complete_items <- items[
  complete.cases(
    items
  ),
  ,
  drop = FALSE
]

set.seed(
  2026
)

bootstrap_count <- 2000L

bootstrap_alpha <- replicate(
  bootstrap_count,
  {
    sampled_rows <- sample(
      seq_len(
        nrow(
          complete_items
        )
      ),
      replace = TRUE
    )

    cronbach_alpha(
      complete_items[
        sampled_rows,
        ,
        drop = FALSE
      ]
    )
  }
)

quantile(
  bootstrap_alpha,
  probabilities = c(
    0.025,
    0.975
  ),
  na.rm = TRUE
)

이 결과는 단순한 비모수 백분위 부트스트랩 신뢰구간이다.

표본구조가 군집화되어 있다면 개인 행을 단순 재표집하지 말고 학교, 병원이나 조사구 같은 군집단위로 재표집해야 할 수 있다.

R로 문항 수와 알파의 관계 확인하기

평균 문항 간 상관이 0.30일 때 문항 수에 따른 알파를 계산한다.

item_count <- c(
  4,
  8,
  12,
  20
)

average_interitem_correlation <- 0.30

expected_alpha <- (
  item_count *
    average_interitem_correlation
) /
  (
    1 +
      (
        item_count - 1
      ) *
        average_interitem_correlation
  )

data.frame(
  item_count,
  average_interitem_correlation,
  expected_alpha
)

item_count <- c(
  4,
  8,
  12,
  20
)

average_interitem_correlation <- 0.30

expected_alpha <- (
  item_count *
    average_interitem_correlation
) /
  (
    1 +
      (
        item_count - 1
      ) *
        average_interitem_correlation
  )

data.frame(
  item_count,
  average_interitem_correlation,
  expected_alpha
)

문항 간 상관이 그대로여도 문항 수가 많아지면서 알파가 상승하는 것을 확인할 수 있다.

R에서 오메가 계산하기

psych 패키지의 omega() 함수를 사용할 수 있다.

요인 수는 분석결과를 본 뒤 임의로 정하지 말고 평행분석, 요인분석과 이론을 함께 고려해야 한다.

chosen_factor_count <- 1L

omega_result <- psych::omega(
  items,
  nfactors = chosen_factor_count,
  plot = FALSE
)

chosen_factor_count <- 1L

omega_result <- psych::omega(
  items,
  nfactors = chosen_factor_count,
  plot = FALSE
)

오메가 총계수를 확인한다.

omega_result$omega.tot

omega_result$omega.tot

오메가 계층계수를 확인한다.

omega_result$omega_h

omega_result$omega_h

한 요인 척도에서는 오메가 총계수와 계층계수의 구분이 제한적일 수 있다.

여러 하위요인과 일반요인이 있는 척도에서는 이중요인 모형의 적합성과 안정성을 먼저 검토해야 한다.

순서형 문항의 상관구조 확인하기

5점 이하의 순서형 문항이고 분포가 심하게 치우쳐 있다면 다분상관행렬을 검토할 수 있다.

polychoric_result <- psych::polychoric(
  items
)

polychoric_correlation <- (
  polychoric_result$rho
)

round(
  polychoric_correlation,
  2
)

polychoric_result <- psych::polychoric(
  items
)

polychoric_correlation <- (
  polychoric_result$rho
)

round(
  polychoric_correlation,
  2
)

평행분석을 실시할 수 있다.

psych::fa.parallel(
  items,
  fa = "fa",
  cor = "poly",
  n.iter = 100
)

psych::fa.parallel(
  items,
  fa = "fa",
  cor = "poly",
  n.iter = 100
)

요인 수를 결정한 뒤 공통요인분석을 실시한다.

factor_count <- 1L

efa_result <- psych::fa(
  items,
  nfactors = factor_count,
  fm = "minres",
  rotate = "oblimin",
  cor = "poly"
)

print(
  efa_result$loadings,
  cutoff = 0.30
)

factor_count <- 1L

efa_result <- psych::fa(
  items,
  nfactors = factor_count,
  fm = "minres",
  rotate = "oblimin",
  cor = "poly"
)

print(
  efa_result$loadings,
  cutoff = 0.30
)

알파 계산 전에 요인분석을 반드시 기계적으로 실시해야 한다는 뜻은 아니다.

다만 총점이나 하위척도 점수를 해석하려면 문항들이 어떤 구조로 묶이는지에 대한 이론적·통계적 근거가 필요하다.

설문도구 신뢰도는 어떻게 보고해야 할까

다음 문장은 충분하지 않다.

설문의 크론바흐 알파는 0.88로 신뢰도가 높았다.

어떤 문항을 사용했고, 어떤 점수의 신뢰도인지 알기 어렵다.

보다 좋은 보고는 다음과 같다.

서비스 만족도는 8개 문항의 평균으로 산출하였다. 모든 문항은 1점에서 5점으로 측정했으며, 부정방향 문항 두 개는 공식 채점지침에 따라 역채점하였다. 확인적 요인분석에서 1요인 구조를 검토한 뒤 총점의 내적 일관성을 평가하였다. 원점수 크론바흐 알파는 0.86이었고 95% 부트스트랩 신뢰구간은 0.82에서 0.89였다. 맥도널드 오메가 총계수는 0.87이었다. 평균 문항 간 상관은 0.43이었다. 이 계수들은 현재 표본에서 합산점수의 내적 일관성을 보여주지만 설문의 내용타당도나 시간적 안정성을 단독으로 입증하지는 않는다.

여러 하위척도가 있다면 다음처럼 보고할 수 있다.

탐색적 요인분석에서 세 개의 관련된 요인이 나타나 전체 문항의 알파만 제시하지 않고 각 하위척도의 신뢰도를 별도로 산출하였다. 하위척도별 알파는 0.78∼0.86, 오메가는 0.80∼0.88이었다.

본문에서 제시한 수치는 보고형식을 설명하기 위한 가상 예시다.

설문도구 평가에서 자주 발생하는 오류

알파가 높으므로 타당도가 높다고 말한다

알파는 타당도 지표가 아니다.

알파가 높으므로 단일요인이라고 결론 내린다

알파는 요인 수를 검정하지 않는다.

0.70을 절대적인 합격기준으로 사용한다

필요한 수준은 점수 사용목적과 척도특성에 따라 달라진다.

알파를 높이기 위해 문항을 계속 추가한다

유사한 문항을 반복하면 알파는 올라가지만 응답부담과 문항중복도 증가한다.

알파가 가장 높아지는 문항조합을 선택한다

표본에 과도하게 적합되고 내용타당도가 손상될 수 있다.

역문항을 프로그램이 자동으로 반전하게 한다

공식 채점기준과 문항 의미를 먼저 확인해야 한다.

전체 척도의 알파만 보고한다

다차원 척도라면 하위척도별 신뢰도가 필요하다.

기존 논문의 알파만 인용한다

현재 표본에서 얻어진 점수의 신뢰도를 다시 계산해야 한다.

알파 점추정값만 제시한다

신뢰구간이 없으면 추정의 정밀도를 판단하기 어렵다.

오메가가 항상 알파보다 우수하다고 생각한다

오메가도 적절한 요인모형과 자료조건을 필요로 한다.

낮은 검사-재검사 신뢰도를 높은 알파로 보완할 수 있다고 생각한다

내적 일관성과 시간적 안정성은 다른 신뢰도 근거다.

분석 전에 확인할 질문

1. 여러 문항을 하나의 총점으로 합산할 이론적 근거가 있는가?
2. 문항들이 하나의 요인을 측정하는가?
3. 여러 하위요인이 있다면 하위척도별 점수를 사용해야 하는가?
4. 알파가 아닌 오메가가 더 적절한 모형은 아닌가?
5. 문항별 요인적재량이 크게 다르지 않은가?
6. 문항 오차가 서로 관련되어 있지 않은가?
7. 역문항을 공식 기준에 따라 처리했는가?
8. 문항들이 지나치게 비슷하지 않은가?
9. 중요한 내용영역이 빠지지 않았는가?
10. 문항을 삭제했을 때 내용타당도가 손상되지 않는가?
11. 원점수 알파와 표준화 알파 중 어느 점수사용과 일치하는가?
12. Likert 문항의 범주 수와 분포가 어떠한가?
13. 다분상관을 이용한 분석이 필요한가?
14. 알파의 신뢰구간을 보고했는가?
15. 평균 문항 간 상관을 확인했는가?
16. 다른 표본에서도 구조와 신뢰도가 재현되는가?
17. 시간적 안정성이 필요한 개념인가?
18. 집단 간 측정불변성이 확인되었는가?
19. 외부 기준과 예상되는 관계를 보이는가?
20. 알파를 타당도의 증거처럼 확대해석하고 있지 않은가?

높은 알파는 출발점이지 결론이 아닙니다

크론바흐 알파는 설문연구에서 유용한 통계량이다.

여러 문항을 합산해 만든 점수가 어느 정도 내적 일관성을 보이는지 간단하게 확인할 수 있다.

그러나 알파 하나로 좋은 설문도구를 판정할 수는 없다.

비전공자는 다음 다섯 문장으로 기억하면 된다.

알파는 문항 합산점수의 내적 일관성과 관련된 계수다.

알파가 높아도 문항이 하나의 요인을 측정한다고 단정할 수 없다.

알파가 높아도 설문의 타당도가 입증되는 것은 아니다.

문항 수와 문항 중복이 많으면 알파가 인위적으로 높아질 수 있다.

요인구조, 오메가, 신뢰구간과 타당도 근거를 함께 검토해야 한다.

알파 0.92라는 숫자는 중요한 정보를 제공한다.

하지만 그 숫자는 “이 설문은 좋은 도구다”라는 최종 판정이 아니라 다음 질문을 시작하게 하는 단서다.

문항들이 왜 서로 관련되어 있는가? 같은 개념을 측정하기 때문인가, 같은 표현을 반복했기 때문인가? 하나의 총점으로 합산해도 되는가? 응답자가 문항을 의도대로 이해했는가? 이 점수가 실제 행동이나 외부 기준과 어떤 관계를 보이는가?

좋은 설문도구는 단순히 문항들이 서로 비슷한 도구가 아니다.

측정하려는 개념을 충분히 담고, 응답자가 명확하게 이해하며, 이론에 맞는 구조를 보이고, 목적에 필요한 정도로 신뢰할 수 있으며, 점수해석을 뒷받침하는 다양한 타당도 근거를 가진 도구다.

크론바흐 알파는 그 전체 그림 가운데 한 부분이다.

참고문헌

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. American Educational Research Association.

Bonett, D. G. (2002). Sample size requirements for testing and estimating coefficient alpha. Journal of Educational and Behavioral Statistics, 27(4), 335–340. https://doi.org/10.3102/10769986027004335

Cho, E., & Kim, S. (2015). Cronbach’s coefficient alpha: Well known but poorly understood. Organizational Research Methods, 18(2), 207–230. https://doi.org/10.1177/1094428114555994

Clark, L. A., & Watson, D. (1995). Constructing validity: Basic issues in objective scale development. Psychological Assessment, 7(3), 309–319. https://doi.org/10.1037/1040-3590.7.3.309

Cortina, J. M. (1993). What is coefficient alpha? An examination of theory and applications. Journal of Applied Psychology, 78(1), 98–104. https://doi.org/10.1037/0021-9010.78.1.98

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297–334. https://doi.org/10.1007/BF02310555

Dunn, T. J., Baguley, T., & Brunsden, V. (2014). From alpha to omega: A practical solution to the pervasive problem of internal consistency estimation. British Journal of Psychology, 105(3), 399–412. https://doi.org/10.1111/bjop.12046

Flora, D. B. (2020). Your coefficient alpha is probably wrong, but which coefficient omega is right? A tutorial on using R to obtain better reliability estimates. Advances in Methods and Practices in Psychological Science, 3(4), 484–501. https://doi.org/10.1177/2515245920951747

Gadermann, A. M., Guhn, M., & Zumbo, B. D. (2012). Estimating ordinal reliability for Likert-type and ordinal item response data: A conceptual, empirical, and practical guide. Practical Assessment, Research, and Evaluation, 17, Article 3. https://doi.org/10.7275/n560-j767

Green, S. B., & Yang, Y. (2009). Reliability of summed item scores using structural equation modeling: An alternative to coefficient alpha. Psychometrika, 74, 155–167. https://doi.org/10.1007/s11336-008-9099-3

Hayes, A. F., & Coutts, J. J. (2020). Use omega rather than Cronbach’s alpha for estimating reliability. But… Communication Methods and Measures, 14(1), 1–24. https://doi.org/10.1080/19312458.2020.1718629

McNeish, D. (2018). Thanks coefficient alpha, we’ll take it from here. Psychological Methods, 23(3), 412–433. https://doi.org/10.1037/met0000144

Raykov, T. (1997). Estimation of composite reliability for congeneric measures. Applied Psychological Measurement, 21(2), 173–184. https://doi.org/10.1177/01466216970212006

Revelle, W., & Zinbarg, R. E. (2009). Coefficients alpha, beta, omega, and the glb: Comments on Sijtsma. Psychometrika, 74, 145–154. https://doi.org/10.1007/s11336-008-9102-z

Schmitt, N. (1996). Uses and abuses of coefficient alpha. Psychological Assessment, 8(4), 350–353. https://doi.org/10.1037/1040-3590.8.4.350

Sijtsma, K. (2009). On the use, the misuse, and the very limited usefulness of Cronbach’s alpha. Psychometrika, 74, 107–120. https://doi.org/10.1007/s11336-008-9101-0

Tavakol, M., & Dennick, R. (2011). Making sense of Cronbach’s alpha. International Journal of Medical Education, 2, 53–55. https://doi.org/10.5116/ijme.4dfb.8dfd