설문조사에서 가장 자주 사용하는 응답방식 가운데 하나가 리커트 5점 척도다.
응답자는 일반적으로 다음 다섯 범주 가운데 하나를 선택한다.
| 점수 | 응답범주 |
|---|---|
| 1 | 전혀 그렇지 않다 |
| 2 | 그렇지 않다 |
| 3 | 보통이다 |
| 4 | 그렇다 |
| 5 | 매우 그렇다 |
조사가 끝나면 각 응답에 1점부터 5점까지 숫자를 부여하고 평균을 계산한다.
평균이 3.8점이면 대체로 긍정적인 평가라고 설명하고, 평균이 2.4점이면 부정적인 평가가 많았다고 해석한다. 집단별 평균을 t검정으로 비교하거나 여러 집단의 평균을 분산분석으로 비교하기도 한다.
하지만 다음과 같은 반론도 자주 등장한다.
리커트 척도는 순서형 자료이므로 평균을 계산해서는 안 된다.
1점과 2점 사이의 심리적 거리가 4점과 5점 사이의 거리와 같다고 보장할 수 없기 때문이다.
그렇다면 리커트 5점 척도의 평균을 계산하는 것은 통계적으로 잘못된 일일까?
결론은 단순한 찬성과 반대로 나누기 어렵다.
단일 리커트 문항은 기본적으로 순서형 자료이므로 범주별 분포가 가장 중요한 정보다. 평균을 계산할 수는 있지만 분포를 대신하는 절대적인 요약값으로 사용해서는 안 된다.
같은 개념을 측정하는 여러 문항을 타당하게 합산한 척도점수는 조건에 따라 연속형 변수에 가깝게 취급할 수 있으며 평균, 표준편차와 모수통계 방법을 사용하는 것이 실용적으로 적절할 수 있다.
핵심은 “평균을 계산할 수 있는가”보다 다음 질문에 있다.
- 단일 문항인가, 여러 문항을 합산한 척도인가?
- 응답범주의 분포는 어떠한가?
- 문항들이 같은 개념을 측정하는가?
- 평균차이가 실제 연구질문에 답하는가?
- 순서형 구조를 보존한 분석에서도 결론이 유지되는가?
리커트 문항과 리커트 척도는 다르다
실무에서는 하나의 5점 문항도 리커트 척도라고 부르는 경우가 많다.
그러나 통계분석에서는 단일 리커트형 문항과 여러 문항을 합산한 리커트 척도를 구분하는 것이 중요하다(Carifio & Perla, 2008; Sullivan & Artino, 2013).
단일 문항은 하나의 진술에 대한 응답이다.
이 제품의 품질에 만족한다.
응답자는 1점부터 5점까지 하나의 범주를 선택한다.
반면 리커트 척도는 동일하거나 밀접한 구성개념을 측정하도록 설계된 여러 문항의 응답을 합산하거나 평균해 만든 점수다.
고객 만족도를 측정하기 위해 다음 문항을 사용할 수 있다.
- 제품의 품질에 만족한다.
- 제품은 기대한 성능을 제공한다.
- 제품을 선택한 결정에 만족한다.
- 전반적으로 이 제품에 만족한다.
각 문항을 1점부터 5점까지 응답하게 한 뒤 네 문항의 합계나 평균을 고객 만족도 점수로 사용할 수 있다.
두 자료의 특성은 다르다.
| 구분 | 단일 리커트 문항 | 다문항 리커트 척도 |
|---|---|---|
| 가능한 값 | 1, 2, 3, 4, 5 | 문항 수에 따라 많은 값 |
| 기본 측정수준 | 순서형 | 구성과 가정에 따라 연속형 근사 가능 |
| 핵심 기술통계 | 범주별 빈도와 비율 | 평균, 표준편차, 분포 |
| 주요 분석 | 순서형 회귀, 범주비교 | t검정, 분산분석, 회귀분석 가능 |
| 중요한 조건 | 범주 순서와 분포 | 단일차원성, 채점, 신뢰도와 타당도 |
단일 문항에서 가능한 값은 다섯 개뿐이다.
반면 10개의 5점 문항을 합산하면 총점은 10점부터 50점까지 41개의 값을 가질 수 있다. 평균점수를 사용하면 1.0점부터 5.0점 사이에서 더 세밀한 값을 얻을 수 있다.
문항 수가 많아진다고 순서형 자료가 자동으로 완전한 등간척도가 되는 것은 아니다. 그러나 합산점수의 가능한 값이 많아지고 개별 문항의 불규칙성이 일부 평균화되면서 연속형 변수에 가까운 방식으로 분석할 수 있는 조건이 만들어질 수 있다(Norman, 2010; Harpe, 2015).
숫자 1부터 5는 측정값인가 코드인가
리커트 문항의 숫자에는 분명한 순서가 있다.
\[
1<2<3<4<5
\]
5점을 선택한 응답자는 4점을 선택한 응답자보다 더 긍정적인 태도를 표현했다고 볼 수 있다.
하지만 다음 두 차이가 심리적으로 정확히 같은지는 알 수 없다.
\[
2-1=1
\]
\[
5-4=1
\]
수치상으로는 모두 1점 차이다.
그러나 ‘전혀 그렇지 않다’에서 ‘그렇지 않다’로 이동하는 변화와 ‘그렇다’에서 ‘매우 그렇다’로 이동하는 변화가 같은 크기라고 보장할 수는 없다.
이 때문에 단일 리커트 문항은 일반적으로 순서형 자료로 분류된다(Jamieson, 2004; Agresti, 2010).
순서형 자료에서는 범주의 순서는 알 수 있지만 범주 사이의 거리가 같다는 보장은 없다.
평균은 점수 사이의 간격을 같은 것으로 취급한다.
응답값을 \(X_i\)라고 하면 평균은 다음과 같다.
\[
\bar{X}=\frac{1}{n}\sum_{i=1}^{n}X_i
\]
1점에서 2점으로 이동하는 변화와 4점에서 5점으로 이동하는 변화는 모두 평균을 동일하게 1점 높인다.
따라서 리커트 문항의 평균을 계산한다는 것은 응답범주를 실용적으로 등간격에 가까운 점수로 취급한다는 뜻이다.
평균을 계산할 수 있느냐는 산술의 문제가 아니다. 컴퓨터는 어떤 숫자코드에도 평균을 계산할 수 있다.
중요한 질문은 다음과 같다.
계산된 평균이 연구자가 측정하려는 태도나 경험을 유용하고 정직하게 요약하는가?
평균 3.8점은 무엇을 의미할까
100명의 고객 만족도 평균이 3.8점이라고 하자.
이는 100명의 응답코드를 모두 더한 뒤 100으로 나눈 값이다.
범주별 응답자 수를 \(n_1,n_2,\ldots,n_5\)라고 하면 평균은 다음과 같이 계산된다.
\[
\bar{X}=\frac{1n_1+2n_2+3n_3+4n_4+5n_5}{n}
\]
그러나 설문지에는 3.8이라는 응답범주가 존재하지 않는다.
어떤 응답자도 3.8을 선택하지 않았다.
따라서 평균 3.8점은 “평균적인 응답자가 3.8번 범주를 선택했다”는 뜻이 아니다.
보다 정확한 설명은 다음과 같다.
1점부터 5점까지의 응답범주를 등간격에 가까운 점수로 취급했을 때 전체 응답의 평균은 3.8점이었다.
또는 다음처럼 설명할 수 있다.
응답분포는 척도의 중간범주인 3점보다 긍정적인 방향에 위치했다.
반면 다음과 같은 해석은 평균만으로 할 수 없다.
응답자의 80%가 긍정적으로 평가했다.
평균 3.8점이라고 해서 4점 또는 5점을 선택한 비율이 80%라는 뜻은 아니다.
긍정 응답률은 별도로 계산해야 한다.
\[
\hat{p}_{\mathrm{긍정}}=\frac{n_4+n_5}{n}
\]
평균과 긍정 응답률은 서로 다른 정보를 제공한다.
같은 평균도 전혀 다른 응답분포에서 나온다
다음 세 집단의 평균은 모두 3점이다.
| 점수 | 집단 A | 집단 B | 집단 C |
|---|---|---|---|
| 1점 | 0명 | 50명 | 0명 |
| 2점 | 0명 | 0명 | 25명 |
| 3점 | 100명 | 0명 | 50명 |
| 4점 | 0명 | 0명 | 25명 |
| 5점 | 0명 | 50명 | 0명 |
세 집단의 평균은 모두 다음과 같다.
\[
\bar{X}=3
\]
그러나 응답의 의미는 완전히 다르다.
집단 A에서는 모든 응답자가 중간범주를 선택했다.
집단 B에서는 응답이 1점과 5점으로 양극화되어 있다.
집단 C에서는 응답이 3점 주변에 분포한다.
평균만 제시하면 이 차이를 알 수 없다.
표준편차를 함께 제시하면 일부 차이를 확인할 수 있지만, 범주별 분포만큼 직접적이지는 않다.
| 집단 | 평균 | 표준편차의 특징 | 실제 분포 |
|---|---|---|---|
| A | 3.0 | 0 | 모두 중립 |
| B | 3.0 | 매우 큼 | 완전한 양극화 |
| C | 3.0 | 비교적 작음 | 중간 주변에 분포 |
리커트 문항에서는 평균과 함께 다음 정보를 제시하는 것이 좋다.
- 각 범주의 빈도와 비율
- 중앙값
- 최빈값
- 표준편차 또는 사분위범위
- 긍정·중립·부정 응답률
- 천장효과와 바닥효과
중앙값이면 모든 문제가 해결될까
순서형 자료에는 평균보다 중앙값이 적절하다는 설명이 자주 사용된다.
중앙값은 응답을 순서대로 정렬했을 때 가운데에 위치한 범주다.
범주 사이의 거리가 같다는 가정을 요구하지 않으므로 순서형 자료와 자연스럽게 연결된다.
하지만 중앙값도 분포 전체를 대신하지는 못한다.
앞의 집단 A와 집단 B는 모두 중앙값이 3으로 계산될 수 있다.
한 집단은 모두 3점을 선택했고 다른 집단은 1점과 5점으로 나뉘었는데도 중앙값이 같을 수 있다.
최빈값도 가장 많이 선택된 범주만 보여줄 뿐 분포의 양극화나 비대칭성을 충분히 설명하지 못한다.
따라서 단일 리커트 문항에서는 평균, 중앙값과 최빈값 가운데 하나를 유일한 정답처럼 선택하기보다 범주별 분포를 기본으로 제시하는 것이 안전하다.
평균을 계산하는 것과 평균만 보고하는 것은 다르다
단일 리커트 문항의 평균을 계산하는 것이 언제나 잘못된 것은 아니다.
응답범주가 대칭적으로 구성되어 있고, 각 범주가 태도의 점진적인 증가를 비교적 균등하게 표현하며, 평균이 실무적인 요약값으로 필요하다면 계산할 수 있다(Norman, 2010; Sullivan & Artino, 2013).
예를 들어 20개 서비스 항목을 비교하는 IPA 분석에서는 각 항목의 중요도와 만족도 평균을 좌표화하는 것이 실무적으로 유용할 수 있다.
하지만 다음 조건을 함께 충족하는 것이 좋다.
| 확인사항 | 이유 |
|---|---|
| 응답범주가 순서대로 증가 | 점수 방향이 명확해야 함 |
| 범주가 대칭적으로 표현됨 | 1점과 5점의 의미가 균형적이어야 함 |
| 중간범주의 의미가 명확함 | ‘보통’, ‘모름’, ‘해당 없음’을 혼동하지 않아야 함 |
| 범주별 분포를 함께 제시 | 평균이 숨기는 양극화와 비대칭을 확인 |
| 평균의 해석을 제한 | 완전한 등간척도로 단정하지 않음 |
| 분석목적이 명확 | 단순 요약인지 집단추론인지 구분 |
평균을 계산하는 것과 평균만 보고 결론을 내리는 것은 전혀 다른 문제다.
단일 문항과 다문항 척도에 대한 실무적 결론
다음과 같이 구분하면 이해하기 쉽다.
| 상황 | 평균 계산 | 권장 보고 | 권장 분석 |
|---|---|---|---|
| 단일 5점 문항 | 가능하지만 보조적 | 범주별 비율을 우선 제시 | 순서형 회귀, 범주 비교 |
| 여러 문항의 타당한 평균점수 | 일반적으로 가능 | 평균, 표준편차, 분포 | t검정, ANOVA, 회귀 가능 |
| 극심한 천장·바닥효과 | 평균 해석 주의 | 범주분포 필수 | 순서형 또는 강건한 방법 |
| 문항들이 서로 다른 개념 측정 | 단순 평균 부적절 | 하위척도별 분석 | 요인구조 재검토 |
| 범주 수가 2∼3개 | 연속형 근사에 주의 | 비율과 중앙값 | 범주형 모형 우선 |
| 표본이 매우 작음 | 불확실성 큼 | 원자료 분포 제시 | 정확검정 또는 순서형 분석 |
여러 문항을 평균하면 연속형 자료가 되는가
응답자 \(i\)의 \(k\)개 문항 평균점수는 다음과 같다.
\[
S_i=\frac{1}{k}\sum_{j=1}^{k}X_{ij}
\]
10개의 5점 문항을 평균하면 1.0, 1.1, 1.2와 같은 더 다양한 점수가 만들어질 수 있다.
여러 문항을 합산하면 다음과 같은 장점이 있다.
- 가능한 점수의 수가 증가한다.
- 특정 문항의 우연한 응답오차가 일부 평균화될 수 있다.
- 하나의 문항보다 구성개념을 넓게 측정할 수 있다.
- 분포가 단일 문항보다 부드러워질 수 있다.
이 때문에 잘 구성된 다문항 척도는 평균, 표준편차, t검정, 분산분석과 선형회귀를 사용하기에 더 적합할 수 있다(Carifio & Perla, 2008; Norman, 2010).
그러나 문항 수가 많다는 사실만으로 합산이 정당화되는 것은 아니다.
다음 조건이 먼저 필요하다.
- 문항들이 동일하거나 밀접한 구성개념을 측정한다.
- 역문항이 올바르게 재코딩되었다.
- 요인구조가 총점 사용을 뒷받침한다.
- 문항내용이 지나치게 중복되지 않는다.
- 점수의 신뢰도와 타당도 근거가 있다.
- 집단 간 비교에서 측정의 의미가 유지된다.
서로 다른 개념을 측정하는 문항을 많이 더하면 정교한 척도가 아니라 의미가 불분명한 평균이 만들어진다.
여러 문항의 평균이 등간척도를 보장하지는 않는다
여러 문항을 평균하면 가능한 점수가 많아지지만 범주 간 심리적 거리가 정확히 같아졌다는 사실이 증명되는 것은 아니다.
다문항 평균점수를 연속형으로 다루는 근거는 대체로 다음과 같다.
- 가능한 점수 수가 많아진다.
- 합산점수의 분포가 연속형 변수와 비슷해질 수 있다.
- 평균기반 통계방법이 일정한 조건에서 비교적 강건하다.
- 실제 연구질문이 평균적인 점수 차이에 관한 경우가 많다.
이는 완벽한 측정수준의 전환이라기보다 실용적인 근사다.
Rhemtulla 등(2012)은 잠재변수모형에서 범주 수와 분포조건에 따라 순서형 자료를 연속형으로 처리했을 때의 성능을 비교했다. 범주가 다섯 개 이상이고 분포가 지나치게 비대칭적이지 않은 경우 연속형 접근이 비교적 잘 작동할 수 있었지만, 범주가 적거나 분포가 심하게 치우친 경우 순서형 추정방법이 더 적절했다.
이 결과를 다음처럼 일반화해서는 안 된다.
5점 척도이므로 언제나 연속형 변수로 분석해도 된다.
다섯 개 범주는 마법의 기준이 아니다.
문항 수, 분포, 모형, 표본 수와 연구목적을 함께 봐야 한다.
크론바흐 알파가 높으면 평균을 내도 되는가
여러 문항의 평균점수를 만들기 전에 내적 일관성을 확인하기 위해 크론바흐 알파를 계산하는 경우가 많다.
알파가 높으면 문항들이 서로 관련되어 있다는 근거를 일부 제공한다.
하지만 알파가 높다는 사실만으로 다음이 증명되지는 않는다.
- 문항들이 하나의 요인을 측정한다.
- 모든 문항을 하나의 총점으로 합산해도 된다.
- 설문의 타당도가 높다.
- 하위요인이 존재하지 않는다.
- 집단 간 측정이 동일하다.
불안 문항과 우울 문항을 함께 넣어도 두 개념이 서로 강하게 관련되어 있다면 전체 알파가 높게 나타날 수 있다.
따라서 다문항 평균점수를 만들기 전에 다음을 함께 검토해야 한다.
- 문항 내용
- 탐색적 또는 확인적 요인분석
- 문항별 적재량
- 교차적재
- 오메가 계수
- 하위척도 구조
- 측정불변성
크론바흐 알파는 총점 사용의 충분조건이 아니다(Sijtsma, 2009).
역문항은 반드시 재코딩해야 한다
1점부터 5점까지의 척도에서 부정방향 문항을 긍정방향으로 바꾸는 공식은 다음과 같다.
\[
X_{\mathrm{rev}}=6-X
\]
일반적으로 최솟값을 \(L\), 최댓값을 \(U\)라고 하면 다음과 같다.
\[
X_{\mathrm{rev}}=(L+U)-X
\]
1점부터 5점까지의 역채점은 다음과 같다.
| 원점수 | 역채점 |
|---|---|
| 1 | 5 |
| 2 | 4 |
| 3 | 3 |
| 4 | 2 |
| 5 | 1 |
역문항을 재코딩하지 않고 평균을 계산하면 긍정문항과 부정문항이 서로 상쇄되어 점수의 의미가 왜곡될 수 있다.
다만 프로그램이 문항 간 상관만 보고 자동으로 역채점하게 해서는 안 된다.
역문항은 설문도구의 공식 채점기준과 문항 의미에 따라 사전에 지정해야 한다.
합계점수와 평균점수는 어떤 차이가 있을까
문항 수가 같고 결측이 없다면 합계점수와 평균점수는 선형적으로 동일하다.
10문항 척도에서 평균이 4.0점이라면 합계는 다음과 같다.
\[
4.0\times10=40
\]
따라서 상관분석, t검정이나 회귀분석에서 단순히 척도만 바뀔 뿐 표준화된 결론은 일반적으로 같다.
| 점수 방식 | 장점 |
|---|---|
| 합계점수 | 원래 척도 개발방식과 일치하기 쉬움 |
| 평균점수 | 1점부터 5점 범위를 유지해 해석이 쉬움 |
하지만 결측문항이 있으면 두 방식이 달라질 수 있다.
응답자가 10문항 중 6문항에만 답했는데도 응답한 문항만 평균하면, 다른 응답자의 10문항 평균과 같은 수준으로 비교하게 된다.
따라서 다음과 같은 채점규칙을 사전에 정해야 한다.
- 최소 몇 개 문항에 응답해야 점수를 계산할 것인가?
- 결측문항을 어떻게 처리할 것인가?
- 특정 핵심문항이 빠지면 점수를 계산하지 않을 것인가?
- 하위척도별로 별도 기준을 사용할 것인가?
결측처리 규칙은 분석결과를 본 뒤 정하지 말아야 한다.
‘보통’, ‘모름’과 ‘해당 없음’은 같은 범주가 아니다
리커트 5점 척도의 3점은 흔히 ‘보통이다’로 사용된다.
하지만 다음 응답들은 서로 다른 의미를 가진다.
- 긍정도 부정도 아닌 중립
- 잘 모르겠음
- 경험이 없어 판단할 수 없음
- 질문이 자신에게 적용되지 않음
- 응답하고 싶지 않음
이들을 모두 3점으로 코딩하면 평균이 왜곡될 수 있다.
예를 들어 서비스를 이용하지 않은 고객이 ‘해당 없음’을 선택했는데 이를 3점으로 처리하면 실제 이용고객의 만족도와 미경험자의 응답이 섞인다.
조사설계에서는 가능하면 다음 범주를 분리해야 한다.
| 응답 | 처리 |
|---|---|
| 보통이다 | 척도의 중간범주 |
| 모르겠다 | 별도 범주 또는 결측 |
| 해당 없음 | 별도 범주 또는 분석 제외 |
| 응답 거부 | 결측으로 관리 |
‘모름’과 ‘해당 없음’을 단순히 3점으로 바꾸지 않는 것이 중요하다.
평균과 표준편차를 제시해도 되는 조건
다문항 척도에서 다음 조건이 대체로 충족되면 평균과 표준편차를 사용하는 것이 실무적으로 타당할 수 있다.
- 문항들이 같은 구성개념을 측정한다.
- 문항방향이 일관되게 코딩되어 있다.
- 점수의 가능한 값이 충분히 많다.
- 점수분포가 극단적으로 치우치지 않는다.
- 심한 천장효과나 바닥효과가 없다.
- 소수의 이상치가 결과를 지배하지 않는다.
- 집단별 표본 수가 지나치게 작지 않다.
- 연구질문이 평균점수의 차이에 관한 것이다.
- 선형모형의 잔차와 분산구조가 심각하게 어긋나지 않는다.
- 순서형 또는 강건한 대안에서도 결론이 크게 달라지지 않는다.
이 조건들이 충족되지 않으면 평균을 완전히 금지해야 한다는 뜻은 아니다.
평균의 한계를 더 명확히 밝히고 범주분포, 중앙값, 강건한 추정치나 순서형 모형을 함께 제시해야 한다.
정규성 검정에서 유의하면 평균을 사용하면 안 될까
리커트 점수가 정규분포를 따르지 않는다는 이유로 평균과 t검정을 자동으로 포기하는 경우가 있다.
하지만 평균 자체를 계산하는 데 정규성 가정은 필요하지 않다.
정규성은 주로 신뢰구간과 가설검정의 정확성에 관련된다.
선형회귀나 분산분석에서 중요한 것은 결과변수 자체가 완벽한 정규분포를 따르는지보다 조건부 잔차의 구조다.
또한 표본 수가 충분하고 극단적인 이상치가 없으면 t검정과 분산분석은 일정 수준의 비정규성에 비교적 강건할 수 있다(Norman, 2010; de Winter & Dodou, 2010).
반대로 다음 상황에서는 주의가 필요하다.
- 표본이 매우 작다.
- 한쪽 범주에 응답이 심하게 몰린다.
- 집단별 표본 수가 크게 다르다.
- 집단별 분산이 매우 다르다.
- 극단적인 천장효과나 바닥효과가 있다.
- 응답분포가 다봉형 또는 양극화되어 있다.
Shapiro–Wilk 검정의 p값 하나만으로 분석방법을 기계적으로 결정해서는 안 된다.
표본이 매우 크면 사소한 비정규성도 통계적으로 유의하게 나타날 수 있다.
다음 정보를 함께 확인해야 한다.
- 히스토그램
- 범주별 빈도
- Q–Q 그림
- 집단별 표본 수
- 평균과 중앙값
- 표준편차와 사분위범위
- 천장·바닥효과
- 대안분석의 결과
t검정과 Mann–Whitney 검정은 같은 질문에 답하지 않는다
리커트 자료에서는 t검정 대신 Mann–Whitney–Wilcoxon 검정을 사용해야 한다는 설명이 자주 등장한다.
하지만 두 검정은 일반적으로 같은 질문에 답하지 않는다.
t검정의 주요 관심은 두 집단의 평균 차이다.
\[
H_0:\mu_1-\mu_2=0
\]
Mann–Whitney 검정은 두 집단의 관측값 순위와 분포 차이를 이용한다.
두 집단 분포의 모양이 같고 위치만 이동한다는 조건이 있을 때 중앙값 차이로 해석할 수 있지만, 분포의 모양이나 분산이 다르면 단순한 중앙값 검정이라고 말하기 어렵다.
예를 들어 두 집단의 중앙값이 같더라도 한 집단의 응답이 더 극단적으로 분포하면 Mann–Whitney 검정이 유의할 수 있다.
de Winter와 Dodou(2010)는 다양한 5점 리커트 분포에서 t검정과 Mann–Whitney 검정을 비교했다. 많은 조건에서 두 방법의 오류율과 검정력은 유사했지만, 분포의 비대칭과 다봉성에 따라 차이가 발생했다.
따라서 다음과 같은 선택은 적절하지 않다.
정규성 검정이 유의하면 Mann–Whitney, 그렇지 않으면 t검정.
먼저 연구질문을 정해야 한다.
- 평균점수 차이가 관심인가?
- 응답분포의 전반적인 이동이 관심인가?
- 더 높은 범주에 응답할 가능성이 관심인가?
- 긍정 응답률 차이가 관심인가?
질문에 따라 분석방법이 달라진다.
순서형 로지스틱 회귀는 범주의 순서를 직접 사용한다
단일 5점 문항을 결과변수로 분석할 때는 순서형 로지스틱 회귀를 사용할 수 있다.
대표적인 모형이 비례오즈 누적로짓모형이다.
응답 \(Y\)가 1점부터 5점까지라면 다음과 같이 표현할 수 있다.
\[
\log\left{\frac{P(Y\leq j)}{P(Y>j)}\right}=\theta_j-\beta X,\quad j=1,2,3,4
\]
여기서 다음과 같다.
- \(\theta_j\): 각 응답범주의 경계값
- \(\beta\): 설명변수의 효과
- \(X\): 집단, 연령 또는 다른 설명변수
계수를 지수화하면 오즈비를 얻는다.
\[
OR=\exp(\beta)
\]
오즈비가 1보다 크다면 비교집단이 더 높은 응답범주에 위치할 누적오즈가 증가하는 방향으로 해석할 수 있다.
순서형 회귀의 장점은 1점과 2점 사이의 거리가 4점과 5점 사이의 거리와 같다고 가정하지 않는다는 점이다(Agresti, 2010; Bürkner & Vuorre, 2019).
하지만 순서형 회귀에도 가정이 있다.
비례오즈모형은 집단효과가 다음 모든 경계에서 동일하다고 가정한다.
- 1점 대 2점 이상
- 2점 이하 대 3점 이상
- 3점 이하 대 4점 이상
- 4점 이하 대 5점
이 가정이 크게 위반되면 부분비례오즈모형이나 범주별 예측확률을 고려할 수 있다.
평균차이와 순서형 오즈비는 서로 다른 정보를 준다
두 집단의 평균점수 차이가 0.4점이라고 하자.
이 값은 1점부터 5점까지의 코드를 등간격으로 취급했을 때 평균적인 위치가 0.4점 다르다는 뜻이다.
순서형 회귀의 오즈비가 1.8이라면 비교집단이 더 높은 응답범주에 위치할 누적오즈가 약 1.8배라는 의미다.
| 지표 | 주요 해석 |
|---|---|
| 평균차이 | 점수코드의 평균이 얼마나 다른가 |
| 중앙값 차이 | 응답분포의 가운데 범주가 다른가 |
| 순서형 오즈비 | 더 높은 범주에 위치할 누적오즈가 얼마나 다른가 |
| 긍정 응답률 차이 | 4점 또는 5점 비율이 얼마나 다른가 |
| 범주별 예측확률 | 각 범주에 응답할 확률이 어떻게 다른가 |
어느 하나가 항상 가장 우수한 것은 아니다.
연구질문에 직접 답하는 지표를 선택해야 한다.
4점과 5점을 합쳐 긍정 응답률을 계산해도 될까
실무보고서에서는 4점과 5점을 ‘긍정’, 1점과 2점을 ‘부정’, 3점을 ‘중립’으로 묶는 경우가 많다.
이를 흔히 Top-2-Box 방식이라고 한다.
긍정 응답률은 이해하기 쉽고 경영 의사결정과 연결하기 편하다.
하지만 다섯 범주를 세 범주 또는 두 범주로 합치면 정보가 손실된다.
예를 들어 다음 두 분포는 긍정 응답률이 모두 60%다.
| 분포 | 4점 | 5점 | 긍정 응답률 |
|---|---|---|---|
| A | 60% | 0% | 60% |
| B | 0% | 60% | 60% |
A에서는 대부분이 ‘그렇다’를 선택했고 B에서는 ‘매우 그렇다’를 선택했다.
긍정 응답률만 보면 두 집단의 차이가 사라진다.
따라서 긍정 응답률은 평균이나 전체 분포를 대체하는 값이 아니라 보완적인 지표로 사용하는 것이 좋다.
범주를 합치는 기준은 결과를 본 뒤 유리하게 정하지 말고 조사계획 단계에서 사전에 정해야 한다.
천장효과와 바닥효과를 확인해야 한다
대부분의 응답자가 5점을 선택하면 천장효과가 나타난다.
대부분이 1점을 선택하면 바닥효과가 나타난다.
예를 들어 두 서비스의 평균이 각각 4.7점과 4.8점이라면 둘 다 매우 높은 수준처럼 보인다.
하지만 척도 상단에 응답이 몰려 있기 때문에 실제 만족도가 더 높아져도 측정하기 어려울 수 있다.
천장효과가 크면 다음 문제가 발생한다.
- 집단 차이를 발견하기 어렵다.
- 개선 전후 변화를 측정하기 어렵다.
- 평균이 상한에 가까워 비대칭적이다.
- 선형모형의 예측이 부자연스러울 수 있다.
- 4점과 5점 사이의 차이에 결과가 좌우될 수 있다.
이 경우 다음 방법을 고려할 수 있다.
- 범주별 비율 보고
- 순서형 회귀
- 더 세분된 응답척도
- 문항난이도 조정
- 천장효과가 적은 보완문항
- 반응범주 기능 점검
평균 3.8점을 100점으로 바꿀 수 있을까
5점 척도를 100점으로 환산하는 방식은 목적에 따라 다르다.
단순히 5점 만점을 100점 만점으로 바꾸면 다음과 같다.
\[
\text{단순 환산점수}=\frac{X}{5}\times100
\]
평균 3.8점은 76점이 된다.
\[
\frac{3.8}{5}\times100=76
\]
하지만 이 방식에서는 최저점 1점이 20점이 된다.
최저점을 0점, 최고점을 100점으로 만들고 싶다면 다음 변환을 사용한다.
\[
\text{POMP 점수}=\frac{X-1}{5-1}\times100
\]
평균 3.8점은 다음과 같다.
\[
\frac{3.8-1}{4}\times100=70
\]
두 점수는 서로 다르다.
| 원점수 | 단순 100점 환산 | 0∼100 범위 환산 |
|---|---|---|
| 1점 | 20점 | 0점 |
| 2점 | 40점 | 25점 |
| 3점 | 60점 | 50점 |
| 4점 | 80점 | 75점 |
| 5점 | 100점 | 100점 |
환산방식을 반드시 밝혀야 한다.
100점으로 바꾸더라도 원래 자료가 순서형이라는 측정특성이 사라지는 것은 아니다. 숫자범위만 변할 뿐이다.
집단 간 평균비교에서는 측정동일성이 중요하다
남성과 여성, 국가 간, 연령집단 간 리커트 평균을 비교한다고 하자.
같은 평균점수라도 집단마다 응답범주를 사용하는 방식이 다를 수 있다.
- 한 집단은 극단적인 1점과 5점을 피한다.
- 다른 집단은 5점을 적극적으로 사용한다.
- 어떤 문화에서는 중간범주를 선호한다.
- 특정 집단은 부정적인 평가를 직접 표현하지 않는다.
이러한 응답스타일 차이는 실제 태도 차이와 섞일 수 있다.
또한 번역된 문항이 집단마다 다르게 이해될 수도 있다.
다문항 척도의 집단 평균을 비교하려면 측정불변성을 검토하는 것이 좋다.
주요 단계는 다음과 같다.
| 단계 | 확인하는 내용 |
|---|---|
| 형태불변성 | 집단에서 같은 요인구조가 나타나는가 |
| 측정단위 불변성 | 요인적재량이 유사한가 |
| 절편·문턱값 불변성 | 평균비교가 가능한가 |
| 잔차불변성 | 측정오차 구조가 유사한가 |
평균 차이가 통계적으로 유의하더라도 척도가 집단마다 다르게 작동한다면 해석이 어렵다.
설문가중치와 군집구조도 평균에 영향을 준다
복합표본조사에서는 모든 응답자가 동일한 표본추출 확률을 갖지 않을 수 있다.
이때 단순평균 대신 가중평균이 필요할 수 있다.
가중평균은 다음과 같다.
\[
\bar{X}w=\frac{\sum{i=1}^{n}w_iX_i}{\sum_{i=1}^{n}w_i}
\]
학교별 학생, 병원별 환자, 매장별 고객처럼 자료가 군집화되어 있다면 관측값들이 완전히 독립적이지 않을 수 있다.
단순평균 자체는 계산할 수 있지만 신뢰구간과 p값은 군집구조를 반영해야 한다.
다음 방법을 고려할 수 있다.
- 복합표본 설계분석
- 군집 강건 표준오차
- 다층모형
- 일반화추정방정식
- 혼합효과 순서형 회귀
응답자 수가 많다는 이유만으로 독립성이 확보되는 것은 아니다.
R로 단일 리커트 문항 요약하기
다음은 1점부터 5점까지의 가상 응답이다.
response <- c(
4, 5, 3, 4, 4,
2, 5, 3, 4, 1,
4, 5, 4, 3, 2,
4, 4, 5, 3, 4
)평균, 중앙값, 표준편차와 사분위범위를 계산한다.
c(
n = length(
response
),
mean = mean(
response
),
median = median(
response
),
sd = sd(
response
),
iqr = IQR(
response
)
)범주별 빈도와 비율을 계산한다.
response_frequency <- table(
factor(
response,
levels = 1:5
)
)
response_proportion <- prop.table(
response_frequency
)
data.frame(
score = 1:5,
frequency = as.numeric(
response_frequency
),
proportion = as.numeric(
response_proportion
)
)평균을 제시하더라도 이 범주별 분포를 함께 확인해야 한다.
R로 긍정·중립·부정 응답률 계산하기
4점과 5점을 긍정, 3점을 중립, 1점과 2점을 부정으로 정의한다.
response_summary <- c(
negative = mean(
response <= 2
),
neutral = mean(
response == 3
),
positive = mean(
response >= 4
)
)
response_summary긍정 응답률의 이항 신뢰구간은 다음과 같이 계산할 수 있다.
positive_response <- (
response >= 4
)
binom.test(
x = sum(
positive_response
),
n = length(
positive_response
)
)긍정 응답의 기준은 분석 전에 정해야 한다.
R로 평균이 같은 세 분포 비교하기
group_a <- rep(
3,
100
)
group_b <- c(
rep(
1,
50
),
rep(
5,
50
)
)
group_c <- c(
rep(
2,
25
),
rep(
3,
50
),
rep(
4,
25
)
)평균, 중앙값과 표준편차를 비교한다.
rbind(
group_a = c(
mean = mean(
group_a
),
median = median(
group_a
),
sd = sd(
group_a
)
),
group_b = c(
mean = mean(
group_b
),
median = median(
group_b
),
sd = sd(
group_b
)
),
group_c = c(
mean = mean(
group_c
),
median = median(
group_c
),
sd = sd(
group_c
)
)
)세 집단의 평균은 모두 3이지만 표준편차와 분포는 다르다.
R로 다문항 평균점수 계산하기
다섯 개 문항이 있고 세 번째 문항이 역문항이라고 하자.
item_data <- data.frame(
item1 = c(
4, 3, 5, 4, 2
),
item2 = c(
5, 4, 4, 3, 2
),
item3 = c(
2, 3, 1, 2, 4
),
item4 = c(
4, 4, 5, 3, 2
),
item5 = c(
5, 3, 4, 4, 1
)
)세 번째 문항을 역채점한다.
item_data$item3_reverse <- (
6 -
item_data$item3
)채점에 사용할 문항을 선택한다.
scored_items <- item_data[
c(
"item1",
"item2",
"item3_reverse",
"item4",
"item5"
)
]응답자별 평균점수를 계산한다.
item_data$scale_mean <- rowMeans(
scored_items,
na.rm = FALSE
)
item_data$scale_meanna.rm = FALSE로 설정하면 하나라도 결측이 있는 경우 점수가 결측으로 처리된다.
일부 결측을 허용하려면 최소 응답문항 수를 사전에 정할 수 있다.
valid_item_count <- rowSums(
!is.na(
scored_items
)
)
item_data$scale_mean_minimum_4 <- ifelse(
valid_item_count >= 4,
rowMeans(
scored_items,
na.rm = TRUE
),
NA_real_
)
item_data$scale_mean_minimum_4최소 4문항이라는 기준은 설명용 예시다. 실제 기준은 척도개발자의 채점지침과 연구계획에 따라 정해야 한다.
R로 t검정과 Mann–Whitney 검정 비교하기
가상 집단자료를 만든다.
set.seed(
2026
)
sample_size <- 300L
survey_data <- data.frame(
group = factor(
rep(
c(
"A",
"B"
),
each = sample_size / 2
)
)
)잠재점수를 생성한 뒤 5개 범주로 나눈다.
latent_score <- rnorm(
sample_size,
mean = ifelse(
survey_data$group == "B",
0.35,
0
),
sd = 1
)
survey_data$response <- cut(
latent_score,
breaks = c(
-Inf,
-1.0,
-0.3,
0.4,
1.1,
Inf
),
labels = 1:5,
ordered_result = TRUE
)수치코드를 별도로 만든다.
survey_data$response_numeric <- as.integer(
survey_data$response
)집단별 분포를 확인한다.
prop.table(
table(
survey_data$group,
survey_data$response
),
margin = 1
)평균차이를 Welch t검정으로 분석한다.
t.test(
response_numeric ~ group,
data = survey_data,
var.equal = FALSE
)분포 차이를 Mann–Whitney 검정으로 분석한다.
wilcox.test(
response_numeric ~ group,
data = survey_data,
exact = FALSE
)두 검정은 서로 다른 귀무가설과 해석을 가질 수 있으므로 p값이 같은지 여부만 비교해서는 안 된다.
R로 순서형 로지스틱 회귀 실행하기
MASS 패키지의 polr() 함수를 사용할 수 있다.
ordinal_model <- MASS::polr(
response ~ group,
data = survey_data,
Hess = TRUE,
method = "logistic"
)
summary(
ordinal_model
)회귀계수와 표준오차를 추출한다.
coefficient <- coef(
ordinal_model
)
standard_error <- sqrt(
diag(
vcov(
ordinal_model
)
)
)[
names(
coefficient
)
]오즈비와 Wald 방식의 95% 신뢰구간을 계산한다.
ordinal_result <- data.frame(
term = names(
coefficient
),
odds_ratio = exp(
coefficient
),
lower_95 = exp(
coefficient -
1.96 *
standard_error
),
upper_95 = exp(
coefficient +
1.96 *
standard_error
)
)
ordinal_result오즈비만 보고하지 말고 집단별 범주분포나 예측확률도 함께 제시하는 것이 좋다.
결과는 어떻게 보고해야 할까
단일 문항에 대해 다음처럼만 쓰는 것은 충분하지 않다.
만족도 평균은 3.8점이었다.
보다 좋은 보고는 다음과 같다.
제품 만족도는 1점 ‘전혀 만족하지 않음’에서 5점 ‘매우 만족함’까지의 단일 순서형 문항으로 측정하였다. 평균은 3.8점, 표준편차는 0.9점, 중앙값은 4점이었다. 4점 또는 5점의 긍정 응답률은 68%였으며, 범주별 응답비율을 함께 제시하였다. 평균은 응답코드를 등간격에 가까운 점수로 취급한 보조적 요약값으로 해석하였다.
집단비교에서는 다음처럼 보고할 수 있다.
A집단의 평균 만족도는 3.62점, B집단은 3.95점이었으며 평균 차이는 0.33점이었다. Welch t검정의 95% 신뢰구간은 0.12점에서 0.54점이었다. 단일 5점 문항의 순서형 특성을 고려해 비례오즈모형을 추가로 분석한 결과도 같은 방향을 보였다. 집단별 범주분포와 긍정 응답률을 함께 보고하였다.
다문항 척도는 다음처럼 보고할 수 있다.
고객 신뢰는 5개 문항의 평균으로 산출하였다. 각 문항은 1점에서 5점으로 측정했으며, 부정방향 문항 한 개는 사전 채점지침에 따라 역채점하였다. 요인분석 결과는 단일요인 점수 사용을 지지했으며, 척도 평균은 3.74점, 표준편차는 0.61점이었다. 두 집단의 평균 차이는 0.28점이었고 95% 신뢰구간은 0.10점에서 0.46점이었다.
분석에서 자주 발생하는 오류
숫자 1부터 5가 부여되었으므로 완전한 연속형 자료라고 생각한다
숫자는 순서를 나타내는 코드일 수 있으며 범주 간 간격이 동일하다는 보장은 없다.
순서형 자료이므로 평균 계산이 절대 금지된다고 단정한다
평균은 실용적인 요약값으로 사용할 수 있다. 다만 가정과 한계를 밝혀야 한다.
단일 문항과 다문항 척도를 같은 방식으로 분석한다
두 자료는 가능한 점수 수, 측정오차와 분석목적이 다르다.
평균만 보고 범주별 분포를 생략한다
같은 평균도 전혀 다른 응답분포에서 나올 수 있다.
평균 3.8점을 긍정 응답률 80%로 해석한다
평균과 긍정 응답률은 다른 통계량이다.
중앙값만 제시하면 충분하다고 생각한다
중앙값도 양극화와 분포형태를 충분히 보여주지 못한다.
3점을 ‘보통’, ‘모름’과 ‘해당 없음’에 모두 사용한다
중립과 미경험은 구분해야 한다.
역문항을 재코딩하지 않는다
척도점수의 방향과 의미가 왜곡될 수 있다.
크론바흐 알파가 높으면 모든 문항을 평균해도 된다고 생각한다
알파는 단일차원성과 타당도를 보장하지 않는다.
정규성 검정의 p값만으로 분석방법을 선택한다
표본 수, 분포형태, 이상치와 연구질문을 함께 봐야 한다.
Mann–Whitney 검정을 평균비교의 비모수 버전이라고 설명한다
두 검정은 일반적으로 같은 가설을 검정하지 않는다.
4점과 5점을 합치는 기준을 결과를 본 뒤 정한다
범주 통합기준은 사전에 정해야 한다.
100점으로 환산하면 연속형 척도가 된다고 생각한다
환산은 숫자범위만 바꾸며 원래 측정특성을 바꾸지 않는다.
표본이 크면 0.05점 차이도 중요하다고 해석한다
통계적 유의성과 실무적 중요성은 구분해야 한다.
집단 간 응답스타일과 측정동일성을 무시한다
평균차이가 실제 태도 차이가 아니라 측정방식 차이일 수 있다.
분석 전에 확인할 질문
- 분석대상이 단일 문항인가, 다문항 척도인가?
- 응답범주의 순서와 방향은 명확한가?
- 중간범주는 중립인가, 모름인가?
- 해당 없음 응답을 별도로 처리했는가?
- 역문항을 올바르게 재코딩했는가?
- 여러 문항을 평균할 이론적 근거가 있는가?
- 요인구조가 총점 사용을 지지하는가?
- 문항별 응답분포는 어떠한가?
- 천장효과나 바닥효과가 있는가?
- 평균과 함께 범주별 비율을 제시했는가?
- 긍정 응답률의 기준은 사전에 정했는가?
- 연구질문이 평균차이에 관한 것인가?
- 순서형 오즈비나 범주별 확률이 더 직접적인가?
- t검정과 Mann–Whitney 검정의 차이를 이해하고 있는가?
- 표본 수와 집단별 분산은 적절한가?
- 반복측정이나 군집구조가 있는가?
- 설문가중치를 적용해야 하는가?
- 집단 간 측정불변성을 검토했는가?
- 결측문항 처리규칙을 사전에 정했는가?
- 분석방법을 바꾸어도 결론이 유지되는가?
평균은 계산할 수 있지만 평균만으로는 부족합니다
리커트 5점 척도의 평균을 계산하는 것이 항상 잘못된 것은 아니다.
하지만 평균이 언제나 가장 적절한 통계량인 것도 아니다.
비전공자는 다음 다섯 문장으로 기억할 수 있다.
단일 리커트 문항은 기본적으로 순서형 자료다.
단일 문항에서는 범주별 응답비율이 가장 투명한 정보다.
평균은 응답코드를 등간격에 가까운 값으로 취급한 보조적 요약값이다.
타당하게 구성된 다문항 척도는 조건에 따라 연속형 변수처럼 분석할 수 있다.
평균, 분포, 신뢰구간과 순서형 분석을 함께 검토해야 한다.
평균 3.8점은 자료를 간결하게 설명한다.
그러나 그 숫자만으로 응답이 4점 주변에 모였는지, 1점과 5점으로 나뉘었는지, 긍정 응답자가 몇 명인지 알 수 없다.
좋은 리커트 분석은 평균을 사용할 것인지 금지할 것인지를 기계적으로 결정하는 과정이 아니다.
평균이 보여주는 정보와 감추는 정보를 이해하고, 단일 문항과 다문항 척도를 구분하며, 연구질문에 맞는 통계방법을 선택하는 과정이다.
따라서 “리커트 5점 척도의 평균을 계산해도 되는가”라는 질문에 대한 가장 정확한 답은 다음과 같다.
평균은 계산할 수 있고 많은 상황에서 유용하다. 다만 단일 문항에서는 범주분포를 우선 제시하고, 다문항 척도에서는 합산의 이론적·측정학적 근거를 확인하며, 평균만으로 결론을 내려서는 안 된다.
참고문헌
Agresti, A. (2010). Analysis of ordinal categorical data (2nd ed.). Wiley. https://doi.org/10.1002/9780470594001
Bürkner, P.-C., & Vuorre, M. (2019). Ordinal regression models in psychology: A tutorial. Advances in Methods and Practices in Psychological Science, 2(1), 77–101. https://doi.org/10.1177/2515245918823199
Carifio, J., & Perla, R. J. (2008). Resolving the 50-year debate around using and misusing Likert scales. Medical Education, 42(12), 1150–1152. https://doi.org/10.1111/j.1365-2923.2008.03172.x
de Winter, J. C. F., & Dodou, D. (2010). Five-point Likert items: t test versus Mann–Whitney–Wilcoxon. Practical Assessment, Research & Evaluation, 15(11), 1–16. https://doi.org/10.7275/bj1p-ts64
Harpe, S. E. (2015). How to analyze Likert and other rating scale data. Currents in Pharmacy Teaching and Learning, 7(6), 836–850. https://doi.org/10.1016/j.cptl.2015.08.001
Jamieson, S. (2004). Likert scales: How to (ab)use them. Medical Education, 38(12), 1217–1218. https://doi.org/10.1111/j.1365-2929.2004.02012.x
Liddell, T. M., & Kruschke, J. K. (2018). Analyzing ordinal data with metric models: What could possibly go wrong? Journal of Experimental Social Psychology, 79, 328–348. https://doi.org/10.1016/j.jesp.2018.08.004
Likert, R. (1932). A technique for the measurement of attitudes. Archives of Psychology, 22(140), 1–55. https://psycnet.apa.org/record/1933-01885-001/
Norman, G. (2010). Likert scales, levels of measurement and the “laws” of statistics. Advances in Health Sciences Education, 15(5), 625–632. https://doi.org/10.1007/s10459-010-9222-y
Rhemtulla, M., Brosseau-Liard, P. É., & Savalei, V. (2012). When can categorical variables be treated as continuous? A comparison of robust continuous and categorical SEM estimation methods under suboptimal conditions. Psychological Methods, 17(3), 354–373. https://doi.org/10.1037/a0029315
Sijtsma, K. (2009). On the use, the misuse, and the very limited usefulness of Cronbach’s alpha. Psychometrika, 74(1), 107–120. https://doi.org/10.1007/s11336-008-9101-0
Sullivan, G. M., & Artino, A. R., Jr. (2013). Analyzing and interpreting data from Likert-type scales. Journal of Graduate Medical Education, 5(4), 541–542. https://doi.org/10.4300/JGME-5-4-18
