고객 만족도 조사를 마치면 흔히 다음과 같은 결과가 남는다.
- 직원 친절도 4.1점
- 모바일 앱 편의성 3.4점
- 결제 속도 3.8점
- 고객센터 응답성 3.2점
평균점수만 보면 어떤 항목의 평가가 높은지 알 수 있다. 그러나 평균이 낮다는 이유만으로 모두 우선 개선해야 하는 것은 아니다.
고객이 거의 중요하게 생각하지 않는 항목의 만족도가 낮을 수도 있고, 고객이 매우 중요하게 생각하는 핵심 항목의 만족도가 낮을 수도 있다. 두 상황의 전략적 의미는 전혀 다르다.
이때 필요한 질문은 다음과 같다.
고객은 무엇을 중요하게 생각하며, 우리는 그 중요성에 걸맞은 성과를 내고 있는가?
이 질문을 좌표 위에서 시각적으로 보여주는 방법이 중요도-성과 분석, 즉 IPA다. IPA는 Martilla와 James(1977)가 마케팅 의사결정을 지원하기 위해 제안한 이후 관광, 교육, 의료, 공공서비스와 고객경험 분야에서 널리 활용되어 왔다.
IPA의 가장 큰 장점은 복잡한 조사결과를 한 장의 그림으로 정리한다는 점이다.
하지만 그 그림은 자동으로 정답을 제시하지 않는다. 중요도를 어떻게 측정했는지, 사분면 기준선을 어디에 놓았는지, 평균의 불확실성을 고려했는지에 따라 항목의 위치와 전략적 해석이 달라질 수 있다(Oh, 2001; Azzopardi & Nash, 2013).
따라서 IPA는 단순한 사분면 그리기가 아니라 다음 세 질문을 함께 다루는 분석이어야 한다.
무엇이 중요한가?
현재 얼마나 잘하고 있는가?
제한된 자원을 어디에 먼저 투입해야 하는가?
IPA 분석이란 무엇인가
IPA는 제품이나 서비스의 여러 속성에 대해 고객이 평가한 중요도와 성과를 동시에 분석하는 방법이다.
각 속성의 평균 중요도와 평균 성과를 계산한 뒤 일반적으로 다음과 같은 좌표에 배치한다.
- 가로축: 성과 또는 만족도
- 세로축: 중요도
항목 \(j\)의 평균 중요도와 평균 성과는 다음과 같이 계산할 수 있다.
\[
\bar{I}_j=\frac{1}{n_j}\sum_{i=1}^{n_j}I_{ij}
\]
\[
\bar{P}_j=\frac{1}{n_j}\sum_{i=1}^{n_j}P_{ij}
\]
여기서 각 기호는 다음을 의미한다.
- \(I_{ij}\): 응답자 \(i\)가 항목 \(j\)에 부여한 중요도
- \(P_{ij}\): 응답자 \(i\)가 항목 \(j\)에 부여한 성과 또는 만족도
- \(\bar{I}_j\): 항목 \(j\)의 평균 중요도
- \(\bar{P}_j\): 항목 \(j\)의 평균 성과
- \(n_j\): 해당 항목에 유효하게 응답한 사람 수
각 항목은 다음 좌표를 갖는다.
\[
(\bar{P}_j,\bar{I}_j)
\]
예를 들어 온라인 강의 시스템의 중요도 평균이 4.6점이고 만족도 평균이 3.1점이라면 좌표는 다음과 같다.
\[
(3.1,4.6)
\]
성과는 낮고 중요도는 높은 영역에 위치할 가능성이 크다. 이는 우선적인 개선대상으로 해석할 수 있다.
성과와 만족도는 같은 말인가
IPA의 영문 명칭은 Importance-Performance Analysis다. 하지만 실제 조사에서는 성과 대신 만족도를 측정하는 경우가 많다.
두 개념은 비슷하지만 완전히 같지는 않다.
| 개념 | 주요 질문 |
|---|---|
| 객관적 성과 | 실제 대기시간, 오류율, 처리시간은 얼마인가? |
| 지각된 성과 | 고객은 서비스가 얼마나 잘 제공되었다고 보는가? |
| 만족도 | 경험이 기대에 비해 얼마나 만족스러웠는가? |
예를 들어 고객센터의 실제 평균 응답시간이 30초라도 고객이 느끼기에 길었다면 지각된 성과나 만족도는 낮을 수 있다.
반대로 실제 대기시간이 길어도 문제를 완벽하게 해결했다면 전반적인 만족도는 높을 수 있다.
IPA에서 만족도를 성과의 대리변수로 사용할 수는 있지만, 보고서에서는 무엇을 측정했는지 정확히 밝혀야 한다.
다음처럼 표현하는 것이 좋다.
본 분석에서는 각 서비스 속성에 대한 고객의 만족도를 지각된 성과지표로 사용하였다.
객관적인 운영자료가 있다면 만족도와 함께 비교하는 것도 유용하다.
- 실제 평균 대기시간
- 시스템 오류율
- 배송 지연률
- 처리완료 시간
- 재문의율
- 이탈률
고객의 인식과 실제 운영성과가 일치하지 않는 경우도 전략적으로 중요한 정보가 된다.
IPA의 네 가지 전략 영역
IPA는 중요도와 성과의 기준선을 이용해 좌표를 네 영역으로 나눈다.
사분면 번호는 문헌과 프로그램에 따라 다르게 붙는 경우가 있으므로 번호보다 영역의 이름과 의미를 제시하는 편이 안전하다.
| 영역 | 중요도 | 성과 | 일반적인 전략 |
|---|---|---|---|
| 강점 유지 | 높음 | 높음 | 현재 수준을 유지하고 품질 저하를 방지 |
| 집중 개선 | 높음 | 낮음 | 개선 우선순위를 높이고 자원을 집중 |
| 낮은 우선순위 | 낮음 | 낮음 | 즉각적인 대규모 투자보다 경과 관찰 |
| 과잉투입 가능 | 낮음 | 높음 | 자원 재배분 가능성을 검토 |
강점 유지
고객에게 중요하면서 현재 평가도 높은 항목이다.
예를 들어 수업의 질이 중요도 4.7점, 만족도 4.3점이라면 대학이 현재 잘하고 있는 핵심 경쟁력으로 해석할 수 있다.
이 영역에서는 무조건 추가 투자를 확대하기보다 현재 수준이 떨어지지 않도록 관리하는 것이 중요하다.
집중 개선
중요도는 높지만 성과가 낮은 항목이다.
IPA에서 가장 주목받는 영역이다.
예를 들어 온라인 수강신청 시스템의 중요도가 4.6점인데 만족도가 3.0점이라면 개선 우선순위가 높다.
다만 이 영역에 있다는 이유만으로 즉시 대규모 예산을 투입해서는 안 된다. 개선 가능성, 비용, 고객영향과 실행기간을 함께 고려해야 한다.
낮은 우선순위
중요도와 성과가 모두 낮은 항목이다.
일반적으로 시급한 개선대상은 아니지만 완전히 무시해도 된다는 뜻은 아니다.
현재 중요도가 낮더라도 시장환경이나 고객구성이 바뀌면 중요도가 높아질 수 있다. 또한 특정 소수집단에서는 매우 중요한 항목일 수 있다.
과잉투입 가능
중요도는 낮지만 성과가 높은 항목이다.
전통적인 IPA에서는 자원이 지나치게 투입된 영역으로 해석하기도 한다.
그러나 높은 성과가 낮은 중요도의 원인일 가능성도 있다. 서비스가 안정적으로 제공되기 때문에 고객이 당연한 것으로 받아들이고 중요도를 낮게 평가했을 수 있다.
따라서 이 영역을 발견했다고 즉시 예산을 줄이는 것은 위험하다.
과잉투입 영역은 자원축소 명령이 아니라 자원배분을 재검토하라는 신호다.
대학교 학생 서비스 사례
한 대학이 다음 여덟 개 서비스에 대해 5점 척도로 중요도와 만족도를 조사했다고 하자.
| 항목 | 중요도 | 만족도 |
|---|---|---|
| 수업의 질 | 4.55 | 4.10 |
| 온라인 강의 시스템 | 4.48 | 3.20 |
| 학사행정 안내 | 4.30 | 3.35 |
| 도서관 환경 | 4.12 | 4.05 |
| 교직원 친절 | 4.06 | 3.80 |
| 학생식당 | 3.85 | 3.75 |
| 동아리 지원 | 3.60 | 3.10 |
| 교내 행사 | 3.45 | 3.55 |
전체 항목의 평균을 기준선으로 사용하면 중요도 기준은 약 4.05점, 만족도 기준은 약 3.61점이다.
| 항목 | 분류 | 해석 |
|---|---|---|
| 수업의 질 | 강점 유지 | 핵심 경쟁력으로 지속 관리 |
| 온라인 강의 시스템 | 집중 개선 | 사용성과 안정성 개선 필요 |
| 학사행정 안내 | 집중 개선 | 정보전달과 절차 개선 필요 |
| 도서관 환경 | 강점 유지 | 현재 수준 유지 |
| 교직원 친절 | 강점 유지 | 교육과 서비스 표준 유지 |
| 학생식당 | 과잉투입 가능 | 자원축소보다 학생집단별 수요 확인 |
| 동아리 지원 | 낮은 우선순위 | 당장의 우선순위는 낮음 |
| 교내 행사 | 낮은 우선순위 | 행사 유형과 대상집단을 재검토 |
이 결과만 보면 온라인 강의 시스템과 학사행정 안내가 우선 개선대상이다.
하지만 중요도 기준이 4.0점이고 만족도 기준이 3.5점인 절대 기준을 사용하면 일부 항목의 위치가 달라질 수 있다.
IPA 해석에서 기준선 선택이 중요한 이유다.
분석을 시작하기 전에 문항을 잘 설계해야 한다
좋은 IPA는 좌표를 그리는 기술보다 항목을 설계하는 과정에서 결정된다.
조사항목은 고객이 실제로 경험하고 조직이 개선할 수 있는 수준으로 작성하는 것이 좋다.
다음 항목은 지나치게 포괄적이다.
전반적인 서비스 품질
이 항목의 만족도가 낮아도 무엇을 개선해야 하는지 알기 어렵다.
다음처럼 구체적인 항목이 실무적으로 유용하다.
- 문의에 대한 최초 응답속도
- 상담원의 문제해결 능력
- 모바일 앱의 메뉴 탐색 편의성
- 결제과정의 단순성
- 배송일정 안내의 정확성
반대로 항목을 지나치게 세분화하면 설문이 길어지고 IPA 그림이 복잡해진다.
조사항목을 선정할 때는 다음 자료를 활용할 수 있다.
- 고객 인터뷰
- 불만과 문의 기록
- 콜센터 상담내용
- 온라인 후기
- 고객여정 지도
- 직원 워크숍
- 기존 서비스 품질척도
- 탐색적 요인분석
- 전문가 검토
고객이 중요하게 생각하지 않는 내부 업무절차를 조사자가 임의로 넣는 것보다 고객이 실제로 인식할 수 있는 경험단위를 사용해야 한다.
중요도와 성과는 같은 수준의 문장으로 측정한다
중요도와 성과 문항은 같은 속성을 평가해야 한다.
예를 들어 중요도 문항이 다음과 같다고 하자.
온라인 시스템의 안정성은 얼마나 중요합니까?
성과 문항도 같은 속성을 평가해야 한다.
현재 온라인 시스템의 안정성에 얼마나 만족하십니까?
다음처럼 서로 다른 내용을 묻는다면 좌표의 의미가 약해진다.
- 중요도: 온라인 시스템의 안정성
- 만족도: 온라인 시스템의 디자인
척도범위도 가능하면 동일하게 맞추는 것이 좋다.
| 점수 | 중요도 | 만족도 |
|---|---|---|
| 1 | 전혀 중요하지 않음 | 전혀 만족하지 않음 |
| 2 | 중요하지 않음 | 만족하지 않음 |
| 3 | 보통 | 보통 |
| 4 | 중요함 | 만족함 |
| 5 | 매우 중요함 | 매우 만족함 |
동일한 숫자범위를 사용해도 중요도 4점과 만족도 4점이 심리적으로 완전히 같은 간격을 의미한다고 보장할 수는 없다. 따라서 중요도와 만족도의 차이점수를 절대적인 손실처럼 해석하는 데는 주의가 필요하다.
직접 중요도와 간접 중요도
IPA에서 중요도를 측정하는 방법은 크게 두 가지다.
| 방법 | 계산 방식 |
|---|---|
| 직접 중요도 | 응답자에게 각 속성의 중요도를 직접 질문 |
| 간접 중요도 | 속성평가가 전체 만족도나 충성도에 미치는 관계를 통계모형으로 추정 |
직접 중요도
응답자에게 다음처럼 질문한다.
배송 정확성은 얼마나 중요합니까?
장점은 해석이 쉽고 고객이 인식하는 중요성을 직접 확인할 수 있다는 점이다.
하지만 다음 문제가 발생할 수 있다.
- 거의 모든 항목을 중요하다고 평가
- 중요도 점수의 변별력이 작음
- 사회적으로 바람직한 응답
- 만족도 평가에 끌려가는 후광효과
- 중요도와 성과를 같은 설문에서 연속으로 물어 일관성 편향 발생
특히 의료, 교육과 안전 관련 서비스에서는 대부분의 항목이 4점 이상으로 몰릴 수 있다.
간접 중요도
각 속성의 성과가 전체 만족도나 재이용 의향에 얼마나 관련되는지를 회귀분석 등으로 추정한다.
예를 들어 전체 만족도 \(Y\)와 속성별 성과 \(P_j\)의 관계를 다음처럼 분석할 수 있다.
\[
Y_i=\beta_0+\beta_1P_{i1}+\beta_2P_{i2}+\cdots+\beta_kP_{ik}+\varepsilon_i
\]
표준화 회귀계수나 상대적 중요도 지표를 중요도로 사용할 수 있다.
간접 중요도는 모든 항목이 중요하다고 응답하는 문제를 줄일 수 있지만 한계도 있다.
- 속성들 사이의 다중공선성
- 누락변수 편향
- 표본에 따라 달라지는 계수
- 비선형 관계의 누락
- 회귀계수를 인과효과로 오해할 위험
- 결과변수 선택에 따른 중요도 변화
간접 중요도는 고객이 말한 중요성이 아니라 통계모형에서 추정한 영향력이다.
따라서 두 방법은 같은 개념으로 볼 수 없다.
Deng(2007), Arbore와 Busacca(2011)는 직접 중요도의 분포 집중과 속성 간 비선형성을 보완하기 위해 수정된 IPA 방법을 제시했다.
직접 중요도와 간접 중요도가 다르면 무엇을 의미할까
고객이 어떤 기능을 매우 중요하다고 말하지만 전체 만족도와의 통계적 관련성은 작을 수 있다.
반대로 고객이 중요하다고 직접 말하지 않은 기능이 전체 만족도와 강하게 관련될 수도 있다.
예를 들어 보안은 고객이 당연히 갖춰져야 한다고 생각하는 기본요소일 수 있다. 평소에는 중요도를 특별히 강조하지 않지만 보안사고가 발생하면 만족도가 급격히 하락한다.
이러한 차이는 다음처럼 해석할 수 있다.
| 중요도 유형 | 가능한 의미 |
|---|---|
| 직접 중요도 높음, 간접 중요도 높음 | 고객도 중요성을 인식하고 실제 만족도와도 강하게 관련 |
| 직접 중요도 높음, 간접 중요도 낮음 | 선언적으로 중요하지만 현재 만족도 변동을 크게 설명하지 않음 |
| 직접 중요도 낮음, 간접 중요도 높음 | 고객이 명시적으로 인식하지 못한 잠재적 핵심요소 |
| 직접 중요도 낮음, 간접 중요도 낮음 | 현재 우선순위가 상대적으로 낮을 가능성 |
직접 중요도와 간접 중요도를 함께 비교하면 더 풍부한 전략을 만들 수 있지만, 어느 하나를 ‘진짜 중요도’라고 단정해서는 안 된다.
사분면 기준선은 어디에 놓아야 하는가
IPA 결과를 가장 크게 바꾸는 결정 중 하나가 기준선의 위치다.
다음 네 방법이 자주 사용된다.
척도의 중앙값
5점 척도라면 중요도와 성과 모두 3점을 기준으로 사용할 수 있다.
장점은 해석이 절대적이고 다른 조사와 기준을 유지하기 쉽다는 것이다.
하지만 점수가 전반적으로 높으면 대부분의 항목이 오른쪽 위 영역에 몰릴 수 있다.
전체 항목의 평균
항목별 중요도 평균들의 전체 평균과 성과 평균들의 전체 평균을 기준으로 사용한다.
\[
I^*=\frac{1}{k}\sum_{j=1}^{k}\bar I_j
\]
\[
P^*=\frac{1}{k}\sum_{j=1}^{k}\bar P_j
\]
장점은 항목들을 상대적으로 넓게 분산시킬 수 있다는 것이다.
그러나 결과는 조사에 포함한 항목에 따라 달라진다.
중요도가 낮은 항목을 추가하면 기준선이 내려가고 기존 항목의 사분면도 바뀔 수 있다.
외부 기준이나 목표치
다음과 같은 기준을 사용할 수 있다.
- 중요도 4.0점 이상
- 만족도 4.0점 이상
- 경쟁사 평균
- 전년도 평균
- 조직의 KPI
- 서비스 최소기준
이 방법은 경영목표와 직접 연결할 수 있다는 장점이 있다.
다만 기준의 근거를 사전에 명확히 정해야 한다.
대각선 기준
중요도와 성과가 같은 척도로 측정되었다면 대각선을 사용할 수 있다.
\[
P=I
\]
중요도보다 성과가 낮은 항목은 대각선 위에 위치한다.
\[
I-P>0
\]
이 영역을 개선 필요성이 있는 항목으로 볼 수 있다.
대각선 방식은 사분면 기준선의 임의성을 줄일 수 있지만 중요도와 성과의 숫자가 직접 비교 가능한 간격을 갖는다는 가정이 필요하다(Abalo et al., 2007; Chen, 2021).
기준선 민감도 분석이 필요하다
하나의 기준선만 사용하면 항목의 위치가 확정적인 것처럼 보인다.
그러나 평균 기준에서 집중 개선 영역이었던 항목이 척도 중앙값 기준에서는 강점 유지 영역으로 이동할 수 있다.
따라서 다음 기준을 비교해 보는 것이 좋다.
- 척도의 중앙값
- 전체 항목 평균
- 전년도 또는 경쟁사 기준
- 조직의 목표치
- 대각선 기준
여러 기준에서도 계속 집중 개선 영역에 남는 항목은 우선순위가 비교적 안정적이다.
특정 기준에서만 개선대상으로 분류되는 항목은 경계항목으로 보고 추가 검토해야 한다.
보고서에서는 다음처럼 작성할 수 있다.
전체 항목 평균과 조직 목표치를 각각 기준선으로 적용한 민감도 분석에서 온라인 시스템과 학사행정 안내는 모두 집중 개선 영역에 위치하였다.
중요도와 성과의 차이점수
IPA에서는 다음과 같은 격차를 계산하기도 한다.
\[
G_j=\bar I_j-\bar P_j
\]
값이 클수록 중요도에 비해 성과가 낮다는 뜻이다.
대학교 사례에서 온라인 강의 시스템은 다음과 같다.
\[
4.48-3.20=1.28
\]
학사행정 안내는 다음과 같다.
\[
4.30-3.35=0.95
\]
단순 격차만 보면 온라인 강의 시스템의 개선 필요성이 더 커 보인다.
그러나 격차점수에는 몇 가지 한계가 있다.
- 중요도와 성과가 같은 간격척도라는 가정
- 두 점수의 측정오차가 함께 포함
- 동일한 격차가 서로 다른 조합에서 발생
- 표본오차를 고려하지 않은 순위
- 높은 중요도·높은 성과 항목도 큰 격차를 가질 수 있음
다음 두 항목은 모두 격차가 1점이다.
| 항목 | 중요도 | 성과 | 격차 |
|---|---|---|---|
| A | 5.0 | 4.0 | 1.0 |
| B | 3.0 | 2.0 | 1.0 |
하지만 A는 핵심 서비스일 가능성이 크고 B는 상대적으로 덜 중요한 항목일 수 있다.
격차는 유용한 보조지표지만 전략적 우선순위를 단독으로 결정해서는 안 된다.
평균 옆에는 불확실성이 존재한다
IPA 그림에서 각 항목은 하나의 점으로 표시된다.
그러나 중요도 4.12와 만족도 3.58은 모집단의 정확한 값이 아니라 표본에서 계산된 추정치다.
다른 고객을 조사하면 점의 위치가 달라질 수 있다.
평균의 신뢰구간은 다음과 같이 계산할 수 있다.
\[
\bar x\pm t_{\alpha/2,n-1}\frac{s}{\sqrt n}
\]
특히 기준선 근처에 있는 항목은 표본이 바뀌면 다른 사분면으로 이동할 가능성이 크다.
다음 항목을 구분할 필요가 있다.
- 기준선에서 멀리 떨어진 안정적 항목
- 기준선 근처의 경계항목
- 신뢰구간이 기준선을 가로지르는 항목
- 표본 수가 적어 불확실성이 큰 항목
부트스트랩을 이용하면 응답자를 반복적으로 재표집해 각 항목이 특정 영역에 위치할 확률을 추정할 수 있다.
예를 들어 다음처럼 보고할 수 있다.
온라인 시스템은 부트스트랩 표본의 94%에서 집중 개선 영역에 위치했으나, 교직원 친절은 강점 유지 영역에 위치한 비율이 58%로 분류 안정성이 낮았다.
사분면을 확정적인 등급이 아니라 불확실성을 가진 분류로 보는 접근이다.
만족도 평균만으로 고객 분포를 판단해서는 안 된다
평균 만족도가 3.5점인 두 항목이 있다고 하자.
첫 번째 항목은 대부분의 고객이 3점이나 4점을 선택했을 수 있다.
두 번째 항목은 절반이 1점, 절반이 5점을 선택했을 수 있다.
평균은 같지만 고객경험의 구조는 완전히 다르다.
따라서 IPA와 함께 다음 정보를 확인하는 것이 좋다.
- 응답범주별 비율
- 표준편차
- 중앙값
- 불만족 응답률
- 최상위 응답률
- 고객집단별 분포
- 자유서술 의견
특히 평균은 중간 수준이지만 분산이 큰 항목은 고객경험이 일관되지 않다는 뜻일 수 있다.
이 경우 평균을 높이는 것보다 서비스 편차를 줄이는 전략이 더 중요할 수 있다.
전체 고객 평균은 세분시장의 차이를 숨길 수 있다
전체 IPA에서 학생식당이 낮은 중요도로 나타났다고 하자.
하지만 기숙사 학생에게는 매우 중요하고 통학생에게는 중요하지 않을 수 있다.
전체 평균은 두 집단의 차이를 섞어버린다.
다음 기준으로 고객을 나누어 IPA를 비교할 수 있다.
- 신규 고객과 장기 고객
- 연령대
- 성별
- 이용빈도
- 구매금액
- 지역
- 회원등급
- 서비스 채널
- 불만 경험 여부
다만 표본을 지나치게 세분화하면 집단별 표본 수가 작아지고 평균의 불확실성이 커진다.
고객집단별 IPA를 수행할 때는 다음을 확인해야 한다.
- 집단별 표본 수
- 조사문항의 동일한 해석
- 중요도와 성과의 집단 차이
- 집단별 기준선 사용 여부
- 표본가중치
- 다중비교 문제
집단별 자체 평균을 기준선으로 사용하면 사분면을 직접 비교하기 어려울 수 있다. 비교가 목적이라면 공통 기준선을 사용하는 편이 해석하기 쉽다.
중요도와 만족도의 관계는 비대칭일 수 있다
전통적인 IPA는 성과가 한 단위 올라가면 만족도가 일정하게 증가한다고 암묵적으로 생각하기 쉽다.
하지만 서비스 속성의 효과는 비대칭일 수 있다.
예를 들어 기본적인 결제 보안은 문제가 없을 때 만족도를 크게 높이지 않지만 문제가 생기면 만족도를 급격히 떨어뜨린다.
반대로 예상하지 못한 무료 혜택은 없다고 불만이 생기지는 않지만 제공되면 만족도를 크게 높일 수 있다.
이를 세 가지 속성으로 구분할 수 있다(Kano et al., 1984; Matzler et al., 2004).
| 속성 | 낮은 성과의 영향 | 높은 성과의 영향 |
|---|---|---|
| 기본요인 | 강한 불만족 | 만족 증가가 제한적 |
| 성과요인 | 불만족 증가 | 만족 증가 |
| 매력요인 | 불만족 영향이 작음 | 강한 만족 증가 |
기본적인 IPA는 이러한 비대칭성을 충분히 표현하지 못한다.
이를 보완하기 위해 다음 방법이 사용된다.
- Kano 모형
- 패널티-보상 대조분석
- 삼요인 만족모형
- 비대칭 영향-성과 분석
- Impact Range-Performance Analysis
- 비선형 회귀모형
Matzler 등(2003), Mikulić과 Prebežac(2008)은 만족도의 요인구조와 비대칭적 영향을 반영하지 않은 전통적 IPA가 개선 우선순위를 잘못 제안할 수 있음을 지적했다.
통계적으로 유의한 차이가 전략적으로 중요한 것은 아니다
온라인 시스템의 중요도는 4.22점이고 다른 항목은 4.18점이라고 하자.
표본이 매우 크면 0.04점 차이도 통계적으로 유의할 수 있다.
하지만 5점 척도에서 0.04점 차이가 실제 예산배분을 바꿀 만큼 중요한지는 별개의 문제다.
IPA에서는 다음을 함께 고려해야 한다.
- 평균 차이의 크기
- 신뢰구간
- 고객 수
- 불만이 발생하는 빈도
- 고객 이탈에 미치는 영향
- 개선비용
- 개선 가능성
- 실행기간
- 법적·안전상 위험
실제 우선순위는 다음과 같이 확장할 수 있다.
\[
\text{개선 우선순위}
=
\text{중요도}
\times
\text{성과 부족}
\times
\text{실행 가능성}
\]
필요하다면 비용과 위험도 추가할 수 있다.
\[
\text{의사결정 점수}
=
\frac{
\text{고객영향}\times\text{개선 가능성}
}{
\text{비용}\times\text{실행기간}
}
\]
이러한 점수는 조직의 판단모형이지 보편적인 IPA 공식은 아니다. 각 요소의 정의와 가중치를 사전에 공개해야 한다.
R로 IPA 분석자료 만들기
대학교 학생 서비스 사례를 입력해 보자.
ipa_data <- data.frame(
item = c(
"수업의 질",
"온라인 강의 시스템",
"학사행정 안내",
"도서관 환경",
"교직원 친절",
"학생식당",
"동아리 지원",
"교내 행사"
),
importance = c(
4.55,
4.48,
4.30,
4.12,
4.06,
3.85,
3.60,
3.45
),
performance = c(
4.10,
3.20,
3.35,
4.05,
3.80,
3.75,
3.10,
3.55
)
)
ipa_data이 자료는 항목별 평균이 이미 계산된 요약자료다.
실제 분석에서는 응답자별 원자료를 먼저 정리하고 결측값, 비정상 응답과 표본가중치를 확인해야 한다.
평균 기준선과 격차 계산하기
importance_cut <- mean(
ipa_data$importance
)
performance_cut <- mean(
ipa_data$performance
)
importance_cut
performance_cut
격차점수를 추가한다.
ipa_data$gap <- (
ipa_data$importance -
ipa_data$performance
)
ipa_data[
order(
-ipa_data$gap
),
]격차가 큰 항목부터 정렬된다.
격차 순위가 곧 최종 투자순위는 아니며 사분면, 불확실성과 실행 가능성을 함께 봐야 한다.
R로 사분면 분류하기
dplyr 패키지를 사용한다.
# 최초 한 번만 실행
# install.packages("dplyr")
library(dplyr)
ipa_result <- ipa_data |>
mutate(
area = case_when(
importance >= importance_cut &
performance >= performance_cut ~
"강점 유지",
importance >= importance_cut &
performance < performance_cut ~
"집중 개선",
importance < importance_cut &
performance < performance_cut ~
"낮은 우선순위",
TRUE ~
"과잉투입 가능"
)
)
ipa_result기준선과 같은 값을 어디에 포함할 것인지도 분석규칙에 포함된다.
경계선에 정확히 위치한 항목은 어느 한 영역으로 강제 분류하기보다 ‘경계항목’으로 별도 표시할 수도 있다.
R로 IPA 지도 그리기
ggplot2를 사용해 성과를 가로축, 중요도를 세로축에 표시한다.
# 최초 한 번만 실행
# install.packages("ggplot2")
library(ggplot2)
ggplot(
ipa_result,
aes(
x = performance,
y = importance,
label = item
)
) +
geom_vline(
xintercept = performance_cut,
linetype = 2
) +
geom_hline(
yintercept = importance_cut,
linetype = 2
) +
geom_point(
size = 3
) +
geom_text(
vjust = -0.8,
check_overlap = TRUE
) +
coord_cartesian(
xlim = c(
1,
5
),
ylim = c(
1,
5
)
) +
labs(
title = "대학교 학생 서비스 IPA",
x = "만족도 또는 지각된 성과",
y = "중요도"
) +
theme_minimal()항목이 많으면 글자가 겹칠 수 있다.
ggrepel 패키지를 사용하면 라벨을 겹치지 않게 배치할 수 있다.
# 최초 한 번만 실행
# install.packages("ggrepel")
library(ggrepel)
ggplot(
ipa_result,
aes(
x = performance,
y = importance,
label = item
)
) +
geom_vline(
xintercept = performance_cut,
linetype = 2
) +
geom_hline(
yintercept = importance_cut,
linetype = 2
) +
geom_point(
size = 3
) +
geom_text_repel() +
coord_cartesian(
xlim = c(
1,
5
),
ylim = c(
1,
5
)
) +
labs(
title = "대학교 학생 서비스 IPA",
x = "만족도 또는 지각된 성과",
y = "중요도"
) +
theme_minimal()응답자별 원자료에서 평균 계산하기
실제 원자료가 다음과 같은 긴 형식이라고 하자.
| respondent | item | importance | performance |
|---|---|---|---|
| 1 | 수업의 질 | 5 | 4 |
| 1 | 온라인 시스템 | 5 | 3 |
| 2 | 수업의 질 | 4 | 4 |
| 2 | 온라인 시스템 | 5 | 2 |
항목별 평균과 표준오차를 계산할 수 있다.
item_summary <- raw_data |>
group_by(
item
) |>
summarise(
n_importance = sum(
!is.na(
importance
)
),
mean_importance = mean(
importance,
na.rm = TRUE
),
se_importance = sd(
importance,
na.rm = TRUE
) /
sqrt(
n_importance
),
n_performance = sum(
!is.na(
performance
)
),
mean_performance = mean(
performance,
na.rm = TRUE
),
se_performance = sd(
performance,
na.rm = TRUE
) /
sqrt(
n_performance
),
.groups = "drop"
)
item_summary중요도와 성과의 결측 수가 다를 수 있으므로 각각의 유효표본 수를 확인해야 한다.
같은 응답자의 중요도와 성과 차이를 분석하려면 두 값이 모두 있는 쌍을 기준으로 계산해야 한다.
절대 기준과 평균 기준 비교하기
전체 평균 기준과 4점 기준을 비교해 항목의 분류가 달라지는지 확인할 수 있다.
mean_based <- ipa_data |>
mutate(
area_mean = case_when(
importance >= importance_cut &
performance >= performance_cut ~
"강점 유지",
importance >= importance_cut &
performance < performance_cut ~
"집중 개선",
importance < importance_cut &
performance < performance_cut ~
"낮은 우선순위",
TRUE ~
"과잉투입 가능"
)
)
target_based <- ipa_data |>
mutate(
area_target = case_when(
importance >= 4.0 &
performance >= 4.0 ~
"강점 유지",
importance >= 4.0 &
performance < 4.0 ~
"집중 개선",
importance < 4.0 &
performance < 4.0 ~
"낮은 우선순위",
TRUE ~
"과잉투입 가능"
)
)
comparison <- mean_based |>
select(
item,
area_mean
) |>
left_join(
target_based |>
select(
item,
area_target
),
by = "item"
)
comparison분류가 달라지는 항목은 기준선에 민감한 항목이다.
이러한 항목을 확정적인 우선순위로 해석하기보다 추가 조사와 실무검토가 필요하다.
IPA 결과는 어떻게 보고해야 할까
다음 문장만으로는 분석을 재현하기 어렵다.
IPA 결과 온라인 시스템이 2사분면에 나타났다.
사분면 번호는 자료와 문헌에 따라 다르게 사용될 수 있고 기준선도 알 수 없기 때문이다.
보다 좋은 보고는 다음과 같다.
8개 학생 서비스 속성에 대해 5점 척도로 중요도와 만족도를 측정하였다. 만족도는 지각된 성과지표로 사용하였다. 항목별 평균을 계산한 뒤 가로축에 만족도, 세로축에 중요도를 배치하였다. 중요도 기준선은 전체 항목 평균 4.05점, 만족도 기준선은 전체 항목 평균 3.61점으로 설정하였다. 온라인 강의 시스템과 학사행정 안내는 중요도가 기준보다 높고 만족도가 기준보다 낮아 집중 개선 영역에 위치하였다. 척도 중앙값과 조직 목표치를 이용한 민감도 분석에서도 두 항목의 개선 우선순위가 유지되었다.
결과보고에는 다음 내용을 포함하는 것이 좋다.
- 조사대상과 표본 수
- 표본추출 방법
- 조사항목 선정과정
- 중요도와 성과의 측정척도
- 성과가 만족도인지 객관적 성과인지
- 항목별 평균과 표준편차
- 결측값 처리방법
- 기준선의 설정근거
- 사분면별 항목
- 중요도와 성과의 차이
- 신뢰구간이나 부트스트랩 결과
- 고객집단별 차이
- 민감도 분석
- 개선비용과 실행 가능성
- 분석의 한계
IPA 분석에서 자주 발생하는 오류
모든 항목의 중요도가 높게 나온 결과를 그대로 사용한다
중요도 점수가 천장에 몰리면 항목 간 변별력이 약해진다. 직접 중요도와 간접 중요도를 비교하거나 순위·자원배분 방식 등을 보완적으로 고려할 수 있다.
전체 평균 기준을 유일한 정답으로 사용한다
평균 기준은 조사에 포함된 항목에 따라 달라진다. 절대 기준과 외부 벤치마크를 이용한 민감도 분석이 필요하다.
집중 개선 영역의 항목을 모두 즉시 개선한다
비용, 실행 가능성, 법적 위험과 고객영향을 함께 검토해야 한다.
과잉투입 가능 영역의 예산을 바로 줄인다
높은 성과 때문에 중요성이 낮게 인식되는 기본요인일 수 있다.
만족도와 객관적 성과를 같은 개념으로 본다
고객의 지각과 실제 운영지표는 다를 수 있다.
격차가 큰 순서대로만 우선순위를 정한다
격차점수는 중요도 수준, 측정오차와 실행 가능성을 충분히 반영하지 않는다.
사분면 경계에 있는 항목을 확정적으로 분류한다
표본오차에 따라 다른 영역으로 이동할 수 있다. 신뢰구간과 부트스트랩을 확인하는 것이 좋다.
전체 고객 평균만 분석한다
고객집단별 요구가 서로 다르면 평균이 중요한 차이를 숨길 수 있다.
속성 성과와 전체 만족도의 관계를 인과효과로 해석한다
회귀계수나 상관관계는 인과관계를 자동으로 입증하지 않는다.
점수가 높으므로 개선할 필요가 없다고 판단한다
성과가 높은 영역에서도 서비스 저하 위험과 경쟁사의 개선을 고려해야 한다.
분석 전에 확인할 질문
- IPA의 목적이 무엇인가?
- 고객이 실제로 경험하고 평가할 수 있는 항목인가?
- 항목이 조직에서 개선 가능한 수준으로 구체적인가?
- 중요도와 성과가 동일한 속성을 평가하는가?
- 성과는 만족도인가, 지각된 성과인가, 객관적 성과인가?
- 직접 중요도와 간접 중요도 중 무엇을 사용할 것인가?
- 중요도 점수가 모두 높은 수준에 몰리지 않았는가?
- 척도의 중앙값과 전체 평균 중 어떤 기준을 사용할 것인가?
- 외부 벤치마크나 목표치가 있는가?
- 기준선을 바꾸면 항목 분류가 달라지는가?
- 기준선 근처 항목의 신뢰구간은 어떠한가?
- 격차점수를 단독으로 사용하고 있지 않은가?
- 고객집단별 IPA가 필요한가?
- 표본가중치를 적용해야 하는가?
- 성과와 전체 만족도의 관계가 비선형적이지 않은가?
- 기본요인과 매력요인을 구분할 필요가 있는가?
- 개선비용과 실행 가능성을 함께 평가했는가?
- 우선 개선 후 성과를 다시 측정할 계획이 있는가?
- 전년도와 동일한 항목과 기준을 유지했는가?
- 분석결과를 실제 실행계획으로 연결할 수 있는가?
IPA는 좌표가 아니라 의사결정의 출발점입니다
IPA는 고객이 중요하게 생각하는 것과 조직이 현재 얼마나 잘하고 있는지를 한 장의 좌표로 보여준다.
비전공자는 다음 다섯 문장으로 기억할 수 있다.
IPA는 중요도와 성과를 동시에 분석한다.
중요도가 높고 성과가 낮은 항목이 일반적인 집중 개선대상이다.
사분면은 기준선을 어디에 놓느냐에 따라 달라질 수 있다.
만족도는 객관적 성과와 동일하지 않을 수 있다.
IPA 결과는 비용, 실행 가능성과 고객집단 차이를 함께 고려해야 한다.
온라인 시스템이 집중 개선 영역에 위치했다면 분석은 “시스템을 개선하라”는 선언에서 끝나서는 안 된다.
어떤 부분이 문제인지 세분화해야 한다.
- 로그인 속도
- 접속 안정성
- 메뉴 탐색
- 모바일 호환성
- 오류 복구
- 고객지원
그다음 개선과제를 정하고 예산과 책임자를 배정하며, 일정 기간 후 같은 지표를 다시 측정해야 한다.
IPA의 진정한 가치는 점을 좌표에 올리는 데 있지 않다.
고객의 평가를 실행 가능한 우선순위로 번역하고, 개선 이후 그 점이 실제로 이동했는지를 확인하는 데 있다.
고객의 목소리는 설문지 안에만 있을 때는 의견에 머문다.
그 목소리를 중요도와 성과의 좌표 위에 올리고, 불확실성과 현실적인 제약까지 함께 읽을 때 비로소 전략이 된다.
참고문헌
Abalo, J., Varela, J., & Manzano, V. (2007). Importance values for Importance–Performance Analysis: A formula for spreading out values derived from preference rankings. Journal of Business Research, 60(2), 115–121. https://doi.org/10.1016/j.jbusres.2006.10.009
Albayrak, T., & Caber, M. (2015). Prioritisation of the hotel attributes according to their influence on satisfaction: A comparison of two techniques. Tourism Management, 46, 43–50. https://doi.org/10.1016/j.tourman.2014.06.004
Arbore, A., & Busacca, B. (2011). Rejuvenating importance–performance analysis. Journal of Service Management, 22(3), 409–429. https://doi.org/10.1108/09564231111136890
Azzopardi, E., & Nash, R. (2013). A critical evaluation of importance–performance analysis. Tourism Management, 35, 222–233. https://doi.org/10.1016/j.tourman.2012.07.007
Deng, W. (2007). Using a revised importance–performance analysis approach: The case of Taiwanese hot springs tourism. Tourism Management, 28(5), 1274–1284. https://doi.org/10.1016/j.tourman.2006.07.010
Garver, M. S. (2003). Best practices in identifying customer-driven improvement opportunities. Industrial Marketing Management, 32(6), 455–466. https://doi.org/10.1016/S0019-8501(02)00238-9
Kano, N., Seraku, N., Takahashi, F., & Tsuji, S. (1984). Attractive quality and must-be quality. Journal of the Japanese Society for Quality Control, 14(2), 39–48.
Martilla, J. A., & James, J. C. (1977). Importance-performance analysis. Journal of Marketing, 41(1), 77–79. https://doi.org/10.1177/002224297704100112
Matzler, K., Bailom, F., Hinterhuber, H. H., Renzl, B., & Pichler, J. (2004). The asymmetric relationship between attribute-level performance and overall customer satisfaction: A reconsideration of the importance–performance analysis. Industrial Marketing Management, 33(4), 271–277. https://doi.org/10.1016/S0019-8501(03)00055-5
Matzler, K., Sauerwein, E., & Heischmidt, K. A. (2003). Importance–performance analysis revisited: The role of the factor structure of customer satisfaction. The Service Industries Journal, 23(2), 112–129. https://doi.org/10.1080/02642060412331300912
Mikulić, J., & Prebežac, D. (2008). Prioritizing improvement of service attributes using impact range-performance analysis and impact-asymmetry analysis. Managing Service Quality, 18(6), 559–576. https://doi.org/10.1108/09604520810920068
Oh, H. (2001). Revisiting importance–performance analysis. Tourism Management, 22(6), 617–627. https://doi.org/10.1016/S0261-5177(01)00036-X
Sever, I. (2015). Importance–performance analysis: A valid management tool? Tourism Management, 48, 43–53. https://doi.org/10.1016/j.tourman.2014.10.022
