통계분석 결과를 보고할 때 가장 먼저 확인하는 숫자는 대체로 p값이다.
두 집단의 평균을 비교한 결과 p값이 0.03이면 “통계적으로 유의한 차이가 있다”고 설명하고, p값이 0.08이면 “차이가 없다”고 결론 내리는 경우가 많다.
논문과 연구보고서에서도 다음과 같은 문장을 쉽게 발견할 수 있다.
실험집단과 통제집단 사이에 통계적으로 유의한 차이가 나타났다, p < .05.
그러나 이 문장만으로는 실제 차이가 얼마나 큰지 알 수 없다.
시험 점수가 평균 0.2점 높아진 것인지 20점 높아진 것인지, 고객 이탈률이 0.1%포인트 감소한 것인지 10%포인트 감소한 것인지 판단할 수 없다.
p값은 관찰된 효과의 크기를 직접 보여주는 통계량이 아니다. 표본 수, 자료의 변동성, 분석모형과 가정이 모두 p값에 영향을 준다.
표본이 매우 크면 실무적으로 거의 의미가 없는 작은 차이도 통계적으로 유의하게 나타날 수 있다. 반대로 표본이 작으면 실제로 중요한 차이가 있어도 p값이 0.05보다 크게 나타날 수 있다.
이때 필요한 정보가 효과크기다.
효과크기는 집단 간 차이, 변수 간 관계 또는 처치효과가 어느 정도 규모인지를 수치로 표현한다(Kelley & Preacher, 2012).
핵심은 다음과 같다.
- p값은 효과가 얼마나 큰지 알려주지 않는다.
- 효과크기는 차이나 관계의 방향과 규모를 보여준다.
- 신뢰구간은 효과크기 추정의 불확실성을 보여준다.
- 통계적 유의성과 실무적 중요성은 서로 다른 판단이다.
- 원래 단위의 효과와 표준화 효과를 함께 제시하는 것이 좋다.
좋은 통계보고는 유의성 여부를 선언하는 데서 끝나지 않는다.
얼마나 차이가 났고, 그 차이를 얼마나 정밀하게 추정했으며, 그 크기가 실제 의사결정에서 어떤 의미를 갖는지 설명해야 한다.
p값은 효과의 크기를 알려주지 않는다
p값은 귀무가설과 통계모형의 다른 가정들이 성립한다고 할 때, 현재 관찰된 검정통계량과 같거나 더 극단적인 결과가 나타날 확률이다(Greenland et al., 2016).
두 집단의 평균 차이를 검정한다고 하자.
귀무가설은 다음과 같다.
\[
H_0:\mu_1-\mu_2=0
\]
검정통계량은 단순화하면 다음 구조를 가진다.
\[
t=
\frac{
\text{관찰된 평균 차이}
}{
\text{평균 차이의 표준오차}
}
\]
평균 차이가 커지면 t값의 절댓값이 커질 수 있다.
그러나 평균 차이가 그대로여도 표준오차가 작아지면 t값의 절댓값은 커진다. 표준오차는 표본 수가 증가할수록 일반적으로 작아진다.
따라서 p값은 다음 요소의 영향을 함께 받는다.
| 요소 | p값에 미치는 영향 |
|---|---|
| 효과의 크기 | 차이가 클수록 p값이 작아질 가능성이 큼 |
| 표본 수 | 표본이 클수록 같은 효과도 더 쉽게 유의해짐 |
| 자료의 변동성 | 변동성이 작을수록 효과를 정밀하게 추정 |
| 연구설계 | 대응설계, 독립설계, 군집설계에 따라 표준오차가 달라짐 |
| 분석모형 | 공변량, 비선형성, 상호작용과 오차구조에 따라 달라짐 |
| 모형가정 | 독립성, 분산구조와 분포가정의 영향을 받음 |
p값이 작다는 사실만으로 효과가 크다고 말할 수 없는 이유다.
같은 효과라도 표본 수에 따라 p값은 달라진다
두 연구에서 표준화 평균 차이가 모두 다음과 같다고 하자.
\[
d=0.20
\]
첫 번째 연구에는 집단별로 20명이 참여했다.
두 번째 연구에는 집단별로 500명이 참여했다.
두 집단의 표본 수가 같고 통합표준편차를 사용한다고 단순화하면 t값과 Cohen의 d는 다음 관계를 갖는다.
\[
t=
\frac{d}{
\sqrt{
\frac{1}{n_1}+
\frac{1}{n_2}
}
}
\]
집단별 표본 수가 20명이면 다음과 같다.
\[
t=
\frac{0.20}{
\sqrt{
\frac{1}{20}+
\frac{1}{20}
}
}
\approx0.63
\]
양측 p값은 약 0.53이다.
집단별 표본 수가 500명이면 다음과 같다.
\[
t=
\frac{0.20}{
\sqrt{
\frac{1}{500}+
\frac{1}{500}
}
}
\approx3.16
\]
양측 p값은 약 0.002다.
| 연구 | 집단별 표본 수 | Cohen의 d | t값 | 대략적인 p값 |
|---|---|---|---|---|
| 연구 A | 20명 | 0.20 | 0.63 | 0.53 |
| 연구 B | 500명 | 0.20 | 3.16 | 0.002 |
두 연구의 효과크기 점추정값은 같다.
그런데 작은 연구에서는 유의하지 않고, 큰 연구에서는 매우 유의하게 나타난다.
p값만 보면 두 연구의 결과가 완전히 다른 것처럼 보이지만, 관찰된 표준화 평균 차이는 동일하다.
통계적으로 유의하다는 말은 효과가 크다는 뜻이 아니다
고객 100만 명의 자료를 분석했다고 하자.
새 웹페이지를 이용한 고객의 평균 구매금액이 기존 페이지 고객보다 100원 높았고 p값은 0.001이었다.
통계적으로는 유의한 차이다.
그러나 페이지를 변경하는 데 수억 원이 필요하고 고객당 구매금액 증가가 100원에 불과하다면 실무적으로 매력적인 개선이 아닐 수 있다.
반대로 희귀질환 임상시험에서 치료군의 생존기간이 평균 6개월 증가했지만 대상자가 15명뿐이어서 p값이 0.09로 나타났다고 하자.
통계적으로 유의하지 않더라도 생존기간 6개월 증가는 환자에게 매우 중요한 효과일 수 있다.
두 사례가 보여주는 차이는 다음과 같다.
| 판단 | 질문 |
|---|---|
| 통계적 유의성 | 자료가 효과 0이라는 가설과 얼마나 양립하기 어려운가? |
| 효과크기 | 차이나 관계가 어느 정도 규모인가? |
| 추정의 정밀도 | 효과의 가능한 범위가 얼마나 좁은가? |
| 실무적 중요성 | 비용·위험·정책을 고려할 때 중요한가? |
통계적 유의성은 실무적 중요성과 동일하지 않다(Sullivan & Feinn, 2012; Wasserstein et al., 2019).
효과크기는 무엇인가
효과크기는 연구질문과 관련된 현상의 크기를 정량적으로 나타내는 값이다(Kelley & Preacher, 2012).
효과크기는 반드시 단위가 없는 표준화 지표일 필요는 없다.
다음 값들은 모두 효과크기가 될 수 있다.
- 두 집단의 평균 차이 5점
- 혈압 감소량 8mmHg
- 고객 이탈률 감소 4%포인트
- 매출 증가액 3만 원
- 회귀계수 2.5
- 상관계수 0.35
- Cohen의 d 0.50
- Hedges의 g 0.47
- 위험비 0.72
- 오즈비 1.60
- 에타제곱 0.09
- 결정계수 0.18
효과크기는 크게 두 종류로 나눌 수 있다.
| 구분 | 특징 | 사례 |
|---|---|---|
| 비표준화 효과크기 | 결과변수의 원래 단위를 유지 | 평균 차이, 위험차이, 회귀계수 |
| 표준화 효과크기 | 변동성 등을 기준으로 단위를 제거 | Cohen의 d, Hedges의 g, 상관계수 |
두 유형은 경쟁관계가 아니다.
원래 단위의 효과는 실무적 의미를 이해하기 쉽고, 표준화 효과는 척도가 다른 연구를 비교할 때 유용하다(Baguley, 2009).
원래 단위의 효과를 먼저 봐야 한다
두 교육방법의 평균 시험 점수가 각각 78점과 84점이라고 하자.
평균 차이는 다음과 같다.
\[
84-78=6
\]
효과크기는 6점이다.
광고캠페인 후 고객당 구매금액이 4만 원에서 4만 5천 원으로 증가했다면 효과는 5천 원이다.
치료 후 수축기혈압이 평균 8mmHg 감소했다면 효과는 -8mmHg다.
원래 단위의 효과는 해당 분야의 실무자가 직접 해석할 수 있다.
- 시험 점수 6점이 교육적으로 중요한가?
- 혈압 8mmHg 감소가 임상적으로 중요한가?
- 구매금액 5천 원 증가가 캠페인 비용을 상쇄하는가?
- 이탈률 2%포인트 감소가 유지비용보다 가치가 큰가?
표준화 효과크기만 제시하면 이런 질문에 바로 답하기 어렵다.
따라서 분석결과는 가능하면 원래 단위의 효과를 먼저 제시하고, 필요한 경우 표준화 효과를 함께 보고하는 것이 좋다.
Cohen의 d는 무엇을 의미하는가
서로 독립된 두 집단의 평균 차이를 표준화하는 대표적인 효과크기가 Cohen의 d다.
\[
d=
\frac{
\bar{X}_1-\bar{X}_2
}{
s_p
}
\]
여기서 \(s_p\)는 두 집단의 통합표준편차다.
\[
s_p=
\sqrt{
\frac{
(n_1-1)s_1^2+
(n_2-1)s_2^2
}{
n_1+n_2-2
}
}
\]
첫 번째 집단의 평균이 70점, 두 번째 집단의 평균이 75점이고 통합표준편차가 10점이라고 하자.
\[
d=
\frac{75-70}{10}=0.50
\]
평균 차이는 5점이며, 표준화하면 통합표준편차의 절반에 해당한다.
Cohen의 d는 평균 차이가 표준편차에 비해 얼마나 큰지를 보여준다.
하지만 d가 0.50이라는 사실만으로 효과가 실무적으로 중요하다고 단정할 수는 없다.
같은 평균 차이도 표준편차에 따라 d가 달라진다
두 연구의 평균 차이가 모두 5점이라고 하자.
첫 번째 연구의 통합표준편차는 10점이다.
\[
d=\frac{5}{10}=0.50
\]
두 번째 연구의 통합표준편차는 20점이다.
\[
d=\frac{5}{20}=0.25
\]
| 연구 | 평균 차이 | 통합표준편차 | Cohen의 d |
|---|---|---|---|
| 연구 A | 5점 | 10점 | 0.50 |
| 연구 B | 5점 | 20점 | 0.25 |
원래 단위의 평균 차이는 같지만 자료의 변동성이 다르기 때문에 표준화 효과는 달라졌다.
이는 Cohen의 d가 다음 요소의 영향을 받을 수 있다는 뜻이다.
- 표본의 동질성
- 측정도구의 신뢰도
- 점수범위 제한
- 모집단의 다양성
- 포함·제외 기준
- 결과변수의 척도
매우 동질적인 집단에서는 표준편차가 작아 d가 크게 나타날 수 있다. 다양한 모집단에서는 같은 평균 차이도 d가 작아질 수 있다.
표준화 효과크기가 완전히 보편적인 효과의 크기는 아니다. 원래 단위의 평균 차이와 집단별 표준편차를 함께 제시해야 한다(Baguley, 2009).
Hedges의 g는 작은 표본의 편향을 보정한다
Cohen의 d는 표본이 작을 때 모집단의 표준화 평균 차이를 다소 크게 추정할 수 있다.
Hedges의 g는 d에 보정계수 (J)를 곱한다.
\[
g=Jd
\]
근사적인 보정계수는 다음과 같다.
\[
J\approx1-\frac{3}{4df-1}
\]
독립된 두 집단의 통합분산을 사용하는 경우 자유도는 다음과 같다.
\[
df=n_1+n_2-2
\]
표본이 커지면 \(J\)는 1에 가까워지므로 Cohen의 d와 Hedges의 g도 비슷해진다.
표본이 작거나 여러 연구의 표준화 평균 차이를 통합하는 메타분석에서는 Hedges의 g가 자주 사용된다(Lakens, 2013).
대응표본에서는 어떤 d를 사용했는지 밝혀야 한다
같은 사람의 치료 전후 점수를 비교하는 대응표본 연구에서는 여러 표준화 효과크기가 가능하다.
차이점수를 다음과 같이 정의하자.
\[
D_i=X_{i,\mathrm{후}}-X_{i,\mathrm{전}}
\]
차이점수의 평균을 차이점수의 표준편차로 나누면 (d_z)가 된다.
\[
d_z=
\frac{
\bar{D}
}{
s_D
}
\]
전후 표준편차의 평균적인 값을 분모로 사용하는 (d_{av})도 있다.
\[
d_{av}=
\frac{
\bar{X}{\mathrm{후}}-\bar{X}{\mathrm{전}}
}{
\sqrt{
\frac{
s_{\mathrm{전}}^2+s_{\mathrm{후}}^2
}{
2
}
}
}
\]
전후 측정값의 상관이 높으면 차이점수의 표준편차가 작아질 수 있다. 이에 따라 (d_z)가 크게 나타날 수 있다.
따라서 다음 값을 구분 없이 직접 비교해서는 안 된다.
- 독립표본 Cohen의 d
- 대응표본 \(d_z\)
- 대응표본 \(d_{av}\)
- 반복측정 설계의 표준화 변화량
반복측정 연구에서는 효과크기의 이름, 분모로 사용한 표준편차와 전후 상관관계를 함께 보고하는 것이 좋다(Lakens, 2013).
Cohen의 0.2, 0.5, 0.8 기준은 절대적인 규칙이 아니다
Cohen(1988)은 표준화 평균 차이에 대해 다음 경험적 기준을 제안했다.
| Cohen의 d | 관행적인 표현 |
|---|---|
| 0.20 | 작은 효과 |
| 0.50 | 중간 효과 |
| 0.80 | 큰 효과 |
상관계수에는 다음 기준이 자주 사용된다.
| 상관계수 | 관행적인 표현 |
|---|---|
| 0.10 | 작은 관계 |
| 0.30 | 중간 관계 |
| 0.50 | 큰 관계 |
이 기준들은 분야별 정보가 없을 때 참고할 수 있는 일반적인 규칙이지 모든 연구에 적용되는 자연법칙이 아니다.
효과의 중요성은 다음에 따라 달라진다.
- 결과의 심각성
- 개입비용
- 부작용
- 적용대상의 규모
- 효과의 지속기간
- 기존 대안의 효과
- 기초위험
- 실행 가능성
- 작은 효과의 누적 가능성
혈압 2mmHg 감소는 개인에게 작아 보일 수 있지만 수백만 명에게 적용되면 공중보건적으로 중요할 수 있다.
교육점수 0.2표준편차 향상도 비용이 거의 없고 많은 학생에게 지속적으로 적용된다면 가치가 클 수 있다.
반대로 d가 0.80이어도 결과변수의 원래 단위에서 사소하거나 측정오류로 만들어진 효과라면 실무적 의미는 제한적이다.
Funder와 Ozer(2019)는 작은 효과도 반복적으로 누적되거나 많은 사람에게 영향을 미치면 중요할 수 있다고 설명했다.
효과크기에는 신뢰구간이 필요하다
표본에서 계산한 효과크기는 모집단 효과의 추정값이다.
Cohen의 d가 0.50으로 계산되었다고 해서 모집단의 실제 효과가 정확히 0.50이라는 뜻은 아니다.
다음 두 연구를 비교해 보자.
| 연구 | 효과크기 | 95% 신뢰구간 |
|---|---|---|
| 연구 A | 0.50 | 0.10∼0.90 |
| 연구 B | 0.50 | 0.42∼0.58 |
두 연구의 점추정값은 같다.
그러나 연구 A의 신뢰구간은 작은 효과부터 큰 효과까지 넓게 포함한다. 연구 B는 효과가 0.50 주변에 비교적 정밀하게 추정되어 있다.
효과크기 점추정값만 제시하고 신뢰구간을 생략하면 다음을 알 수 없다.
- 효과가 얼마나 불확실한가?
- 효과 0을 포함하는가?
- 실무적으로 중요한 효과를 포함하는가?
- 해로운 효과도 가능한가?
- 연구결론이 얼마나 안정적인가?
효과의 크기와 추정의 정밀도는 함께 판단해야 한다(Nakagawa & Cuthill, 2007; Cumming, 2014).
신뢰구간은 중요효과의 가능성을 보여준다
효과크기와 신뢰구간을 해석할 때는 0만 확인해서는 안 된다.
연구 전에 “어느 정도의 효과가 실제로 중요할 것인가”를 정할 수 있다.
이를 최소 관심효과 또는 최소 실질적 관심효과라고 하며, 영어로는 SESOI라고 한다.
임상연구에서는 최소 임상적 중요차이 또는 MCID라는 표현도 사용한다.
고객 만족도 100점 척도에서 3점 이상의 차이를 실무적으로 중요하다고 정했다고 하자.
\[
\Delta=3
\]
통계적으로 유의하지만 중요하지 않은 경우
평균 차이가 다음과 같다고 하자.
\[
\hat{\theta}=0.4
\]
\[
95%\ CI=[0.3,\ 0.5]
\]
\[
p<.001
\]
효과는 0보다 크고 매우 정밀하게 추정되었다.
하지만 신뢰구간 전체가 최소 중요차이 3점보다 작다.
다음처럼 해석할 수 있다.
통계적으로는 0과 구분되는 차이가 나타났지만, 효과크기와 신뢰구간은 사전에 정한 실무적 중요기준에 미치지 못했다.
유의하지 않지만 중요한 효과를 배제할 수 없는 경우
다음 결과를 생각해 보자.
\[
\hat{\theta}=4
\]
\[
95%\ CI=[-1,\ 9]
\]
\[
p=.12
\]
p값은 0.05보다 크다.
그러나 신뢰구간에는 효과가 없는 경우부터 실무적으로 매우 중요한 효과까지 포함되어 있다.
이 결과를 “효과가 없다”고 해석해서는 안 된다.
다음과 같이 표현하는 것이 적절하다.
추정의 불확실성이 커서 효과가 없는 경우와 실무적으로 중요한 효과가 있는 경우를 구분하지 못했다.
유의하지 않다는 결과는 동등성의 증거가 아니다
p값이 0.05보다 크다는 것은 효과가 없다는 가설이 증명되었다는 뜻이 아니다.
효과가 없거나 무시할 수 있을 만큼 작다는 결론을 내리려면 실질적으로 무의미한 범위를 사전에 정의하고 동등성 검정을 사용할 수 있다.
최소 중요효과가 \(\Delta\)라면 동등성 범위는 다음과 같이 설정할 수 있다.
\[
-\Delta<\theta<\Delta
\]
효과의 신뢰구간이 이 범위 안에 충분히 들어가면 실무적으로 중요한 효과가 없다는 근거를 제시할 수 있다.
다음 두 결론은 다르다.
- 차이를 발견하지 못했다.
- 중요한 차이가 없다는 근거를 얻었다.
첫 번째는 전통적인 유의성 검정이 비유의한 경우다.
두 번째는 동등성 검정이나 충분히 정밀한 신뢰구간을 통해 판단해야 한다.
효과크기의 방향도 중요하다
효과크기는 절댓값만 갖는 것이 아니다.
평균 차이를 다음처럼 정의했다고 하자.
\[
\bar{X}{\mathrm{실험}}-\bar{X}{\mathrm{통제}}
\]
양수는 실험집단 평균이 높다는 뜻이고, 음수는 실험집단 평균이 낮다는 뜻이다.
그러나 결과변수의 방향도 확인해야 한다.
- 점수가 높을수록 좋은 결과인가?
- 점수가 높을수록 증상이 심한가?
- 사건이 회복인가, 부작용인가?
- 위험비가 질병위험을 나타내는가, 생존확률을 나타내는가?
- 역문항이 올바르게 처리되었는가?
같은 효과크기 -0.50도 결과의 방향에 따라 유익한 효과일 수도 있고 해로운 효과일 수도 있다.
보고서에는 다음을 명시해야 한다.
- 기준집단
- 차이의 계산방향
- 양수와 음수의 의미
- 결과점수의 방향
- 사건범주의 정의
상관계수도 효과크기다
피어슨 상관계수는 두 변수의 선형관계 방향과 크기를 나타낸다.
\[
r=
\frac{
Cov(X,Y)
}{
s_Xs_Y
}
\]
상관계수의 범위는 다음과 같다.
\[
-1\leq r\leq1
\]
예를 들어 다음과 같다고 하자.
\[
r=0.40
\]
두 변수 사이에 양의 선형관계가 있다는 뜻이다.
단순한 두 변수의 관계에서 상관계수의 제곱은 공유되는 선형 변동의 비율로 해석할 수 있다.
\[
r^2=0.40^2=0.16
\]
약 16%의 변동이 선형적으로 공유된다는 뜻이다.
그러나 상관계수도 다음 요소의 영향을 받는다.
- 표본범위 제한
- 이상치
- 비선형관계
- 집단 혼합
- 측정신뢰도
- 선택편향
상관계수 하나만 제시하지 말고 산점도와 신뢰구간을 함께 확인해야 한다.
상관관계가 크더라도 인과관계가 입증된 것은 아니다.
회귀계수는 원래 단위의 효과크기다
선형회귀모형은 다음과 같다.
\[
Y=\beta_0+\beta_1X+\varepsilon
\]
\(\beta_1\)은 X가 한 단위 증가할 때 Y의 조건부 평균이 얼마나 변하는지를 나타낸다.
광고비를 100만 원 단위, 매출을 만 원 단위로 측정했다고 하자.
\[
\hat{\beta}_1=25
\]
다른 변수를 일정하게 두었을 때 광고비가 100만 원 증가하면 평균 매출이 25만 원 증가하는 관계로 해석할 수 있다.
비표준화 회귀계수는 원래 단위를 유지하므로 실무적으로 직접적이다.
다음처럼 신뢰구간을 함께 제시하는 것이 좋다.
\[
\hat{\beta}_1=25,\qquad95%\ CI=[8,\ 42]
\]
표준화 회귀계수는 다음과 같이 계산할 수 있다.
\[
\beta^*=
\beta\frac{s_X}{s_Y}
\]
X가 1표준편차 증가할 때 Y가 몇 표준편차 변하는지를 나타낸다.
그러나 표준화 회귀계수 역시 표본의 표준편차와 설명변수 사이의 상관에 영향을 받는다. 계수가 가장 큰 변수가 반드시 가장 중요한 원인이라는 뜻은 아니다.
분산분석의 효과크기
분산분석에서는 전체 F검정이 유의하다는 사실만으로 집단 차이의 규모를 알 수 없다.
일원분산분석에서 에타제곱은 전체 변동 가운데 집단요인과 관련된 변동의 비율을 나타낸다.
\[
\eta^2=
\frac{
SS_{\mathrm{집단}}
}{
SS_{\mathrm{전체}}
}
\]
집단 간 제곱합이 120이고 전체 제곱합이 600이라면 다음과 같다.
\[
\eta^2=\frac{120}{600}=0.20
\]
표본에서 관찰된 전체 변동의 약 20%가 집단 구분과 관련되어 있다는 뜻이다.
표본 편향을 줄이려는 대안으로 오메가제곱을 사용할 수 있다.
\[
\omega^2=
\frac{
SS_{\mathrm{집단}}
-df_{\mathrm{집단}}MS_{\mathrm{오차}}
}{
SS_{\mathrm{전체}}+MS_{\mathrm{오차}}
}
\]
오메가제곱은 에타제곱보다 보수적인 값으로 나타나는 경우가 많다.
에타제곱과 부분 에타제곱은 다르다
다요인 분산분석에서는 부분 에타제곱이 자주 보고된다.
\[
\eta_p^2=
\frac{
SS_{\mathrm{효과}}
}{
SS_{\mathrm{효과}}+SS_{\mathrm{오차}}
}
\]
에타제곱과 부분 에타제곱은 분모가 다르다.
| 지표 | 분모 |
|---|---|
| 에타제곱 | 전체 제곱합 |
| 부분 에타제곱 | 해당 효과 제곱합과 관련 오차 제곱합 |
| 일반화 에타제곱 | 연구설계의 다른 변동성분을 포함해 구성 |
다요인 설계에서는 부분 에타제곱이 일반 에타제곱보다 크게 나타날 수 있다.
반복측정설계나 서로 다른 설계의 결과를 비교할 때는 일반화 에타제곱이 더 적절한 경우가 있다(Lakens, 2013).
보고서에서는 단순히 “에타제곱”이라고 쓰지 말고 다음을 구분해야 한다.
- 에타제곱
- 부분 에타제곱
- 일반화 에타제곱
- 오메가제곱
이분형 결과에서는 절대효과와 상대효과를 함께 본다
처치집단의 질병발생률이 15%이고 통제집단은 20%라고 하자.
위험차이는 다음과 같다.
\[
RD=0.15-0.20=-0.05
\]
질병위험이 5%포인트 감소했다.
위험비는 다음과 같다.
\[
RR=\frac{0.15}{0.20}=0.75
\]
처치집단의 위험은 통제집단 위험의 75%다.
상대위험감소는 다음과 같다.
\[
1-RR=0.25
\]
질병위험이 상대적으로 25% 감소했다.
오즈비는 다음과 같다.
\[
OR=
\frac{
0.15/(1-0.15)
}{
0.20/(1-0.20)
}
\approx0.71
\]
같은 자료에서도 효과크기 척도에 따라 숫자는 달라진다.
| 효과크기 | 값 | 해석 |
|---|---|---|
| 위험차이 | -0.05 | 위험이 5%포인트 감소 |
| 위험비 | 0.75 | 위험이 상대적으로 25% 감소 |
| 오즈비 | 약 0.71 | 사건 오즈가 약 29% 낮음 |
오즈비를 위험비나 확률비로 해석해서는 안 된다.
상대효과만 제시하면 효과가 크게 보일 수 있다
질병위험이 2%에서 1%로 감소했다고 하자.
\[
RR=\frac{0.01}{0.02}=0.50
\]
상대적으로 50% 감소했다.
절대위험감소는 다음과 같다.
\[
0.02-0.01=0.01
\]
절대적으로는 1%포인트 감소했다.
위험이 40%에서 20%로 감소한 경우도 위험비는 0.50이다.
| 사례 | 통제위험 | 처치위험 | 위험비 | 절대위험감소 |
|---|---|---|---|---|
| 사례 A | 2% | 1% | 0.50 | 1%포인트 |
| 사례 B | 40% | 20% | 0.50 | 20%포인트 |
상대효과는 같지만 실제 혜택의 규모는 크게 다르다.
범주형 결과에서는 상대효과와 절대효과를 함께 제시하는 것이 좋다.
치료필요수도 효과크기지만 조건이 필요하다
절대위험감소가 5%포인트라면 다음과 같다.
\[
ARR=0.05
\]
치료필요수는 다음과 같다.
\[
NNT=\frac{1}{ARR}=\frac{1}{0.05}=20
\]
평균적으로 20명을 치료하면 해당 기간에 추가로 한 명의 사건을 예방할 수 있다는 뜻이다.
그러나 NNT를 해석할 때는 다음을 함께 밝혀야 한다.
- 추적기간
- 기준위험
- 사건의 정의
- 치료와 비교조건
- 절대위험감소의 신뢰구간
- 부작용
- 인과적으로 해석할 수 있는 연구설계
“치료필요수 20명”이라는 숫자만 보고하면 어떤 기간의 어떤 결과인지 알 수 없다.
효과크기가 크다고 연구가 타당한 것은 아니다
효과크기는 현상의 규모를 보여주지만 연구의 편향을 제거하지는 않는다.
다음 문제로 인해 큰 효과가 나타날 수 있다.
- 선택편향
- 측정오류
- 교란변수
- 작은 표본의 과대추정
- 결과를 본 뒤 선택한 분석
- 출판편향
- 결측자료
- 극단값
- 잘못된 모형
- 데이터 누출
관찰연구에서 큰 오즈비나 큰 상관계수가 나타났더라도 인과관계가 입증된 것은 아니다.
효과크기와 연구의 타당성은 별도로 평가해야 한다.
효과가 얼마나 큰가와 그 효과를 얼마나 믿을 수 있는가는 서로 다른 질문이다.
효과크기는 메타분석을 가능하게 한다
두 연구가 같은 질문을 분석했다고 하자.
첫 번째 연구의 p값은 0.03이고 두 번째 연구의 p값은 0.20이다.
p값만으로 두 연구의 결과를 직접 통합하기는 어렵다.
각 연구의 효과크기와 표준오차가 있으면 메타분석에서 가중평균을 계산할 수 있다.
\[
\hat{\theta}{meta}=
\frac{
\sum{i=1}^{k}w_i\hat{\theta}i
}{
\sum{i=1}^{k}w_i
}
\]
정밀한 연구에는 일반적으로 더 큰 가중치가 부여된다.
효과크기와 불확실성이 보고되지 않으면 후속 연구자가 다른 통계량에서 효과를 다시 계산해야 하거나, 메타분석에 해당 연구를 포함하지 못할 수 있다.
효과크기 보고는 개별 연구의 해석뿐 아니라 누적과학에도 중요하다(Lakens, 2013; Maher et al., 2013).
효과크기는 후속 연구의 표본 수 계획에도 필요하다
표본 수를 계획하려면 어느 정도의 효과를 발견하거나 얼마나 정밀하게 추정할 것인지 정해야 한다.
독립표본 t검정의 표본 수는 다음 요소에 따라 달라진다.
- 목표 효과크기
- 유의수준
- 검정력
- 집단 배정비율
- 예상 탈락률
- 분석방법
효과가 작을수록 같은 검정력을 얻기 위해 더 많은 표본이 필요하다.
그러나 작은 선행연구에서 관찰된 큰 효과를 그대로 표본 수 계산에 사용하면 필요한 표본을 과소평가할 수 있다.
선행연구의 점추정값 하나보다 다음 근거를 함께 고려해야 한다.
- 메타분석 결과
- 효과크기의 신뢰구간
- 최소 중요효과
- 파일럿 연구의 불확실성
- 보수적인 효과 시나리오
- 분야의 현실적인 분산
표본 수 계획은 “이전 연구에서 유의했는가”보다 “어느 정도의 효과를 중요하게 보고 얼마나 정밀하게 추정할 것인가”에서 출발해야 한다.
분석별 효과크기 선택
모든 분석에 하나의 효과크기를 사용할 수는 없다.
| 분석 | 원래 단위의 효과 | 표준화·비율 효과 |
|---|---|---|
| 독립표본 t검정 | 평균 차이 | Cohen의 d, Hedges의 g |
| 대응표본 t검정 | 평균 변화량 | (d_z), (d_{av}) |
| 상관분석 | 기울기 또는 공분산 | 상관계수 |
| 선형회귀 | 비표준화 회귀계수 | 표준화 회귀계수, 결정계수 |
| 분산분석 | 집단별 평균 차이 | 에타제곱, 부분 에타제곱, 오메가제곱 |
| 로지스틱 회귀 | 예측확률 차이 | 오즈비 |
| 이분형 결과 | 위험차이 | 위험비, 오즈비 |
| 카이제곱검정 | 비율 차이 | Cramér의 V |
| 생존분석 | 생존확률·중앙생존시간 차이 | 위험비 |
통계 프로그램이 자동으로 출력하는 값보다 연구질문에 직접 답하는 효과크기가 무엇인지 먼저 판단해야 한다.
R로 평균 차이와 효과크기 계산하기
두 집단의 시험점수를 입력한다.
group_a <- c(
68, 72, 75, 77, 80,
74, 76, 79, 71, 78
)
group_b <- c(
72, 76, 79, 81, 84,
78, 80, 83, 75, 82
)집단별 기술통계를 계산한다.
group_summary <- data.frame(
group = c(
"A",
"B"
),
n = c(
length(group_a),
length(group_b)
),
mean = c(
mean(group_a),
mean(group_b)
),
sd = c(
sd(group_a),
sd(group_b)
)
)
group_summaryB집단에서 A집단을 뺀 평균 차이를 계산한다.
mean_difference <- (
mean(group_b) -
mean(group_a)
)
mean_differenceWelch t검정을 이용해 평균 차이와 신뢰구간을 확인한다.
t_test_result <- t.test(
group_b,
group_a,
var.equal = FALSE,
conf.level = 0.95
)
t_test_result입력한 집단 순서에 따라 평균 차이와 효과크기의 부호가 달라질 수 있다.
R로 Cohen의 d와 Hedges의 g 계산하기
통합표준편차를 계산한다.
n_a <- length(
group_a
)
n_b <- length(
group_b
)
sd_a <- sd(
group_a
)
sd_b <- sd(
group_b
)
pooled_sd <- sqrt(
(
(n_a - 1) *
sd_a^2 +
(n_b - 1) *
sd_b^2
) /
(
n_a +
n_b -
2
)
)Cohen의 d를 계산한다.
cohen_d <- (
mean(group_b) -
mean(group_a)
) /
pooled_sd
cohen_dHedges의 g를 계산한다.
degrees_of_freedom <- (
n_a +
n_b -
2
)
j_correction <- (
1 -
3 /
(
4 *
degrees_of_freedom -
1
)
)
hedges_g <- (
j_correction *
cohen_d
)
hedges_g작은 표본에서는 Hedges의 g가 Cohen의 d보다 절댓값이 조금 작게 나타날 수 있다.
R 패키지로 효과크기와 신뢰구간 계산하기
effectsize 패키지를 사용할 수 있다.
# 최초 한 번만 실행
# install.packages("effectsize")
library(
effectsize
)긴 형식의 데이터프레임을 만든다.
effect_data <- data.frame(
score = c(
group_a,
group_b
),
group = factor(
rep(
c(
"A",
"B"
),
each = 10
)
)
)Cohen의 d를 계산한다.
cohens_d(
score ~ group,
data = effect_data,
pooled_sd = TRUE,
ci = 0.95
)Hedges의 g를 계산한다.
hedges_g(
score ~ group,
data = effect_data,
pooled_sd = TRUE,
ci = 0.95
)출력된 부호가 어떤 집단에서 어떤 집단을 뺀 값인지 확인해야 한다.
R로 대응표본 효과크기 계산하기
전후 점수를 입력한다.
before <- c(
62, 68, 71, 75, 80,
66, 73, 77, 69, 74
)
after <- c(
66, 72, 74, 80, 82,
71, 75, 81, 74, 76
)차이점수를 계산한다.
difference <- (
after -
before
)
c(
mean_change = mean(
difference
),
sd_change = sd(
difference
)
)\(d_z\)를 계산한다.
d_z <- (
mean(
difference
) /
sd(
difference
)
)
d_z\(d_{av}\)를 계산한다.
average_sd <- sqrt(
(
var(before) +
var(after)
) /
2
)
d_av <- (
mean(after) -
mean(before)
) /
average_sd
d_av두 값은 서로 다른 표준편차를 사용하므로 결과가 달라질 수 있다.
R로 분산분석 효과크기 계산하기
세 집단 자료를 만든다.
anova_data <- data.frame(
score = c(
72, 75, 78, 80, 77,
81, 84, 82, 85, 83,
88, 90, 91, 87, 89
),
group = factor(
rep(
c(
"A",
"B",
"C"
),
each = 5
)
)
)일원분산분석을 실시한다.
anova_model <- aov(
score ~ group,
data = anova_data
)
summary(
anova_model
)에타제곱과 오메가제곱을 계산한다.
eta_squared(
anova_model,
partial = FALSE,
ci = 0.95
)
omega_squared(
anova_model,
partial = FALSE,
ci = 0.95
)전체 효과크기가 크더라도 어느 집단 사이에서 차이가 발생했는지는 별도의 사후비교로 확인해야 한다.
R로 위험차이와 위험비 계산하기
통제집단 1,000명 중 200명, 처치집단 1,000명 중 150명에게 사건이 발생했다고 하자.
control_events <- 200
control_total <- 1000
treatment_events <- 150
treatment_total <- 1000사건위험을 계산한다.
control_risk <- (
control_events /
control_total
)
treatment_risk <- (
treatment_events /
treatment_total
)위험차이와 위험비를 계산한다.
risk_difference <- (
treatment_risk -
control_risk
)
risk_ratio <- (
treatment_risk /
control_risk
)
c(
control_risk =
control_risk,
treatment_risk =
treatment_risk,
risk_difference =
risk_difference,
risk_ratio =
risk_ratio
)오즈비를 계산한다.
control_odds <- (
control_risk /
(
1 -
control_risk
)
)
treatment_odds <- (
treatment_risk /
(
1 -
treatment_risk
)
)
odds_ratio <- (
treatment_odds /
control_odds
)
odds_ratio치료필요수를 계산한다.
absolute_risk_reduction <- (
control_risk -
treatment_risk
)
number_needed_to_treat <- (
1 /
absolute_risk_reduction
)
number_needed_to_treat위험차이, 위험비와 오즈비는 같은 자료를 서로 다른 척도로 표현한다.
결과는 어떻게 보고해야 할까
다음 보고는 충분하지 않다.
두 집단 사이에 통계적으로 유의한 차이가 있었다, p < .05.
차이의 방향, 크기와 정밀도를 알 수 없기 때문이다.
보다 좋은 보고는 다음과 같다.
프로그램 집단의 평균 시험 점수는 82.4점이었고 통제집단은 77.1점이었다. 평균 차이는 5.3점이었으며 95% 신뢰구간은 2.0점에서 8.6점이었다. 표준화 평균 차이는 Hedges의 g = 0.47이었고 95% 신뢰구간은 0.18에서 0.76이었다. 평균 차이는 사전에 정의한 최소 중요차이 3점을 초과하였다.
통계적으로 유의하지만 실무적 중요성이 낮다면 다음처럼 쓸 수 있다.
평균 차이는 0.42점으로 통계적으로 유의했지만, 95% 신뢰구간은 0.31점에서 0.53점이었고 사전에 정한 최소 중요차이 3점에는 미치지 못했다.
유의하지 않고 추정이 불확실하다면 다음처럼 쓸 수 있다.
평균 차이는 4.0점이었으나 95% 신뢰구간은 -1.2점에서 9.2점으로 넓었다. 현재 자료는 효과가 없는 경우와 실무적으로 중요한 효과가 있는 경우를 구분하기에 충분하지 않았다.
이분형 결과는 다음처럼 보고할 수 있다.
통제집단의 사건발생률은 20%, 처치집단은 15%였다. 절대위험은 5%포인트 감소했고 위험비는 0.75였다. 해당 추적기간의 치료필요수는 20명이었다. 각 효과크기의 95% 신뢰구간을 함께 제시하였다.
효과크기를 보고할 때 필요한 정보
효과크기 숫자 하나만 추가한다고 결과보고가 자동으로 충분해지는 것은 아니다.
다음 정보를 함께 제시하는 것이 좋다.
- 효과크기의 종류
- 효과의 계산방향
- 기준집단
- 원래 단위의 효과
- 표준화 효과크기
- 95% 신뢰구간
- 집단별 표본 수
- 집단별 평균과 표준편차
- 실무적 중요기준
- 대응자료의 표준화 방법
- 범주형 결과의 기준위험
- 분석모형과 조정변수
- 결측자료 처리방법
- 이상치와 민감도 분석
- 연구설계가 허용하는 인과해석의 범위
효과크기 해석에서 자주 발생하는 오류
p값이 작으면 효과도 크다고 생각한다
표본이 매우 크면 작은 효과도 유의해질 수 있다.
p값이 0.05보다 크면 효과가 없다고 생각한다
표본이 작거나 변동성이 크면 중요한 효과도 유의하지 않을 수 있다.
효과크기 점추정값만 보고한다
신뢰구간이 없으면 추정의 불확실성을 판단하기 어렵다.
Cohen의 기준을 절대적으로 적용한다
작은 효과와 큰 효과의 의미는 연구분야와 결과의 중요성에 따라 달라진다.
표준화 효과만 보고 원래 단위의 차이를 생략한다
실무적 의미를 판단하기 어려워진다.
독립표본 d와 대응표본 d를 직접 비교한다
표준화에 사용된 분모가 다를 수 있다.
Hedges의 g와 Cohen의 d를 같은 값처럼 사용한다
작은 표본에서는 편향보정 여부에 따라 결과가 달라질 수 있다.
에타제곱과 부분 에타제곱을 구분하지 않는다
분모가 다르므로 숫자를 직접 비교하기 어렵다.
오즈비를 확률비로 해석한다
오즈비 2는 확률이 2배라는 뜻이 아니다.
상대위험만 제시한다
기준위험이 낮으면 큰 상대효과도 절대효과는 작을 수 있다.
효과크기가 크면 인과관계가 증명되었다고 생각한다
효과크기는 연구설계의 편향을 제거하지 않는다.
작은 표본의 매우 큰 효과를 그대로 믿는다
작은 연구의 효과는 불안정하고 과대추정될 가능성이 있다.
통계결과를 해석하는 순서
효과크기를 중심으로 통계결과를 해석할 때는 다음 순서가 유용하다.
첫째, 원래 단위의 효과를 확인한다.
평균 차이, 비율 차이, 위험차이와 비표준화 회귀계수를 살펴본다.
둘째, 표준화 효과크기를 확인한다.
연구 간 비교가 필요하다면 Cohen의 d, Hedges의 g, 상관계수나 에타제곱을 검토한다.
셋째, 신뢰구간을 확인한다.
효과 0, 해로운 효과와 중요한 효과가 어느 범위까지 가능한지 살펴본다.
넷째, 사전에 정한 실무적 중요기준과 비교한다.
통계적으로 유의한지보다 의사결정에 필요한 수준에 도달했는지 확인한다.
다섯째, 자료와 연구설계를 검토한다.
결측값, 측정오류, 교란변수, 이상치와 표본선정이 효과크기를 왜곡하지 않았는지 확인한다.
마지막으로 p값을 효과크기와 신뢰구간의 맥락에서 해석한다.
p값과 효과크기는 경쟁관계가 아닙니다
효과크기를 강조한다고 p값을 반드시 폐기해야 하는 것은 아니다.
각 통계량은 서로 다른 질문에 답한다.
| 통계정보 | 주로 답하는 질문 |
|---|---|
| p값 | 귀무가설과 모형 아래에서 현재 결과는 얼마나 이례적인가? |
| 효과크기 | 관찰된 차이나 관계는 얼마나 큰가? |
| 신뢰구간 | 모집단 효과의 가능한 범위와 정밀도는 어떠한가? |
| 실무적 기준 | 이 효과가 의사결정에서 중요한가? |
비전공자는 다음 다섯 문장으로 기억할 수 있다.
p값이 작다고 효과가 큰 것은 아니다.
p값이 크다고 중요한 효과가 없다고 단정할 수 없다.
효과크기는 차이나 관계의 방향과 규모를 보여준다.
효과크기는 신뢰구간과 함께 제시해야 한다.
원래 단위의 효과와 실무적 중요성을 먼저 해석해야 한다.
p값만 있는 통계결과는 방향과 규모가 빠진 결과다.
효과크기를 함께 제시하면 통계적으로 유의하지만 실무적으로 매우 작은 효과와, 유의하지 않지만 중요한 효과를 배제할 수 없는 결과를 구분할 수 있다.
또한 점추정값은 크지만 신뢰구간이 지나치게 넓은 연구와, 효과는 작지만 많은 사람에게 누적되어 중요한 개입도 구분할 수 있다.
좋은 통계보고는 “유의했다” 또는 “유의하지 않았다”는 선언으로 끝나지 않는다.
얼마나 차이가 났고, 그 차이를 얼마나 확신할 수 있으며, 그 효과가 실제 의사결정에서 어떤 의미를 갖는지를 설명하는 과정이다.
효과크기와 신뢰구간을 함께 제시해야 통계 결과의 전체 모습이 비로소 보인다.
참고문헌
Baguley, T. (2009). Standardized or simple effect size: What should be reported? British Journal of Psychology, 100(3), 603–617. https://doi.org/10.1348/000712608X377117
Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Lawrence Erlbaum Associates. https://doi.org/10.4324/9780203771587
Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1), 7–29. https://doi.org/10.1177/0956797613504966
Fritz, C. O., Morris, P. E., & Richler, J. J. (2012). Effect size estimates: Current use, calculations, and interpretation. Journal of Experimental Psychology: General, 141(1), 2–18. https://doi.org/10.1037/a0024338
Funder, D. C., & Ozer, D. J. (2019). Evaluating effect size in psychological research: Sense and nonsense. Advances in Methods and Practices in Psychological Science, 2(2), 156–168. https://doi.org/10.1177/2515245919847202
Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31(4), 337–350. https://doi.org/10.1007/s10654-016-0149-3
Kelley, K., & Preacher, K. J. (2012). On effect size. Psychological Methods, 17(2), 137–152. https://doi.org/10.1037/a0028086
Lakens, D. (2013). Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4, 863. https://doi.org/10.3389/fpsyg.2013.00863
Maher, J. M., Markey, J. C., & Ebert-May, D. (2013). The other half of the story: Effect size analysis in quantitative research. CBE—Life Sciences Education, 12(3), 345–351. https://doi.org/10.1187/cbe.13-04-0082
Nakagawa, S., & Cuthill, I. C. (2007). Effect size, confidence interval and statistical significance: A practical guide for biologists. Biological Reviews, 82(4), 591–605. https://doi.org/10.1111/j.1469-185X.2007.00027.x
Sullivan, G. M., & Feinn, R. (2012). Using effect size—or why the P value is not enough. Journal of Graduate Medical Education, 4(3), 279–282. https://doi.org/10.4300/JGME-D-12-00156.1
Wasserstein, R. L., & Lazar, N. A. (2016). The ASA’s statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a world beyond “p < 0.05.” The American Statistician, 73(sup1), 1–19. https://doi.org/10.1080/00031305.2019.1583913
