모바일 앱의 버튼 색상을 바꾸는 A/B 테스트를 했다고 하자.
기존 화면을 본 사용자 100만 명 가운데 10만 명이 결제했고, 새 화면을 본 사용자 100만 명 가운데 10만 2,000명이 결제했다.
| 화면 | 사용자 수 | 결제자 수 | 전환율 |
|---|---|---|---|
| 기존 화면 | 1,000,000명 | 100,000명 | 10.0% |
| 새 화면 | 1,000,000명 | 102,000명 | 10.2% |
전환율 차이는 0.2%포인트다.
\[
10.2%-10.0%=0.2%\mathrm{p}
\]
상대적인 증가율은 2%다.
\[
\frac{0.102-0.100}{0.100}=0.02
\]
표본이 매우 크기 때문에 이 차이의 p값은 매우 작게 나올 수 있다. 관행적인 기준에 따르면 통계적으로 유의한 차이다.
그러나 0.2%포인트가 중요한 차이인지는 p값만으로 판단할 수 없다.
결제 한 건당 이익이 크고 매달 수천만 명이 앱을 이용한다면 0.2%포인트의 증가는 막대한 수익으로 이어질 수 있다. 반대로 화면을 변경하는 비용과 부작용이 더 크다면 통계적으로 유의하더라도 실무적으로는 중요하지 않을 수 있다.
이번에는 반대 상황을 생각해 보자.
소규모 교육실험에서 새로운 교육법을 적용한 학생 8명의 평균점수는 58점, 기존 교육법을 적용한 학생 8명의 평균점수는 50점이었다. 두 집단의 표준편차가 모두 10점이라면 표준화 평균차이는 0.8이다.
\[
d=\frac{58-50}{10}=0.8
\]
관행적인 기준으로는 큰 효과에 해당한다. 하지만 표본이 각 집단 8명에 불과하므로 신뢰구간은 매우 넓고 p값은 0.05보다 클 수 있다.
이 결과를 보고 “효과가 크다”고 확정해서도 안 되고, “유의하지 않으므로 효과가 없다”고 결론 내려서도 안 된다. 현재 표본에서 큰 효과가 관찰되었지만 추정의 불확실성이 크다고 해석해야 한다.
이 두 사례는 서로 다른 문제를 보여준다.
작은 효과도 큰 표본에서는 통계적으로 유의할 수 있다.
큰 효과추정치도 작은 표본에서는 매우 불확실할 수 있다.
차이가 존재하는지를 넘어 그 차이가 어느 정도인지 표현하는 통계적 언어가 효과크기다.
효과크기는 차이나 관계의 규모를 나타낸다
효과크기는 집단 간 차이, 변수 간 관계 또는 처치효과의 크기를 수치로 표현한 것이다.
효과크기는 하나의 특정한 통계량을 가리키는 말이 아니다. 연구질문과 자료의 형태에 따라 서로 다른 지표를 사용한다.
| 연구상황 | 대표적인 효과크기 |
|---|---|
| 두 집단 평균 비교 | 평균 차이, Cohen의 \(d\), Hedges의 \(g\) |
| 대응표본 비교 | 평균 변화량, 표준화 변화량 |
| 두 변수의 관계 | 상관계수 \(r\) |
| 회귀분석 | 비표준화·표준화 회귀계수, \(R^2\) |
| 분산분석 | \(\eta^2\), 부분 \(\eta^2\), \(\omega^2\) |
| 이항결과 | 위험차이, 상대위험도, 오즈비 |
| 생존자료 | 위험비 |
| 진단검사 | 민감도, 특이도, 우도비 |
| 메타분석 | 표준화 평균차이, 위험비, 오즈비 등 |
Kelley와 Preacher(2012)는 효과크기를 연구질문에 중요한 현상의 크기를 정량화한 값으로 설명한다. 효과크기의 의미는 사용한 측도, 연구설계와 모집단에 따라 달라진다.
따라서 “효과크기는 얼마인가?”라는 질문만으로는 충분하지 않다.
다음 질문이 함께 필요하다.
무엇의 효과크기인가?
어떤 단위로 계산했는가?
어느 모집단과 연구설계를 기준으로 하는가?
p값과 효과크기는 서로 다른 질문에 답한다
p값과 효과크기는 경쟁하는 지표가 아니다. 서로 다른 정보를 제공한다.
p값은 귀무가설과 분석모형이 맞다고 가정했을 때 관찰된 검정통계량과 같거나 더 극단적인 결과가 나타날 확률이다.
효과크기는 관찰된 차이나 관계의 규모를 나타낸다.
| 구분 | p값 | 효과크기 |
|---|---|---|
| 핵심 질문 | 결과가 귀무모형과 얼마나 양립하는가? | 차이나 관계가 어느 정도인가? |
| 주요 영향요인 | 효과, 표본크기, 변동성, 분석모형 | 관찰된 차이와 표준화 기준 |
| 결과형태 | 0에서 1 사이의 수치 | 원 단위 또는 표준화된 수치 |
| 효과 방향 | p값만으로는 알기 어려움 | 부호를 통해 확인 가능 |
| 실질적 중요성 | 직접 알려주지 않음 | 맥락과 함께 판단 가능 |
| 불확실성 | p값 하나로는 충분히 알기 어려움 | 신뢰구간을 함께 제시해야 함 |
p값을 단순히 “차이가 있는가?”에 대한 답이라고 설명하는 것도 엄밀하게는 충분하지 않다. p값은 효과의 존재확률을 알려주는 값이 아니라 설정된 귀무모형과 데이터의 불일치 정도를 보여준다(Greenland et al., 2016; Wasserstein & Lazar, 2016).
효과크기도 그 자체만으로 중요성을 판정하지 않는다. 효과크기가 현실적으로 중요한지는 비용, 위험, 기준점, 모집단 규모와 선행연구를 함께 고려해야 한다.
먼저 원래 단위의 차이를 확인해야 한다
효과크기를 이야기하면 Cohen의 \(d\)처럼 표준화된 지표부터 떠올리기 쉽다. 그러나 실제 의사결정에서는 원래 단위의 효과가 더 직접적이고 유용한 경우가 많다.
교육 프로그램 적용 후 평균점수가 5점 높아졌다면 원 단위 평균차이는 다음과 같다.
\[
\bar{x}_1-\bar{x}_2=5
\]
혈압이 평균 4mmHg 감소했다면 효과크기는 -4mmHg다.
전환율이 10%에서 12%로 증가했다면 위험차이는 2%포인트다.
\[
0.12-0.10=0.02
\]
이러한 값은 현실적인 질문에 직접 연결된다.
- 시험점수 5점이 교육적으로 중요한가?
- 혈압 4mmHg 감소가 임상적으로 중요한가?
- 전환율 2%포인트 상승이 비용을 상쇄하는가?
- 평균 대기시간 7분 감소가 환자경험을 개선하는가?
Baguley(2009)는 연구결과를 해석할 때 가능하면 원래 측정단위의 단순 효과크기를 먼저 보고하고, 표준화 효과크기는 비교와 종합이 필요한 경우에 추가하는 것이 유용하다고 설명한다.
원 단위 효과크기의 장점
원 단위 효과는 비전문가도 이해하기 쉽다.
평균 혈압이 5mmHg 감소했다.
이 문장은 다음 문장보다 임상적 의미를 직접 평가하기 쉽다.
표준화 평균차이는 0.32였다.
원 단위는 비용편익분석, 정책결정과 임상적 판단에도 바로 사용할 수 있다.
원 단위 효과크기의 한계
서로 다른 척도를 사용하는 연구끼리는 직접 비교하기 어렵다.
어떤 우울척도는 0점에서 60점, 다른 척도는 0점에서 27점까지 측정할 수 있다. 두 연구의 평균차이가 각각 5점이라고 해도 같은 크기의 효과라고 볼 수 없다.
이런 상황에서는 표준화된 효과크기가 도움이 된다.
Cohen의 d는 평균차이를 표준편차 단위로 표현한다
독립된 두 집단의 평균을 비교할 때 가장 널리 사용되는 표준화 효과크기 가운데 하나가 Cohen의 \(d\)다.
\[
d=\frac{\bar{x}_1-\bar{x}_2}{s_p}
\]
여기서 \(s_p\)는 두 집단의 통합표준편차다.
통합표준편차는 두 표준편차를 단순히 평균한 값이 아니다. 각 집단의 자유도를 반영한 통합분산의 제곱근이다.
\[
s_p=\sqrt{\frac{(n_1-1)s_1^2+(n_2-1)s_2^2}{n_1+n_2-2}}
\]
각 기호의 의미는 다음과 같다.
- \(\bar{x}_1,\bar{x}_2\): 두 집단의 표본평균
- \(s_1,s_2\): 두 집단의 표본표준편차
- \(n_1,n_2\): 두 집단의 표본크기
- \(s_p\): 통합표준편차
- \(d\): 표준화 평균차이
Cohen의 d 해석
Cohen의 \(d=0.5\)라면 두 집단의 평균이 통합표준편차의 절반만큼 차이 난다는 뜻이다.
\[
d=0.5
\]
방향을 일관되게 정의했다면 양수는 첫 번째 집단의 평균이 높고, 음수는 첫 번째 집단의 평균이 낮다는 뜻이다.
예를 들어 신교육집단의 평균점수가 75점, 기존집단의 평균점수가 70점이고 통합표준편차가 10점이라면 다음과 같다.
\[
d=\frac{75-70}{10}=0.5
\]
신교육집단의 평균점수가 기존집단보다 통합표준편차의 0.5배 높다는 의미다.
Cohen의 d는 비율이 아니다
\(d=0.5\)를 다음과 같이 해석해서는 안 된다.
- 교육효과가 50% 증가했다.
- 신교육을 받은 학생의 50%가 향상되었다.
- 두 집단이 50% 다르다.
- 성공확률이 50% 높아졌다.
Cohen의 (d)는 표준편차 단위의 평균차이다. 백분율이나 확률이 아니다.
0.2·0.5·0.8은 절대적인 기준이 아니다
Cohen(1988)은 표준화 평균차이에 대해 다음과 같은 관행적 기준을 제시했다.
| Cohen의 (d) | 흔히 사용되는 표현 |
|---|---|
| 약 0.2 | 작은 효과 |
| 약 0.5 | 중간 효과 |
| 약 0.8 | 큰 효과 |
그러나 Cohen 자신도 분야에 관한 더 나은 정보가 없을 때 참고할 수 있는 일반적인 기준으로 제시했다. 자연법칙이나 보편적인 판정기준은 아니다.
같은 (d=0.2)라도 연구맥락에 따라 의미가 달라질 수 있다.
작은 효과가 중요할 수 있는 경우
심각한 질병의 발생위험을 조금 낮추는 치료가 수백만 명에게 적용된다면 작은 표준화 효과도 큰 공중보건 효과를 만들 수 있다.
안전장치가 사고율을 아주 조금 낮추더라도 비용이 낮고 적용대상이 많다면 중요할 수 있다.
큰 효과가 중요하지 않을 수 있는 경우
일상적으로 거의 사용하지 않는 기능의 만족도가 크게 높아졌더라도 기업성과와 연결되지 않을 수 있다.
중요하지 않은 대리변수에서 큰 효과가 나타나도 실제 건강이나 삶의 질이 개선되지 않을 수 있다.
분야별 분포가 다르다
교육, 임상, 마케팅, 사회과학과 공학에서는 일반적으로 관찰되는 효과의 범위가 다르다.
한 분야에서 \(d=0.3\)이 매우 의미 있는 효과일 수 있지만 다른 분야에서는 작은 효과일 수 있다.
Lakens(2013)는 효과크기의 관행적 기준을 기계적으로 적용하지 말고 이론, 선행연구와 실질적인 판단기준을 함께 사용해야 한다고 강조한다.
같은 평균차이도 표준편차에 따라 d가 달라진다
두 연구에서 교육 프로그램이 시험점수를 모두 5점 높였다고 하자.
A 연구의 표준편차가 5점이면 다음과 같다.
\[
d=\frac{5}{5}=1
\]
B 연구의 표준편차가 20점이면 다음과 같다.
\[
d=\frac{5}{20}=0.25
\]
두 연구의 원 단위 효과는 모두 5점이지만 표준화 효과는 크게 다르다.
이는 표준화 효과크기가 처치효과의 크기뿐 아니라 연구대상의 이질성과 측정오차에도 영향을 받는다는 뜻이다.
표준편차가 큰 이유는 다음과 같이 다양할 수 있다.
- 대상자들의 실제 개인차가 크다.
- 측정도구의 신뢰도가 낮다.
- 서로 다른 하위집단이 섞여 있다.
- 연구대상의 범위가 넓다.
- 측정환경이 일정하지 않다.
- 극단값이 존재한다.
따라서 \(d\)가 작아졌다고 해서 원래 효과가 반드시 작아진 것은 아니다. 분모인 표준편차가 커졌을 수도 있다.
표준화 효과크기는 단위 없는 객관적인 진실이 아니라 특정 모집단과 측정환경에 의존하는 통계량이다.
작은 표본에서는 Hedges의 g를 고려한다
표본에서 계산한 Cohen의 \(d\)는 표본크기가 작을 때 모집단의 표준화 평균차이를 다소 크게 추정하는 경향이 있다.
Hedges의 \(g\)는 이 편향을 줄이기 위해 보정계수 \(J\)를 곱한다(Hedges, 1981).
\[
g=Jd
\]
독립된 두 집단에서는 다음 근사식을 사용할 수 있다.
\[
J\approx1-\frac{3}{4(n_1+n_2)-9}
\]
표본크기가 작으면 \(J\)가 1보다 작아 \(g\)는 \(d\)보다 약간 작아진다.
표본크기가 커지면 \(J\)는 1에 가까워지므로 두 값의 차이는 작아진다.
메타분석에서는 연구별 표본크기가 다르고 작은 연구가 포함될 수 있으므로 Cohen의 \(d\)보다 Hedges의 \(g\)를 자주 사용한다.
Hedges의 g도 불확실성을 가진다
편향을 보정했다고 해서 정확한 모집단 효과를 알게 되는 것은 아니다.
작은 표본에서 계산한 \(g\)도 표본마다 크게 달라질 수 있다. 효과크기와 함께 표준오차 또는 신뢰구간을 보고해야 한다.
Fritz 등(2012)은 효과크기를 점추정치만으로 보고하면 추정의 불확실성을 놓칠 수 있으므로 신뢰구간을 함께 제시해야 한다고 강조한다.
집단분산이 크게 다르면 어떤 표준편차를 사용할까
Cohen의 \(d\)는 두 집단의 표준편차를 통합한다. 그러나 처치가 평균뿐 아니라 변동성에도 영향을 줄 수 있다.
예를 들어 치료가 환자의 평균증상은 낮추지만 일부 환자에게만 강하게 작용해 치료집단의 분산을 크게 증가시킬 수 있다.
이 경우 통합표준편차를 사용하는 것이 연구목적에 맞는지 검토해야 한다.
Glass의 델타
대조집단의 표준편차를 기준으로 효과를 표현하고 싶다면 Glass의 델타를 사용할 수 있다.
\[
\Delta=\frac{\bar{x}_1-\bar{x}_0}{s_0}
\]
여기서 \(s_0\)는 대조집단의 표준편차다.
처치가 결과변수의 분산에도 영향을 줄 것으로 예상되거나 대조집단의 변동성이 자연적인 기준으로 해석될 때 사용할 수 있다.
그러나 대조집단의 표본이 작으면 \(s_0\) 자체가 불안정할 수 있다.
효과크기 측도는 계산하기 편한 공식을 선택하는 문제가 아니다. 어떤 표준편차가 연구질문에 가장 적절한 기준인지를 결정하는 문제다.
대응표본의 효과크기는 독립표본과 다르다
동일한 환자의 치료 전후 혈압을 비교하는 자료는 독립된 두 집단이 아니다.
개인 \(i\)의 변화량은 다음과 같다.
\[
D_i=Y_{i,\mathrm{후}}-Y_{i,\mathrm{전}}
\]
변화량 평균은 다음과 같다.
\[
\bar{D}=\frac{\sum_{i=1}^{n}D_i}{n}
\]
대응표본의 표준화 효과크기 가운데 하나는 변화량 평균을 변화량의 표준편차로 나누는 방식이다.
\[
d_z=\frac{\bar{D}}{s_D}
\]
여기서 \(s_D\)는 개인별 변화량의 표준편차다.
하지만 대응설계의 효과크기에는 여러 정의가 있다.
- 변화량 표준편차를 사용하는 방식
- 사전점수 표준편차를 사용하는 방식
- 사전·사후 표준편차를 통합하는 방식
- 사전·사후 상관을 반영하는 방식
이 값들은 수치가 서로 다를 수 있다.
따라서 보고서에 “Cohen의 \(d\)를 계산했다”고만 쓰면 불충분하다. 어떤 분모를 사용했는지 밝혀야 한다.
Morris와 DeShon(2002)은 독립집단과 반복측정 설계의 표준화 평균차이가 서로 다른 표본분산 구조를 가지므로 메타분석과 연구 간 비교에서 계산방식을 명확하게 구분해야 한다고 설명한다.
상관계수도 효과크기다
두 연속변수 사이의 선형관계를 나타내는 피어슨 상관계수 (r)도 효과크기다.
\[
-1\leq r\leq1
\]
상관계수의 부호는 관계의 방향을 나타낸다.
- \(r>0\): 한 변수가 커질수록 다른 변수도 커지는 경향
- \(r<0\): 한 변수가 커질수록 다른 변수는 작아지는 경향
- \(r\approx0\): 선형관계가 약함
절댓값은 선형관계의 강도를 나타낸다.
Cohen의 관행적 기준에서는 다음 값이 자주 제시된다.
| 상관계수 절댓값 | 흔히 사용되는 표현 |
|---|---|
| 약 0.1 | 작은 관계 |
| 약 0.3 | 중간 관계 |
| 약 0.5 | 큰 관계 |
이 기준 역시 보편적이지 않다.
예측이 어려운 사회현상에서는 \(r=0.2\)도 유용할 수 있다. 측정이 매우 정밀한 물리학적 관계에서는 \(r=0.5\)가 약한 관계로 평가될 수 있다.
r²의 의미
단순선형회귀에서 절편을 포함하고 피어슨 상관을 사용하는 경우 다음 관계가 성립한다.
\[
R^2=r^2
\]
상관계수가 0.3이라면 다음과 같다.
\[
r^2=0.09
\]
두 변수의 선형관계가 결과변수 변동의 약 9%와 관련된다는 의미로 해석할 수 있다.
그러나 다음처럼 말해서는 안 된다.
X가 Y의 9%를 원인으로 설명한다.
상관계수와 \(R^2\)는 인과관계를 보장하지 않는다. 교란, 역인과와 측정오차가 존재할 수 있다.
또한 \(r=0\)이라고 관계가 전혀 없는 것은 아니다. U자형처럼 강한 비선형관계에서는 피어슨 상관이 0에 가까울 수 있다.
회귀계수는 원 단위와 표준화 단위가 다르다
선형회귀모형은 다음과 같이 표현할 수 있다.
\[
Y_i=\beta_0+\beta_1X_i+\epsilon_i
\]
비표준화 회귀계수 \(\beta_1\)은 \(X\)가 한 단위 증가할 때 \(Y\)가 평균적으로 얼마나 변하는지를 나타낸다.
예를 들어 월 광고비를 만 원 단위로 측정하고 매출을 만 원 단위로 측정했다면 다음처럼 해석할 수 있다.
광고비가 1만 원 증가할 때 매출은 다른 변수를 일정하게 유지한 상태에서 평균 2.4만 원 증가했다.
변수들을 표준화하면 표준화 회귀계수를 계산할 수 있다.
광고비가 1표준편차 증가할 때 매출은 0.35표준편차 증가했다.
표준화 계수는 단위가 다른 예측변수를 비교할 때 편리할 수 있다.
그러나 표준화 회귀계수의 절댓값을 변수의 중요도나 인과적 영향력이라고 단정해서는 안 된다.
계수는 다음 요소의 영향을 받는다.
- 변수 간 상관관계
- 측정신뢰도
- 표본범위
- 공변량 구성
- 상호작용
- 비선형성
- 교란구조
- 표준화에 사용한 모집단
변수를 추가하거나 제거하면 표준화 계수의 크기와 부호가 달라질 수 있다.
R²는 모형이 설명하는 변동의 비율이다
결정계수 \(R^2\)는 회귀모형이 결과변수의 표본변동을 어느 정도 설명하는지를 나타낸다.
\[
R^2=1-\frac{SS_R}{SS_T}
\]
여기서 \(SS_R\)은 잔차제곱합이고 \(SS_T\)는 전체제곱합이다.
\(R^2=0.40\)이면 사용한 표본과 모형에서 결과변수 변동의 약 40%가 예측변수들과 선형적으로 연결되어 있다는 뜻이다.
그러나 높은 \(R^2\)가 다음을 자동으로 의미하지는 않는다.
- 인과관계가 강하다.
- 모형이 올바르다.
- 새로운 데이터에서도 예측이 정확하다.
- 중요한 변수만 포함되어 있다.
- 편향이 없다.
예측변수를 추가하면 표본 내 \(R^2\)는 일반적으로 감소하지 않는다. 따라서 모형비교에서는 수정 \(R^2\), 교차검증 성능과 외부검증을 함께 살펴봐야 한다.
분산분석의 효과크기는 서로 구분해야 한다
분산분석에서는 \(\eta^2\), 부분 \(\eta^2\)와 \(\omega^2\) 등이 사용된다.
에타제곱
에타제곱은 전체 제곱합 가운데 관심 효과가 차지하는 비율이다.
\[
\eta^2=\frac{SS_E}{SS_T}
\]
여기서 \(SS_E\)는 관심 효과의 제곱합이고 \(SS_T\)는 전체 제곱합이다.
부분 에타제곱
부분 에타제곱은 관심 효과와 해당 오차의 합을 기준으로 계산한다.
\[
\eta_p^2=\frac{SS_E}{SS_E+SS_R}
\]
여기서 \(SS_R\)은 오차제곱합이다.
부분 \(\eta^2\)는 다른 효과의 제곱합을 분모에서 제외하므로 같은 자료에서도 일반 \(\eta^2\)보다 크게 나타날 수 있다.
두 값을 같은 지표처럼 비교해서는 안 된다.
오메가제곱
\(\eta^2\)는 표본에서 모집단 효과를 다소 크게 추정할 수 있다. 일원분산분석에서는 다음과 같은 \(\omega^2\)를 사용할 수 있다.
\[
\omega^2=\frac{SS_E-df_E MS_R}{SS_T+MS_R}
\]
여기서 \(df_E\)는 효과의 자유도이고 \(MS_R\)은 오차평균제곱이다.
\(\omega^2\)는 모집단의 설명분산 비율을 덜 편향되게 추정하려는 지표다.
표본변동 때문에 \(\omega^2\) 추정치가 음수가 될 수도 있다. 이는 실제 설명분산이 음수라는 뜻이 아니라 표본에서 효과가 매우 작다는 의미로 볼 수 있다.
이항결과에서는 절대효과와 상대효과를 함께 봐야 한다
약물, 정책과 마케팅에서는 성공 여부나 질병 발생 여부처럼 이항결과를 자주 다룬다.
치료집단의 사건확률을 \(p_T\), 대조집단의 사건확률을 \(p_C\)라고 하자.
위험차이
위험차이는 두 확률의 절대적인 차이다.
\[
RD=p_T-p_C
\]
대조집단의 질병위험이 10%, 치료집단이 8%라면 다음과 같다.
\[
RD=0.08-0.10=-0.02
\]
위험이 2%포인트 감소했다.
상대위험도
상대위험도는 두 위험의 비율이다.
\[
RR=\frac{p_T}{p_C}
\]
\[
RR=\frac{0.08}{0.10}=0.8
\]
치료집단의 위험은 대조집단의 80%다. 상대적으로 20% 감소한 것이다.
오즈비
오즈비는 사건의 오즈를 비교한다.
\[
OR=\frac{p_T/(1-p_T)}{p_C/(1-p_C)}
\]
위 사례에서는 다음과 같다.
\[
OR=\frac{0.08/0.92}{0.10/0.90}\approx0.783
\]
오즈비는 상대위험도와 같지 않다.
사건이 드물면 두 값이 비슷할 수 있지만, 사건이 흔하면 크게 달라질 수 있다. 오즈비를 “발생확률이 몇 배다”라고 해석해서는 안 된다.
치료필요수
절대위험차이의 역수를 이용하면 치료필요수를 계산할 수 있다.
\[
NNT=\frac{1}{|RD|}
\]
\[
NNT=\frac{1}{0.02}=50
\]
같은 기간과 조건에서 환자 50명을 치료하면 평균적으로 한 건의 추가 질병사건을 예방하는 효과와 연결된다.
NNT는 반드시 정수로 올림해 보고하는 것이 일반적이며, 추적기간과 기본위험을 함께 밝혀야 한다.
상대위험도 20% 감소는 인상적으로 들리지만 절대위험 감소는 2%포인트다. 반대로 흔한 질병에서는 작은 상대효과도 많은 사건을 예방할 수 있다.
효과크기는 표현방식에 따라 인상이 크게 달라지므로 절대효과와 상대효과를 함께 제시하는 것이 좋다.
효과크기 추정치도 표본크기의 영향을 받는다
“p값은 표본크기의 영향을 받지만 효과크기는 표본크기와 무관하다”는 설명은 절반만 맞다.
모집단의 실제 효과크기는 연구자가 뽑은 표본크기에 따라 변하는 개념이 아니다.
그러나 표본에서 계산한 효과크기 추정치는 표본마다 달라진다. 표본이 작으면 변동이 크고 편향도 발생할 수 있다.
표본크기가 작을 때는 다음 현상이 나타날 수 있다.
- Cohen의 (d)가 크게 과대추정될 수 있다.
- 상관계수의 변동성이 커진다.
- 오즈비가 극단적으로 나타날 수 있다.
- 효과크기의 신뢰구간이 매우 넓어진다.
- 유의한 연구만 출판되면 발표된 효과가 과장된다.
Button 등(2013)은 검정력이 낮은 작은 연구에서 통계적으로 유의한 효과가 실제 효과보다 과대추정될 가능성이 높다고 설명했다.
따라서 큰 효과추정치를 발견했다고 바로 큰 실제 효과라고 판단해서는 안 된다.
효과크기에는 신뢰구간이 필요하다
효과크기 0.8이라는 숫자만 보면 큰 효과처럼 보인다.
하지만 신뢰구간이 다음과 같다면 해석이 달라진다.
\[
95%\ \mathrm{CI}=[-0.15,\ 1.70]
\]
현재 자료는 약간의 반대방향 효과부터 매우 큰 긍정적 효과까지 허용한다.
이 경우 가장 중요한 사실은 \(d=0.8\)이라는 점추정치보다 불확실성이 매우 크다는 점이다.
반대로 다음 구간은 정밀도가 높다.
\[
95%\ \mathrm{CI}=[0.72,\ 0.88]
\]
점추정치가 같더라도 두 연구가 제공하는 정보의 양은 전혀 다르다.
효과크기와 신뢰구간을 함께 보고하면 다음을 확인할 수 있다.
- 효과의 방향
- 관찰된 크기
- 추정의 정밀도
- 효과 없음과 양립하는지
- 실질적으로 중요한 효과와 양립하는지
- 해로운 효과 가능성이 남아 있는지
Cumming(2014)은 점추정치와 신뢰구간 중심의 보고가 p값에 따른 이분법적 판단보다 연구결과의 크기와 불확실성을 더 잘 보여준다고 설명한다.
통계적으로 유의한 차이와 실질적으로 중요한 차이는 다르다
통계적 유의성은 설정한 귀무가설과 분석모형 아래에서 현재 결과가 얼마나 이례적인지와 관련된다.
실질적 중요성은 그 효과가 현실에서 어떤 결과를 만드는지와 관련된다.
임상적 중요성
혈압이 평균 1mmHg 감소했고 p값이 0.001이라고 하자.
통계적으로는 유의할 수 있다. 하지만 환자의 질병위험이나 삶의 질을 의미 있게 개선하는지는 임상적 기준과 비교해야 한다.
교육적 중요성
시험점수가 평균 0.5점 증가해도 학생이 실제로 새로운 역량을 습득했는지는 알 수 없다.
시험의 측정오차와 통과기준, 학습내용을 함께 살펴야 한다.
경제적 중요성
전환율이 0.1%포인트 높아졌더라도 이용자가 수억 명이고 추가비용이 거의 없다면 경제적으로 매우 중요할 수 있다.
반대로 전환율이 2%포인트 증가했더라도 광고비가 더 크게 증가했다면 순이익은 감소할 수 있다.
정책적 중요성
정책의 평균효과가 작더라도 취약집단에서 큰 효과를 보일 수 있다. 평균효과만으로 정책의 형평성과 분배효과를 판단해서는 안 된다.
효과크기는 현실적 중요성을 평가하기 위한 재료이지 최종 판결이 아니다.
최소관심효과를 미리 정해야 한다
효과를 분석한 뒤 “이 정도면 중요해 보인다”고 판단하면 결과에 따라 기준이 달라질 수 있다.
분석 전에 실질적으로 의미 있는 최소효과를 정하는 것이 좋다.
이를 최소관심효과라고 부를 수 있다.
교육 프로그램이라면 다음처럼 정할 수 있다.
평균점수가 적어도 5점 향상되어야 프로그램 비용을 정당화할 수 있다.
임상연구에서는 최소임상중요차이를 사용할 수 있다.
광고실험에서는 다음과 같은 기준을 설정할 수 있다.
전환율이 최소 0.3%포인트 증가해야 개발비와 운영비를 상쇄할 수 있다.
최소관심효과를 \(\Delta\)라고 하면 신뢰구간을 다음과 같이 해석할 수 있다.
| 신뢰구간 위치 | 해석 |
|---|---|
| 전체가 \(\Delta\)보다 큼 | 실질적으로 중요한 효과를 지지 |
| 0보다 크지만 \(\Delta\)를 포함 | 긍정적 효과는 있으나 중요성은 불확실 |
| 0과 \(\Delta\)를 모두 포함 | 방향과 중요성 모두 불확실 |
| 전체가 \(-\Delta\)와 \(\Delta\) 사이 | 실질적으로 작은 효과와 양립 |
| 전체가 \(-\Delta\)보다 작음 | 실질적으로 해로운 효과 가능 |
Lakens 등(2018)은 등가성 검정과 최소관심효과를 이용하면 “유의하지 않음”과 “실질적으로 무시할 만큼 작음”을 구분할 수 있다고 설명한다.
평균효과는 모든 사람에게 같은 효과가 아니다
평균적으로 \(d=0.4\)의 효과가 나타났다고 해서 모든 참여자가 0.4표준편차만큼 개선된 것은 아니다.
실제 효과는 다음과 같이 다를 수 있다.
- 일부에게 매우 큰 효과가 나타난다.
- 일부에게는 효과가 없다.
- 일부에게는 부작용이 발생한다.
- 연령이나 기초수준에 따라 효과가 다르다.
- 효과가 시간이 지나며 감소한다.
- 특정 조건에서만 효과가 나타난다.
평균효과는 이러한 이질성을 하나의 숫자로 요약한다.
하위집단 분석과 상호작용을 통해 효과의 차이를 살펴볼 수 있지만, 표본이 작고 여러 하위집단을 탐색하면 거짓양성 위험이 증가한다.
하위집단 효과는 사전에 가설을 정하고 충분한 표본을 확보하며 독립자료에서 검증해야 한다.
메타분석에서 효과크기가 중요한 이유
서로 다른 연구를 종합하려면 공통된 효과크기가 필요하다.
같은 개념을 서로 다른 척도로 측정한 연구들은 표준화 평균차이로 통합할 수 있다.
예를 들어 우울증을 서로 다른 검사도구로 측정한 연구들을 Hedges의 \(g\)로 변환하면 공통 척도에서 비교할 수 있다.
그러나 표준화했다고 모든 연구가 완전히 비교 가능해지는 것은 아니다.
다음 조건을 확인해야 한다.
- 실제로 같은 개념을 측정했는가?
- 측정도구의 신뢰도가 비슷한가?
- 대조조건이 유사한가?
- 표본의 이질성이 비슷한가?
- 효과의 측정시점이 같은가?
- 표준편차 차이가 측정오차 때문은 아닌가?
표준화 효과크기의 분모는 각 연구의 표준편차다. 연구대상이 더 이질적이면 같은 원 단위 효과도 표준화 효과가 작아질 수 있다.
메타분석에서 효과크기를 통합할 때는 수치적 비교 가능성과 개념적 비교 가능성을 모두 확인해야 한다.
R로 큰 표본의 작은 차이 확인하기
앞에서 살펴본 광고 A/B 테스트를 R로 분석해 보자.
ab_data <- data.frame(
group = c("new", "old"),
conversions = c(102000, 100000),
visitors = c(1000000, 1000000)
)
ab_data$rate <-
ab_data$conversions /
ab_data$visitors
ab_data전환율의 절대차이와 상대증가율을 계산한다.
new_rate <- ab_data$rate[
ab_data$group == "new"
]
old_rate <- ab_data$rate[
ab_data$group == "old"
]
risk_difference <-
new_rate - old_rate
relative_increase <-
new_rate / old_rate - 1
c(
risk_difference =
risk_difference,
relative_increase =
relative_increase
)결과는 다음과 같다.
- 절대차이: 0.002, 즉 0.2%포인트
- 상대증가율: 0.02, 즉 2%
두 비율을 검정한다.
ab_test <- prop.test(
x = ab_data$conversions,
n = ab_data$visitors,
alternative = "two.sided",
correct = FALSE
)
ab_test표본이 매우 크기 때문에 p값은 매우 작게 나온다.
그러나 의사결정에서는 다음 정보를 함께 계산해야 한다.
- 추가 결제 건수
- 결제 한 건당 이익
- 변경비용
- 장기 유지효과
- 고객경험에 미치는 부작용
- 다른 결과변수에 대한 영향
통계적으로 유의하다는 사실만으로 화면변경을 결정해서는 안 된다.
R로 Cohen의 d 계산하기
독립된 두 집단의 Cohen의 \(d\)를 계산하는 함수를 만들 수 있다.
cohen_d_independent <- function(x1, x2) {
x1 <- x1[is.finite(x1)]
x2 <- x2[is.finite(x2)]
n1 <- length(x1)
n2 <- length(x2)
if (n1 < 2L || n2 < 2L) {
stop(
"각 집단에는 최소 2개의 값이 필요합니다."
)
}
pooled_sd <- sqrt(
(
(n1 - 1) * var(x1) +
(n2 - 1) * var(x2)
) /
(n1 + n2 - 2)
)
if (
!is.finite(pooled_sd) ||
pooled_sd == 0
) {
stop(
"통합표준편차를 계산할 수 없습니다."
)
}
(
mean(x1) -
mean(x2)
) /
pooled_sd
}가상자료에 적용해 보자.
new_method <- c(
72, 75, 78, 80, 74,
77, 79, 76, 81, 78
)
old_method <- c(
68, 70, 74, 71, 69,
73, 72, 70, 75, 71
)
cohen_d_independent(
new_method,
old_method
)함수의 부호는 첫 번째 집단 평균에서 두 번째 집단 평균을 뺀 방향을 따른다.
결과를 보고할 때는 어느 집단에서 어느 집단을 뺐는지 밝혀야 한다.
R로 Hedges의 g 계산하기
작은 표본에서 편향을 줄인 Hedges의 \(g\)를 계산할 수 있다.
hedges_g_independent <- function(
x1,
x2
) {
x1 <- x1[is.finite(x1)]
x2 <- x2[is.finite(x2)]
n1 <- length(x1)
n2 <- length(x2)
d <- cohen_d_independent(
x1,
x2
)
df <- n1 + n2 - 2
correction <- 1 -
3 / (4 * df - 1)
correction * d
}적용한다.
hedges_g_independent(
new_method,
old_method
)작은 표본에서는 Hedges의 \(g\)가 Cohen의 \(d\)보다 약간 작게 나타난다.
R로 효과크기의 부트스트랩 신뢰구간 계산하기
교육용으로 Cohen의 \(d\)에 대한 백분위수 부트스트랩 신뢰구간을 계산할 수 있다.
bootstrap_d_ci <- function(
x1,
x2,
repetitions = 5000L,
conf_level = 0.95,
seed = 2026
) {
x1 <- x1[is.finite(x1)]
x2 <- x2[is.finite(x2)]
set.seed(seed)
bootstrap_d <- replicate(
repetitions,
{
sample_x1 <- sample(
x1,
size = length(x1),
replace = TRUE
)
sample_x2 <- sample(
x2,
size = length(x2),
replace = TRUE
)
tryCatch(
cohen_d_independent(
sample_x1,
sample_x2
),
error = function(e) {
NA_real_
}
)
}
)
alpha <- 1 - conf_level
quantile(
bootstrap_d,
probs = c(
alpha / 2,
1 - alpha / 2
),
na.rm = TRUE
)
}실행한다.
bootstrap_d_ci(
new_method,
old_method
)이는 교육용 백분위수 부트스트랩이다.
실제 연구에서는 표본크기, 분포와 연구설계에 따라 비중심 t분포 기반 신뢰구간이나 다른 부트스트랩 방식을 고려할 수 있다.
군집자료나 대응자료에는 관측값을 개별적으로 재표집하는 이 코드가 적절하지 않을 수 있다.
R로 절대위험과 상대위험 계산하기
치료집단의 사건위험이 8%, 대조집단이 10%라고 하자.
risk_treatment <- 0.08
risk_control <- 0.10
risk_difference <-
risk_treatment -
risk_control
risk_ratio <-
risk_treatment /
risk_control
odds_treatment <-
risk_treatment /
(1 - risk_treatment)
odds_control <-
risk_control /
(1 - risk_control)
odds_ratio <-
odds_treatment /
odds_control
nnt <- ceiling(
1 / abs(risk_difference)
)
c(
risk_difference =
risk_difference,
risk_ratio =
risk_ratio,
odds_ratio =
odds_ratio,
nnt =
nnt
)결과는 대략 다음과 같다.
- 위험차이: -0.02
- 상대위험도: 0.80
- 오즈비: 0.783
- 치료필요수: 50
같은 효과를 서로 다른 지표로 표현하면 인상이 달라진다.
보고서에는 가능하면 절대효과와 상대효과를 함께 제시하는 것이 좋다.
R로 분산분석 효과크기 계산하기
세 가지 교육방법의 점수를 비교하는 가상자료를 만들어보자.
education_data <- data.frame(
method = rep(
c("A", "B", "C"),
each = 10
),
score = c(
68, 70, 72, 71, 69,
73, 70, 74, 71, 72,
72, 75, 76, 74, 77,
73, 78, 76, 75, 77,
78, 80, 82, 79, 81,
83, 80, 84, 82, 81
)
)분산분석을 실행한다.
anova_model <- aov(
score ~ method,
data = education_data
)
anova_table <- anova(
anova_model
)
anova_table에타제곱을 계산한다.
ss_effect <-
anova_table[
"method",
"Sum Sq"
]
ss_error <-
anova_table[
"Residuals",
"Sum Sq"
]
eta_squared <-
ss_effect /
(ss_effect + ss_error)
eta_squared오메가제곱을 계산한다.
df_effect <-
anova_table[
"method",
"Df"
]
ms_error <-
anova_table[
"Residuals",
"Mean Sq"
]
ss_total <-
ss_effect +
ss_error
omega_squared <- (
ss_effect -
df_effect * ms_error
) /
(
ss_total +
ms_error
)
omega_squared에타제곱과 오메가제곱은 같은 자료에서도 값이 다를 수 있다. 어떤 지표를 보고했는지 명확하게 밝혀야 한다.
효과크기를 보고할 때 필요한 내용
효과크기를 하나의 숫자로만 보고하면 충분하지 않다.
다음 정보를 함께 제시해야 한다.
- 원 단위의 효과는 얼마인가?
- 표준화 효과크기는 무엇인가?
- 효과의 방향은 어떻게 정의했는가?
- 표준화에 어떤 표준편차를 사용했는가?
- 독립표본인가 대응표본인가?
- 작은 표본 편향을 보정했는가?
- 효과크기의 신뢰구간은 얼마인가?
- 실질적으로 중요한 최소효과는 얼마인가?
- 분석대상의 기본위험은 얼마인가?
- 효과가 어느 시점까지 유지되는가?
- 하위집단별 효과가 다른가?
- 비용과 부작용은 무엇인가?
- p값과 다중검정 문제를 함께 고려했는가?
- 선행연구의 효과크기와 비교했는가?
- 효과크기 계산방법을 재현할 수 있는가?
다음과 같은 보고는 정보가 부족하다.
두 집단의 차이는 통계적으로 유의했다.
다음 보고가 더 유용하다.
새 교육방법 집단의 평균점수는 기존 집단보다 5.2점 높았다. Hedges의 \(g\)는 0.48이었고 95% 신뢰구간은 0.12에서 0.84였다. 평균차이는 통계적으로 유의했지만, 사전에 정한 최소중요차이 5점과 가까워 실질적 중요성에는 불확실성이 남아 있었다.
이 문장에는 다음 정보가 들어 있다.
- 원 단위 평균차이
- 표준화 효과크기
- 추정의 불확실성
- 통계적 유의성
- 실질적인 판단기준
효과크기에서 자주 발생하는 오류
p값이 작으면 효과가 크다고 생각한다
표본크기가 매우 크면 작은 효과도 매우 작은 p값을 만들 수 있다.
효과크기가 크면 실제 효과가 확실하다고 생각한다
작은 표본에서 큰 효과크기가 우연히 관찰될 수 있다. 신뢰구간과 표본크기를 함께 봐야 한다.
효과크기는 표본크기의 영향을 전혀 받지 않는다고 생각한다
모집단 효과의 정의는 표본크기와 무관하지만 표본 효과크기의 편향, 변동성과 정밀도는 표본크기의 영향을 받는다.
Cohen의 d 분모를 두 표준편차의 단순평균으로 계산한다
통합표준편차는 일반적으로 각 집단의 자유도를 반영한 통합분산으로 계산한다.
0.2·0.5·0.8을 절대적인 기준으로 사용한다
Cohen의 기준은 분야정보가 없을 때 사용하는 관행적 참고값이다. 실질적인 판단은 연구맥락과 선행연구에 기반해야 한다.
표준화 효과가 원 단위 효과보다 항상 우수하다고 생각한다
표준화 효과는 연구 간 비교에 편리하지만 원래 단위의 실제 의미를 숨길 수 있다.
오즈비를 상대위험도로 해석한다
오즈와 확률은 다르다. 사건이 흔하면 오즈비와 상대위험도의 차이가 커질 수 있다.
R²가 높으면 인과관계가 강하다고 생각한다
(R^2)는 표본 내 변동의 설명 정도를 나타낼 뿐 인과성을 보장하지 않는다.
부분 에타제곱과 에타제곱을 같은 값으로 비교한다
두 지표는 분모가 다르므로 수치와 해석이 다르다.
효과크기 하나가 모든 사람의 효과를 나타낸다고 생각한다
평균효과는 개인별·하위집단별 이질성을 숨길 수 있다.
통계적 효과크기가 곧 실질적 중요성이라고 생각한다
효과크기를 비용, 위험, 최소중요차이와 적용대상 규모에 연결해야 한다.
유의성과 중요성을 함께 판단하는 질문
효과를 해석하기 전에 다음을 확인하는 것이 좋다.
- 관찰된 차이는 원래 단위로 얼마인가?
- 그 차이는 현실적으로 이해할 수 있는가?
- 표준화 효과크기는 어떤 분모로 계산했는가?
- 효과크기의 신뢰구간은 얼마나 넓은가?
- 표본크기는 충분한가?
- 최소관심효과를 사전에 정했는가?
- 통계적 유의성과 실질적 중요성이 일치하는가?
- 효과의 비용과 부작용은 무엇인가?
- 기본위험이 달라지면 절대효과도 달라지는가?
- 효과가 모든 하위집단에서 비슷한가?
- 측정도구의 신뢰도가 충분한가?
- 효과가 시간이 지나도 유지되는가?
- 다른 연구에서도 비슷한 효과가 재현되었는가?
- 여러 효과크기 가운데 유리한 값만 보고하지 않았는가?
- 효과크기와 신뢰구간을 함께 보고했는가?
효과크기는 분석결과에 나중에 붙이는 장식이 아니다. 연구에서 어느 정도의 차이를 발견하고 싶은지 결정하는 설계의 출발점이다.
중요한 차이는 숫자 하나로 결정되지 않습니다
p값은 관찰된 결과가 귀무가설 및 분석모형과 얼마나 양립하는지를 평가한다.
효과크기는 차이나 관계가 어느 정도인지를 표현한다.
신뢰구간은 그 효과크기를 얼마나 정밀하게 추정했는지를 보여준다.
실질적인 판단기준은 그 효과가 현실에서 중요한지를 결정한다.
비전공자는 다음 네 문장으로 기억할 수 있다.
p값이 작다고 효과가 큰 것은 아니다.
효과크기가 크다고 실제 효과가 확실한 것도 아니다.
효과크기는 신뢰구간과 함께 해석해야 한다.
통계적으로 유의한 차이와 현실적으로 중요한 차이는 다르다.
평균 혈압이 2mmHg 낮아졌다는 결과가 중요한지는 환자의 질병위험, 치료비용과 부작용에 따라 달라진다.
전환율이 0.2%포인트 높아졌다는 결과가 중요한지는 사용자 수, 매출과 시스템 변경비용에 따라 달라진다.
시험점수가 5점 향상되었다는 결과가 중요한지는 시험의 척도, 측정오차와 교육목표에 따라 달라진다.
효과크기는 이러한 판단을 시작할 수 있게 해주는 숫자다. 그러나 현실적 중요성을 자동으로 결정해 주는 숫자는 아니다.
좋은 통계보고는 “차이가 유의했다”에서 멈추지 않는다.
얼마나 차이가 났는지, 어느 정도 불확실한지, 어떤 기준에서 중요한지, 누구에게 효과가 나타났는지를 함께 설명한다.
통계가 숫자를 계산하는 일이라면, 연구는 그 숫자가 현실에서 무엇을 의미하는지 판단하는 일이다.
참고문헌
Baguley, T. (2009). Standardized or simple effect size: What should be reported? British Journal of Psychology, 100(3), 603–617. https://doi.org/10.1348/000712608X377117
Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., & Munafò, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365–376. https://doi.org/10.1038/nrn3475
Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Lawrence Erlbaum Associates. https://doi.org/10.4324/9780203771587
Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1), 7–29. https://doi.org/10.1177/0956797613504966
Fritz, C. O., Morris, P. E., & Richler, J. J. (2012). Effect size estimates: Current use, calculations, and interpretation. Journal of Experimental Psychology: General, 141(1), 2–18. https://doi.org/10.1037/a0024338
Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31, 337–350. https://doi.org/10.1007/s10654-016-0149-3
Hedges, L. V. (1981). Distribution theory for Glass’s estimator of effect size and related estimators. Journal of Educational Statistics, 6(2), 107–128. https://doi.org/10.3102/10769986006002107
Kelley, K., & Preacher, K. J. (2012). On effect size. Psychological Methods, 17(2), 137–152. https://doi.org/10.1037/a0028086
Lakens, D. (2013). Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4, 863. https://doi.org/10.3389/fpsyg.2013.00863
Lakens, D., Scheel, A. M., & Isager, P. M. (2018). Equivalence testing for psychological research: A tutorial. Advances in Methods and Practices in Psychological Science, 1(2), 259–269. https://doi.org/10.1177/2515245918770963
McGraw, K. O., & Wong, S. P. (1992). A common language effect size statistic. Psychological Bulletin, 111(2), 361–365. https://doi.org/10.1037/0033-2909.111.2.361
Morris, S. B., & DeShon, R. P. (2002). Combining effect size estimates in meta-analysis with repeated measures and independent-groups designs. Psychological Methods, 7(1), 105–125. https://doi.org/10.1037/1082-989X.7.1.105
Nakagawa, S., & Cuthill, I. C. (2007). Effect size, confidence interval and statistical significance: A practical guide for biologists. Biological Reviews, 82(4), 591–605. https://doi.org/10.1111/j.1469-185X.2007.00027.x
Sullivan, G. M., & Feinn, R. (2012). Using effect size—or why the P value is not enough. Journal of Graduate Medical Education, 4(3), 279–282. https://doi.org/10.4300/JGME-D-12-00156.1
Vacha-Haase, T., & Thompson, B. (2004). How to estimate and interpret various effect sizes. Journal of Counseling Psychology, 51(4), 473–481. https://doi.org/10.1037/0022-0167.51.4.473
Wasserstein, R. L., & Lazar, N. A. (2016). The ASA’s statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
태그
#효과크기 #통계적유의성 #실질적유의성 #Cohen의d #Hedges의g #평균차이 #신뢰구간 #p값 #상관계수 #상대위험도 #오즈비 #분산분석 #R통계 #통계기초 #데이터분석
