통계분석 결과에서 가장 자주 확인하는 숫자 가운데 하나가 p값이다.
두 집단을 비교한 결과가 다음과 같다고 하자.
실험군의 평균 점수는 82.4점, 대조군은 78.1점이었으며 p = .03이었다.
많은 사람은 이 결과를 다음처럼 해석한다.
- 실험 효과가 있을 확률은 97%다.
- 두 집단이 같을 확률은 3%다.
- 결과가 우연일 확률은 3%다.
- 같은 연구를 반복하면 97%의 확률로 다시 유의할 것이다.
그러나 이러한 해석은 모두 정확하지 않다.
p값은 연구가설이 참일 확률도 아니고, 현재 결과가 우연 때문에 발생했을 확률도 아니다. 효과의 크기나 연구결과의 재현 가능성을 직접 나타내는 값도 아니다(Goodman, 2008; Greenland et al., 2016).
p값이 0.05보다 작다는 것은 다음과 같은 조건부 의미를 가진다.
귀무가설과 통계모형의 가정들이 모두 성립한다고 가정할 때, 현재 관찰된 결과와 같거나 그보다 더 극단적인 결과가 나타날 확률이 5%보다 작다.
여기에는 중요한 조건이 붙어 있다.
- 귀무가설이 참이라고 가정한다.
- 사용한 통계모형이 적절하다고 가정한다.
- 자료의 독립성, 표본추출과 분석방법에 관한 가정이 충족된다고 본다.
- 분석계획이 결과를 본 뒤 임의로 변경되지 않았다고 본다.
따라서 p < .05는 “효과가 입증되었다”는 최종 판정이 아니라, 특정 통계모형 아래에서 관찰된 자료가 귀무가설과 어느 정도 양립하기 어려운지를 보여주는 하나의 지표다(Wasserstein & Lazar, 2016).
p값의 수학적 의미
두 집단의 모집단 평균이 같다는 귀무가설을 검정한다고 하자.
\[
H_{0}:\mu_{1}-\mu_{2}=0
\]
실제 분석에서 관찰된 검정통계량을 \(t_{\mathrm{obs}}\)라고 하면, 전형적인 양측검정의 p값은 다음과 같이 표현할 수 있다.
\[
p=\Pr\left(|T|\geq|t_{\mathrm{obs}}|\mid H_{0},A\right)
\]
여기서 \(A\)는 통계검정에 필요한 가정들을 나타낸다.
이 식은 다음 순서로 읽어야 한다.
- 귀무가설이 참이라고 가정한다.
- 통계모형의 가정이 충족된다고 본다.
- 현재 관찰된 검정통계량과 같거나 더 극단적인 값이 나올 확률을 계산한다.
예를 들어 p = .03이라면 다음처럼 설명할 수 있다.
두 집단의 모집단 평균이 실제로 같고 분석모형의 가정이 충족된 상황에서 같은 연구를 반복한다면, 현재 결과와 같거나 더 극단적인 검정통계량이 나타날 비율은 약 3%다.
이 문장은 귀무가설이 참일 확률을 말하지 않는다.
p값에서 조건으로 놓인 것은 귀무가설이다.
\[
\Pr(\text{자료}\mid H_{0})
\]
연구자가 흔히 알고 싶어 하는 값은 그 반대 방향이다.
\[
\Pr(H_{0}\mid\text{자료})
\]
두 확률은 서로 같지 않다. 첫 번째 값으로 두 번째 값을 바로 계산하려면 귀무가설의 사전확률과 대립가설에서 자료가 나타날 가능성 등에 관한 추가 정보가 필요하다.
p값 0.03이 의미하지 않는 것
귀무가설이 참일 확률이 3%라는 뜻이 아니다
p값은 귀무가설이 참이라고 가정한 뒤 계산된다.
따라서 다음 문장은 잘못된 해석이다.
p = .03이므로 두 집단 사이에 실제 차이가 없을 확률은 3%다.
빈도주의 p값은 가설 자체에 확률을 부여하지 않는다.
귀무가설이나 대립가설의 사후확률을 계산하려면 베이즈 분석과 같은 별도의 접근이 필요하다.
대립가설이 참일 확률이 97%라는 뜻이 아니다
다음 해석도 성립하지 않는다.
\[
1-0.03=0.97
\]
효과가 존재할 확률은 97%다.
p값은 귀무가설과 대립가설의 확률을 합쳐 1로 만드는 값이 아니다.
결과가 우연일 확률이 3%라는 뜻이 아니다
“우연일 확률”이라는 표현은 무엇을 우연이라고 정의하는지 불명확하다.
모든 표본자료에는 어느 정도의 표본변동이 존재한다. p값은 현재 결과가 우연으로 발생했는지와 실제 효과로 발생했는지를 두 부분으로 분해하지 않는다.
보다 정확한 표현은 다음과 같다.
귀무가설과 분석가정 아래에서 현재와 같거나 더 극단적인 결과가 나타날 확률이 3%였다.
연구결과가 틀릴 확률이 3%라는 뜻이 아니다
연구결과가 잘못될 가능성에는 다음 요소들이 영향을 준다.
- 표본선정 편향
- 측정오류
- 교란변수
- 결측자료
- 분석모형 오류
- 다중검정
- 결과선택
- 데이터 가공 오류
- 낮은 검정력
- 출판편향
p값 하나는 이러한 오류들을 모두 반영하지 않는다.
같은 연구가 재현될 확률이 97%라는 뜻이 아니다
후속 연구의 결과는 다음 요인에 따라 달라진다.
- 실제 효과크기
- 후속 연구의 표본 수
- 자료의 변동성
- 표본구성과 연구환경
- 측정도구
- 분석방법
- 원래 연구의 효과 과대추정
- 무작위 표본변동
p = .03이라는 사실만으로 다음 연구에서도 p < .05가 나올 확률을 계산할 수는 없다.
0.05는 자연법칙이 아니다
0.05라는 기준은 물리학의 상수나 자연에 존재하는 경계가 아니다.
통계학의 역사적 발전 과정에서 관행적으로 널리 사용된 기준이다. Fisher의 연구와 통계표 사용 관행 등이 5% 기준의 확산에 영향을 주었지만, 0.05가 과학적으로 특별한 진실과 거짓의 경계라는 근거는 없다(Cowles & Davis, 1982).
다음 두 결과를 생각해 보자.
| 연구 | 효과크기 | p값 |
|---|---|---|
| 연구 A | 0.42 | .049 |
| 연구 B | 0.41 | .051 |
관행적인 기준에 따르면 연구 A는 유의하고 연구 B는 유의하지 않다.
하지만 두 연구의 효과크기와 p값은 거의 같다.
p = .049와 p = .051 사이에 갑작스러운 과학적 단절이 존재하는 것은 아니다.
따라서 다음처럼 표현하는 것은 결과의 차이를 과장할 수 있다.
연구 A에서는 효과가 있었지만 연구 B에서는 효과가 없었다.
더 적절한 설명은 다음과 같다.
두 연구의 효과 추정값은 유사했으나, 두 번째 연구에서는 5% 유의수준의 기준을 넘지 않았다. 두 연구 모두 효과크기와 신뢰구간을 함께 검토해야 한다.
통계적으로 유의한 결과와 유의하지 않은 결과의 차이가 그 자체로 통계적으로 유의한 것은 아니다(Gelman & Stern, 2006).
p값과 유의수준은 다르다
p값과 유의수준 (\alpha)는 서로 다른 개념이다.
| 구분 | 의미 |
|---|---|
| p값 | 관찰된 자료로부터 계산되는 값 |
| 유의수준 (\alpha) | 분석 전에 정하는 의사결정 기준 |
| 1종 오류 | 귀무가설이 참인데 이를 기각하는 오류 |
| 검정력 | 사전에 정한 효과가 있을 때 귀무가설을 기각할 확률 |
연구자가 분석 전에 다음과 같이 정했다고 하자.
\[
\alpha=0.05
\]
분석결과가 다음과 같다면 귀무가설을 기각하는 의사결정을 내릴 수 있다.
\[
p=0.03<0.05
\]
하지만 p = .03이 현재 결론이 거짓일 확률 3%를 뜻하지는 않는다.
유의수준 0.05는 귀무가설이 참인 상황에서 같은 의사결정 규칙을 장기적으로 반복할 때 1종 오류율을 5%로 통제하려는 기준이다.
이 해석이 성립하려면 다음 조건이 필요하다.
- 검정방법이 올바르다.
- 유의수준을 사전에 정했다.
- 하나의 계획된 가설을 검정한다.
- 결과를 본 뒤 분석을 변경하지 않는다.
- 검정의 통계적 가정이 충족된다.
연구자가 여러 분석을 시도한 뒤 가장 작은 p값만 선택하면 실제 오류율은 5%보다 훨씬 커질 수 있다.
작은 p값은 효과가 크다는 뜻이 아니다
검정통계량은 일반적으로 다음 구조를 갖는다.
\[
T=\frac{\widehat{\theta}-\theta_{0}}{SE(\widehat{\theta})}
\]
여기서 다음과 같다.
- \(\widehat{\theta}\): 표본에서 추정한 효과
- \(\theta_{0}\): 귀무가설이 가정하는 효과
- \(SE(\widehat{\theta})\): 효과 추정값의 표준오차
p값은 효과크기뿐 아니라 표준오차의 영향을 받는다.
표준오차는 표본 수가 커질수록 일반적으로 작아진다.
따라서 표본이 매우 크면 작은 효과도 p < .05가 될 수 있다.
두 집단의 평균 차이가 0.2표준편차로 동일하다고 하자.
| 집단별 표본 수 | 표준화 평균 차이 | 대략적인 p값 |
|---|---|---|
| 20명 | 0.20 | .53 |
| 100명 | 0.20 | .16 |
| 500명 | 0.20 | .002 |
| 5,000명 | 0.20 | 매우 작음 |
효과의 크기는 변하지 않았지만 표본 수가 증가하면서 p값은 작아졌다.
따라서 p < .001이라고 해서 p = .04인 연구보다 효과가 더 크다고 단정할 수 없다.
효과의 크기를 판단하려면 다음을 확인해야 한다.
- 평균 차이
- 비율 차이
- 회귀계수
- Cohen의 d
- Hedges의 g
- 위험차이
- 위험비
- 오즈비
- 상관계수
통계적 유의성과 효과의 실질적 중요성은 분리해서 해석해야 한다(Sterne & Smith, 2001; Cumming, 2014).
p값이 0.05보다 크면 효과가 없는가
p > .05는 귀무가설이 참이라는 증거와 같지 않다.
다음 결과를 생각해 보자.
\[
\widehat{\theta}=4.0
\]
\[
95%\ CI=[-1.5,\ 9.5]
\]
\[
p=.15
\]
효과 추정값은 4지만 신뢰구간이 넓어 0을 포함한다.
이 결과에는 다음 가능성이 모두 포함되어 있다.
- 효과가 거의 없다.
- 작은 효과가 있다.
- 실질적으로 중요한 효과가 있다.
- 반대 방향의 작은 효과가 있다.
따라서 다음처럼 쓰는 것은 적절하지 않다.
p > .05이므로 효과가 없었다.
더 정확한 표현은 다음과 같다.
통계적으로 유의한 차이를 확인하지 못했으며, 신뢰구간이 넓어 효과가 없는 경우와 실질적으로 중요한 효과가 있는 경우를 구분하기 어려웠다.
“효과가 없다는 증거”와 “효과의 증거가 부족하다”는 서로 다른 결론이다(Altman & Bland, 1995).
효과가 없다고 주장하려면 무엇이 필요한가
연구목적이 단순히 차이를 발견하는 것이 아니라 두 조건이 실질적으로 같다는 것을 보이는 데 있다면 동등성 검정을 고려해야 한다.
먼저 실무적으로 무시할 수 있는 효과의 범위를 정한다.
\[
-\Delta<\theta<\Delta
\]
여기서 \(\Delta\)는 최소 관심효과 또는 최소 실질적 관심효과다.
예를 들어 만족도 차이가 ±2점 이내라면 실무적으로 차이가 없다고 정했다고 하자.
\[
-2<\theta<2
\]
추정된 효과의 신뢰구간이 이 범위 안에 충분히 포함된다면 실질적으로 중요한 차이가 없다는 근거를 제시할 수 있다.
전통적인 검정에서 p > .05가 나왔다는 사실만으로 동등성이 입증되는 것은 아니다(Lakens, 2017).
신뢰구간은 p값보다 무엇을 더 보여주는가
두 집단의 평균 차이가 5점이고 95% 신뢰구간이 2점에서 8점이라고 하자.
\[
\widehat{\theta}=5
\]
\[
95%\ CI=[2,\ 8]
\]
이 결과는 다음 정보를 제공한다.
- 효과의 방향은 양수다.
- 점추정된 평균 차이는 5점이다.
- 자료와 모형에 비교적 잘 양립하는 효과의 범위는 대략 2점에서 8점이다.
- 효과가 0이라는 값은 신뢰구간에 포함되지 않는다.
- 2점 차이와 8점 차이는 실무적으로 다른 의미를 가질 수 있다.
같은 분석과 동일한 양측검정을 사용했다면 95% 신뢰구간이 귀무값 0을 포함하지 않는 것과 p < .05는 일반적으로 대응한다.
하지만 신뢰구간은 단순한 유의성 여부보다 효과의 크기와 정밀도에 대한 정보를 더 많이 제공한다.
다음 두 결과를 비교해 보자.
| 연구 | 평균 차이 | 95% 신뢰구간 | p값 |
|---|---|---|---|
| 연구 A | 0.5점 | 0.3∼0.7점 | < .001 |
| 연구 B | 5.0점 | -1.0∼11.0점 | .10 |
연구 A는 통계적으로 매우 유의하지만 효과는 작을 수 있다.
연구 B는 유의하지 않지만 중요한 효과의 가능성을 배제하지 못한다.
p값만 보면 이러한 차이를 충분히 이해하기 어렵다.
신뢰구간도 자동으로 정답을 주지는 않는다
신뢰구간은 효과의 크기와 정밀도를 보여주는 중요한 도구지만 흔히 잘못 해석된다.
빈도주의 95% 신뢰구간은 다음을 의미하지 않는다.
모집단 효과가 현재 계산된 구간 안에 있을 확률이 95%다.
모집단 효과는 고정된 값이고, 반복표집에서 계산되는 신뢰구간이 변한다.
같은 절차로 연구를 반복해 신뢰구간을 만들면 장기적으로 약 95%의 구간이 참값을 포함하도록 구성된다는 의미다.
실무적으로는 다음처럼 표현할 수 있다.
자료와 분석모형 아래에서 95% 신뢰구간에 포함된 효과들은 자료와 비교적 양립할 수 있는 값들이다.
신뢰구간도 다음 문제를 자동으로 해결하지 않는다.
- 표본선정 편향
- 측정오류
- 교란변수
- 잘못된 모형
- 다중검정
- 비무작위 결측
- 결과선택
좁은 신뢰구간이 편향되지 않은 결과를 보장하지는 않는다.
p = .01은 p = .04보다 네 배 강한 증거인가
p값을 단순한 비율척도처럼 해석해서는 안 된다.
p = .01이 p = .04보다 수치상 네 배 작지만, 대립가설이 네 배 더 가능하다거나 효과가 네 배 크다는 뜻은 아니다.
p값의 차이는 다음 요인 때문에 발생할 수 있다.
- 효과크기의 차이
- 표본 수의 차이
- 표준편차의 차이
- 연구설계의 차이
- 분석모형의 차이
- 우연한 표본변동
p값은 귀무가설 아래에서 자료의 비호환성을 나타내는 하나의 연속적인 지표로 볼 수 있다. 하지만 p값만으로 대립가설과 귀무가설 사이의 상대적 증거를 완전하게 정량화할 수는 없다.
p = .049와 p = .051을 다르게 취급하면 생기는 문제
다음 두 연구를 생각해 보자.
- 연구 A: p = .049
- 연구 B: p = .051
관행적인 방식에서는 연구 A를 성공, 연구 B를 실패로 분류할 수 있다.
그러나 다음을 함께 본다면 두 결과가 매우 유사할 수 있다.
- 효과크기
- 신뢰구간
- 표본 수
- 자료의 품질
- 연구설계
- 사전가설
- 측정오차
유의성과 비유의성의 이분법은 결과의 연속적인 불확실성을 숨긴다.
미국통계학회는 과학적 결론, 정책결정과 사업결정을 특정 p값 기준을 넘었는지 여부만으로 내려서는 안 된다고 강조했다(Wasserstein & Lazar, 2016).
이후 통계학계에서도 “통계적으로 유의하다”와 “유의하지 않다”는 구분만으로 결과를 판단하지 말고 효과크기, 불확실성, 연구설계와 맥락을 함께 평가해야 한다는 논의가 확대되었다(Amrhein et al., 2019; Wasserstein et al., 2019).
여러 번 검정하면 우연한 유의성이 증가한다
서로 독립적인 귀무가설 20개를 각각 유의수준 0.05로 검정한다고 하자.
각 귀무가설이 모두 참일 때 적어도 하나의 거짓양성이 발생할 확률은 다음과 같다.
\[
1-(1-0.05)^{20}
\]
계산하면 약 0.642다.
\[
1-0.95^{20}\approx0.642
\]
즉, 아무 효과가 없어도 20개의 독립적인 검정 가운데 하나 이상에서 p < .05가 나타날 확률이 약 64.2%다.
| 검정 수 | 적어도 한 번 p < .05가 나올 확률 |
|---|---|
| 1개 | 5.0% |
| 5개 | 22.6% |
| 10개 | 40.1% |
| 20개 | 64.2% |
| 50개 | 92.3% |
이 계산은 검정들이 독립적이라는 단순한 가정에 따른 예시다. 실제 검정들은 서로 상관될 수 있지만, 다중검정이 거짓양성을 증가시킨다는 핵심은 변하지 않는다.
여러 결과변수, 하위집단, 시점과 모형을 검정한다면 다음 방법을 고려해야 한다.
- 주요 가설 사전 지정
- Holm 보정
- Bonferroni 보정
- 거짓발견률 조정
- 계층적 검정절차
- 탐색분석과 확증분석의 구분
- 독립자료에서의 검증
Benjamini와 Hochberg(1995)의 거짓발견률 방법은 많은 가설을 검정하는 상황에서 발견된 결과 가운데 거짓발견의 기대비율을 통제하기 위해 널리 사용된다.
p값은 분석을 몇 번 시도했는지도 반영하지 못한다
연구자가 다음 분석을 모두 시도했다고 하자.
- 결과변수 5개
- 하위집단 4개
- 통제변수 조합 6개
- 이상치 처리방법 3개
- 단측검정과 양측검정
- 여러 자료변환
그중 p값이 가장 작은 결과 하나만 보고하면 보고된 p값은 전체 분석과정을 반영하지 못한다.
이를 연구자 자유도, 선택적 분석 또는 p-hacking 문제와 연결해 설명할 수 있다(Simmons et al., 2011; Head et al., 2015).
대표적인 사례는 다음과 같다.
- 유의해질 때까지 표본을 추가한다.
- p값을 확인하며 자료수집을 중단한다.
- 여러 결과 가운데 유의한 결과만 보고한다.
- 유의하지 않은 공변량을 반복해서 바꾼다.
- 결과를 본 뒤 단측검정으로 변경한다.
- 특정 하위집단에서만 결과를 보고한다.
- 이상치를 여러 기준으로 제거한다.
p값은 분석 하나에 대한 계산결과다.
연구자가 그 분석에 도달하기까지 얼마나 많은 선택을 시도했는지는 p값에 자동으로 기록되지 않는다.
따라서 연구계획과 분석과정의 투명성이 중요하다.
단측검정과 양측검정은 결과를 본 뒤 선택하면 안 된다
양측검정은 효과가 양수 또는 음수인 두 방향을 모두 고려한다.
\[
H_{1}:\theta\neq0
\]
단측검정은 사전에 정한 한 방향만 고려한다.
[
H_{1}:\theta>0
]
같은 검정통계량이라면 단측 p값이 양측 p값보다 작게 나타날 수 있다.
하지만 결과를 확인한 뒤 기대한 방향으로 단측검정을 선택하면 1종 오류율이 커진다.
단측검정을 사용하려면 다음 조건을 연구 전에 검토해야 한다.
- 반대 방향의 효과는 과학적으로 불가능하거나 의사결정상 동일하게 취급되는가?
- 연구계획서에서 방향을 사전에 정했는가?
- 반대 방향 결과가 나타났을 때도 같은 분석원칙을 유지할 것인가?
- 윤리적·임상적으로 반대 방향 효과를 무시해도 되는가?
치료가 도움이 되는지만 관심 있다고 해도 치료가 해로울 가능성을 무시할 수 없다면 양측검정이 일반적으로 더 적절하다.
p값은 연구설계의 편향을 고치지 못한다
관찰연구에서 운동시간과 건강점수의 관계가 p < .001로 나타났다고 하자.
이 결과만으로 운동이 건강을 개선했다고 결론 내릴 수는 없다.
다음 요인이 운동과 건강 모두에 영향을 줄 수 있기 때문이다.
- 연령
- 소득
- 기존 건강상태
- 식습관
- 의료이용
- 건강에 대한 관심
매우 작은 p값은 관찰된 연관성이 사용한 귀무모형과 잘 맞지 않는다는 정보를 제공할 수 있다.
하지만 그 관계가 다음 중 무엇 때문인지는 알려주지 않는다.
- 실제 인과효과
- 교란변수
- 선택편향
- 역인과관계
- 측정오류
- 모형의 잘못된 지정
인과적 해석은 무작위배정, 시간적 순서, 비교집단과 교란통제 등 연구설계에 근거해야 한다.
p < .001은 나쁜 연구설계를 좋은 연구설계로 바꾸지 않는다.
p값이 작으면 자료가 반드시 좋은가
p값은 자료의 품질점수가 아니다.
다음 상황에서도 p값은 매우 작게 나타날 수 있다.
- 표본이 매우 크다.
- 같은 사람의 반복자료를 독립적으로 분석했다.
- 군집구조를 무시했다.
- 측정도구가 체계적으로 편향되었다.
- 결측이 특정 집단에 집중되었다.
- 모형의 분산가정이 잘못되었다.
- 중요한 공변량이 누락되었다.
- 자료에 중복관측이 포함되었다.
- 다수의 분석 중 하나만 선택되었다.
특히 독립성 가정을 위반하면 표준오차가 지나치게 작게 계산되고 p값도 과도하게 작아질 수 있다.
예를 들어 고객 100명이 각각 1,000번 클릭한 자료에는 10만 개의 행이 있다.
하지만 같은 고객의 클릭들은 서로 관련되어 있다. 이를 독립적인 10만 명의 자료처럼 분석하면 정보량을 과장하게 된다.
반복측정, 병원·학교·매장과 같은 군집이 있다면 다음 방법을 고려해야 한다.
- 혼합효과모형
- 일반화추정방정식
- 군집 강건 표준오차
- 복합표본 설계분석
거짓양성률은 항상 5%인가
유의수준을 0.05로 설정했다고 해서 발표된 모든 유의한 결과 가운데 5%만 거짓이라는 뜻은 아니다.
가상의 연구 100개를 생각해 보자.
- 실제 효과가 있는 연구: 10개
- 실제 효과가 없는 연구: 90개
- 검정력: 80%
- 유의수준: 5%
실제 효과가 있는 10개 중 평균적으로 8개가 유의하게 나타난다.
\[
10\times0.80=8
\]
실제 효과가 없는 90개 중 평균적으로 4.5개가 거짓양성으로 나타난다.
\[
90\times0.05=4.5
\]
유의한 결과는 평균적으로 12.5개다.
\[
8+4.5=12.5
\]
그중 거짓양성의 비율은 약 36%다.
\[
\frac{4.5}{12.5}=0.36
\]
이 계산은 설명을 위한 단순한 가상 예시다.
실제로 유의한 결과가 거짓일 가능성은 다음에 따라 달라진다.
- 연구가설이 참일 사전 가능성
- 검정력
- 유의수준
- 다중검정
- 분석 선택
- 편향
- 출판과 선택적 보고
- 독립적인 재현 여부
따라서 “유의수준이 5%이므로 이 결과가 거짓일 확률도 5%”라고 해석해서는 안 된다(Ioannidis, 2005).
p값과 검정력은 서로 다른 개념이다
검정력은 사전에 정한 크기의 실제 효과가 있을 때 귀무가설을 기각할 확률이다.
\[
\text{Power}=1-\beta
\]
검정력은 연구설계 단계에서 다음 요소를 바탕으로 계산한다.
- 목표 효과크기
- 표본 수
- 유의수준
- 변동성
- 분석방법
- 집단 배정비율
관찰된 연구에서 p = .03이 나왔다고 해서 검정력이 97%라는 뜻은 아니다.
또한 연구가 끝난 뒤 관찰된 효과크기를 사용해 계산한 사후검정력은 p값을 다른 방식으로 표현하는 데 그치는 경우가 많다.
연구결과의 불확실성을 평가하려면 사후검정력보다 효과크기의 신뢰구간이 더 직접적이다.
p값은 연구 결과의 중요성을 알려주지 않는다
통계적으로 유의한 효과가 실제로 중요한지는 분야의 지식과 의사결정 기준으로 판단해야 한다.
고객 만족도 100점 척도에서 다음 결과가 나왔다고 하자.
\[
\text{평균 차이}=0.4
\]
\[
95%\ CI=[0.3,\ 0.5]
\]
\[
p<.001
\]
통계적으로는 매우 유의하다.
하지만 조직에서 의미 있는 개선기준을 3점으로 정했다면 0.4점 차이는 실무적으로 중요하지 않을 수 있다.
반대로 희귀질환 연구에서 평균 생존기간이 5개월 증가했지만 신뢰구간이 넓어 p = .08일 수 있다.
이 경우 중요한 효과의 가능성을 단순히 무시해서는 안 된다.
보고서에서는 다음 질문을 함께 다루어야 한다.
- 효과의 방향은 무엇인가?
- 효과크기는 얼마나 큰가?
- 신뢰구간은 얼마나 넓은가?
- 실무적으로 중요한 기준을 넘는가?
- 비용과 위험을 고려할 때 가치가 있는가?
- 다른 연구에서도 재현되는가?
R로 p값의 기본 의미 확인하기
두 집단의 가상 점수를 만들어 t검정을 실시해 보자.
group_a <- c(
72, 75, 76, 78, 80,
73, 77, 79, 74, 81
)
group_b <- c(
76, 78, 80, 82, 83,
77, 81, 84, 79, 85
)
test_result <- t.test(
group_b,
group_a,
var.equal = FALSE,
conf.level = 0.95
)
test_result출력에서 다음 정보를 확인한다.
- t검정통계량
- 자유도
- p값
- 평균 차이의 95% 신뢰구간
- 각 집단 평균
p값만 따로 추출할 수도 있다.
test_result$p.value신뢰구간은 다음과 같다.
test_result$conf.int집단별 평균 차이를 계산한다.
mean_difference <- (
mean(group_b) -
mean(group_a)
)
mean_difference보고할 때는 p값과 함께 평균 차이와 신뢰구간을 제시한다.
R로 같은 효과와 다른 표본 수 비교하기
표준화 평균 차이가 0.20으로 같고 집단별 표본 수만 다르다고 가정해 보자.
p_value_from_d <- function(
d,
n_per_group
) {
t_value <- (
d /
sqrt(
2 /
n_per_group
)
)
degrees_of_freedom <- (
2 *
n_per_group -
2
)
p_value <- 2 *
pt(
-abs(
t_value
),
df = degrees_of_freedom
)
data.frame(
n_per_group =
n_per_group,
effect_size_d =
d,
t_value =
t_value,
p_value =
p_value
)
}
sample_sizes <- c(
20,
100,
500,
5000
)
comparison <- do.call(
rbind,
lapply(
sample_sizes,
function(n) {
p_value_from_d(
d = 0.20,
n_per_group = n
)
}
)
)
comparison이 계산은 동일한 표준화 효과와 같은 집단 크기를 가정한 설명용 근사다.
효과크기는 같지만 표본 수가 증가하면서 p값이 작아지는 것을 확인할 수 있다.
R로 다중검정의 거짓양성 가능성 계산하기
20개의 독립적인 검정을 각각 유의수준 0.05로 실시한다고 하자.
alpha <- 0.05
test_count <- 20
at_least_one_false_positive <- (
1 -
(
1 -
alpha
)^test_count
)
at_least_one_false_positive결과는 약 0.642다.
검정 수에 따른 값을 비교할 수 있다.
test_counts <- c(
1,
5,
10,
20,
50
)
multiple_testing_result <- data.frame(
test_count = test_counts,
probability = 1 -
(
1 -
alpha
)^test_counts
)
multiple_testing_result실제 자료에서 검정들이 서로 상관되어 있다면 값은 달라질 수 있다.
R로 p값 조정하기
다음은 여러 가설에서 얻은 가상 p값이다.
raw_p_values <- c(
0.001,
0.008,
0.012,
0.031,
0.046,
0.071,
0.120,
0.280
)Holm 방법으로 조정한다.
holm_adjusted <- p.adjust(
raw_p_values,
method = "holm"
)거짓발견률 방법으로 조정한다.
fdr_adjusted <- p.adjust(
raw_p_values,
method = "BH"
)결과를 비교한다.
data.frame(
raw_p_value =
raw_p_values,
holm_adjusted =
holm_adjusted,
fdr_adjusted =
fdr_adjusted
)조정방법은 연구목적과 가설구조에 따라 선택해야 한다.
모든 분석에서 무조건 같은 보정법을 적용하는 것도 적절하지 않다. 주요 가설, 탐색가설과 검정 사이의 관계를 고려해야 한다.
p값은 어떻게 보고해야 할까
다음과 같은 보고는 충분하지 않다.
두 집단에서 유의한 차이가 나타났다, p < .05.
차이의 크기, 방향과 불확실성을 알 수 없기 때문이다.
보다 좋은 보고는 다음과 같다.
프로그램 집단의 평균 점수는 82.4점이었고 대조집단은 78.1점이었다. 평균 차이는 4.3점이었으며 95% 신뢰구간은 0.5점에서 8.1점이었다. 양측 Welch t검정 결과 p = .027이었다. 표준화 평균 차이는 Hedges의 g = 0.42였다. 평균 차이의 신뢰구간에는 작은 효과부터 실무적으로 중요한 효과까지 포함되어 있어 효과의 크기를 신중하게 해석하였다.
통계적으로 유의하지만 효과가 작은 경우는 다음처럼 쓸 수 있다.
평균 차이는 0.4점이었고 95% 신뢰구간은 0.3점에서 0.5점이었으며 p < .001이었다. 통계적으로는 귀무값과 구분되었지만, 효과크기와 신뢰구간은 사전에 정한 최소 중요차이 3점보다 작았다.
통계적으로 유의하지 않고 불확실성이 큰 경우는 다음처럼 보고할 수 있다.
평균 차이는 4.0점이었으나 95% 신뢰구간은 -1.5점에서 9.5점으로 넓었고 p = .15였다. 현재 자료만으로는 효과가 없는 경우와 실질적으로 중요한 효과가 있는 경우를 구분하기 어려웠다.
결과를 보고할 때는 가능하면 다음 정보를 포함한다.
- 연구가설과 귀무가설
- 사용한 통계검정
- 단측검정 또는 양측검정
- 사전에 정한 유의수준
- 정확한 p값
- 효과크기
- 95% 신뢰구간
- 표본 수
- 결측자료 처리방법
- 다중검정 조정방법
- 주요 분석과 탐색분석의 구분
- 실무적 중요기준
- 연구설계의 한계
- 민감도 분석
- 인과해석의 범위
p값을 보고할 때 자주 발생하는 오류
p = .03을 귀무가설이 참일 확률 3%라고 해석한다
p값은 귀무가설이 참이라는 조건 아래에서 계산된 자료의 꼬리확률이다.
p = .03을 효과가 있을 확률 97%라고 해석한다
빈도주의 p값은 대립가설의 사후확률을 제공하지 않는다.
p < .05이면 효과가 크다고 생각한다
표본이 크면 작은 효과도 유의해질 수 있다.
p > .05이면 효과가 없다고 결론 내린다
유의하지 않은 결과는 표본이 부족하거나 추정이 불확실한 결과일 수 있다.
p = .049와 p = .051을 완전히 다른 결과로 취급한다
두 결과 사이에 자연적인 과학적 경계는 없다.
유의한 집단과 유의하지 않은 집단의 효과가 다르다고 판단한다
효과 차이는 상호작용이나 집단 간 차이를 직접 검정해야 한다.
여러 검정 가운데 가장 작은 p값만 보고한다
전체 거짓양성 가능성이 과소평가된다.
결과를 확인한 뒤 단측검정을 사용한다
사전에 정한 오류율을 유지할 수 없다.
p = .000이라고 보고한다
계산된 값이 정확히 0이라는 뜻이 아니다. 일반적으로 p < .001처럼 보고한다.
p값만 보고 효과크기와 신뢰구간을 생략한다
차이의 크기와 추정의 정밀도를 알 수 없다.
작은 p값으로 인과관계를 주장한다
인과관계는 연구설계와 교란통제에 근거해야 한다.
분석 전에 확인할 질문
- 연구의 주요 가설은 무엇인가?
- 귀무가설은 정확히 어떤 값인가?
- 유의수준은 자료를 보기 전에 정했는가?
- 단측검정과 양측검정 중 어느 것이 적절한가?
- 분석의 통계적 가정은 충족되는가?
- 관측값은 서로 독립적인가?
- 반복측정이나 군집구조가 있는가?
- 표본선정 편향은 없는가?
- 결측자료는 어떤 방식으로 발생했는가?
- 효과크기는 얼마나 큰가?
- 신뢰구간은 얼마나 넓은가?
- 최소 관심효과를 사전에 정의했는가?
- 여러 가설을 동시에 검정했는가?
- 다중검정 조정이 필요한가?
- 결과를 본 뒤 분석방법을 변경하지 않았는가?
- 유의하지 않은 결과를 효과 없음으로 오해하지 않았는가?
- p = .049와 p = .051을 과도하게 구분하지 않았는가?
- 통계적 유의성과 실무적 중요성을 구분했는가?
- 관찰된 연관성을 인과효과로 확대하지 않았는가?
- 독립적인 자료에서 결과가 재현되었는가?
p값은 결론이 아니라 해석의 시작입니다
p값이 0.05보다 작다는 것은 귀무가설과 통계모형의 가정이 성립할 때, 현재 결과와 같거나 더 극단적인 결과가 나타날 확률이 5%보다 작다는 뜻이다.
비전공자는 다음 다섯 문장으로 기억할 수 있다.
p값은 귀무가설이 참일 확률이 아니다.
p값은 연구결과가 우연일 확률이 아니다.
p < .05라고 효과가 크거나 중요한 것은 아니다.
p > .05라고 효과가 없다는 뜻도 아니다.
효과크기, 신뢰구간, 연구설계와 다중검정을 함께 확인해야 한다.
p값은 연구결과를 한 숫자로 압축해 보여주는 유용한 도구다.
그러나 그 숫자만으로 효과의 크기, 연구의 타당성, 인과관계, 실무적 중요성이나 재현 가능성을 판단할 수는 없다.
좋은 통계보고는 “p < .05이므로 유의하다”에서 끝나지 않는다.
얼마나 큰 차이가 나타났는지, 어떤 효과들이 자료와 양립할 수 있는지, 연구설계에 어떤 한계가 있는지, 그 차이가 실제로 중요한지를 함께 설명해야 한다.
0.05는 결론의 문이 아니라 더 신중한 해석을 시작하는 지점이다.
참고문헌
Altman, D. G., & Bland, J. M. (1995). Absence of evidence is not evidence of absence. BMJ, 311(7003), 485. https://doi.org/10.1136/bmj.311.7003.485
Amrhein, V., Greenland, S., & McShane, B. (2019). Scientists rise up against statistical significance. Nature, 567(7748), 305–307. https://doi.org/10.1038/d41586-019-00857-9
Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B, 57(1), 289–300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
Cowles, M., & Davis, C. (1982). On the origins of the .05 level of statistical significance. American Psychologist, 37(5), 553–558. https://doi.org/10.1037/0003-066X.37.5.553
Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1), 7–29. https://doi.org/10.1177/0956797613504966
Gelman, A., & Stern, H. (2006). The difference between “significant” and “not significant” is not itself statistically significant. The American Statistician, 60(4), 328–331. https://doi.org/10.1198/000313006X152649
Goodman, S. (2008). A dirty dozen: Twelve p-value misconceptions. Seminars in Hematology, 45(3), 135–140. https://doi.org/10.1053/j.seminhematol.2008.04.003
Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31(4), 337–350. https://doi.org/10.1007/s10654-016-0149-3
Head, M. L., Holman, L., Lanfear, R., Kahn, A. T., & Jennions, M. D. (2015). The extent and consequences of p-hacking in science. PLOS Biology, 13(3), e1002106. https://doi.org/10.1371/journal.pbio.1002106
Ioannidis, J. P. A. (2005). Why most published research findings are false. PLOS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
Lakens, D. (2017). Equivalence tests: A practical primer for t tests, correlations, and meta-analyses. Social Psychological and Personality Science, 8(4), 355–362. https://doi.org/10.1177/1948550617697177
Lakens, D. (2021). The practical alternative to the p value is the correctly used p value. Perspectives on Psychological Science, 16(3), 639–648. https://doi.org/10.1177/1745691620958012
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Sterne, J. A. C., & Smith, G. D. (2001). Sifting the evidence—What’s wrong with significance tests? BMJ, 322(7280), 226–231. https://doi.org/10.1136/bmj.322.7280.226
Wasserstein, R. L., & Lazar, N. A. (2016). The ASA’s statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a world beyond “p < 0.05.” The American Statistician, 73(sup1), 1–19. https://doi.org/10.1080/00031305.2019.1583913
