한 온라인 쇼핑몰에서 기존 광고와 새로운 광고를 비교하는 A/B 테스트를 진행했다고 하자.
기존 광고를 본 방문자 1,000명 가운데 100명이 상품을 구매했고, 새 광고를 본 방문자 1,000명 가운데 125명이 구매했다.
| 광고 | 방문자 | 구매자 | 전환율 |
|---|---|---|---|
| 기존 광고 | 1,000명 | 100명 | 10.0% |
| 새 광고 | 1,000명 | 125명 | 12.5% |
새 광고의 전환율은 기존 광고보다 2.5%포인트 높다. 상대적으로는 25% 증가한 결과다.
마케팅 담당자에게 2.5%포인트는 상당히 의미 있는 차이일 수 있다. 그러나 데이터 분석가는 한 가지 질문을 더 던진다.
실제로 두 광고의 효과가 같더라도 표본의 우연한 차이만으로 이 정도 결과가 나타날 수 있는가?
두 비율에 대한 검정을 실시하면 양측 p값은 약 0.077이 나온다.
관행적인 0.05 기준을 사용하면 이 결과는 ‘통계적으로 유의하지 않다’고 분류된다.
그렇다면 새 광고는 효과가 없는 것일까?
그렇게 결론 내릴 수 없다.
관찰된 전환율 차이는 분명히 2.5%포인트다. 다만 현재 표본으로는 이 차이가 실제 광고효과인지 표본변동인지 명확하게 구분하기 어렵다는 뜻이다.
방문자 수를 각 광고당 10,000명으로 늘리고 전환율이 똑같이 10.0%와 12.5%로 나타났다고 하자. 효과의 크기는 여전히 2.5%포인트지만 p값은 매우 작아진다.
효과는 같은데 p값은 달라진다.
이 사례만으로도 p값이 효과의 크기 그 자체가 아니라는 사실을 알 수 있다.
그럼에도 논문, 임상시험, 정책평가와 기업 실험에서는 오랫동안 (p<0.05)가 중요한 경계선처럼 사용되어 왔다. 연구결과가 ‘유의하다’ 또는 ‘유의하지 않다’로 나뉘고, 연구의 성공 여부까지 이 숫자에 좌우되기도 한다.
통계가 p값에 집착한 이유는 이 숫자가 진실을 직접 알려주기 때문이 아니다. 복잡한 데이터와 불확실성을 하나의 숫자로 압축해 의사결정 기준과 연결하기 쉽기 때문이다.
문제는 편리한 숫자가 과학적 판단 전체를 대신하기 시작할 때 발생한다.
p값은 무엇을 계산한 숫자인가
가설검정에서는 먼저 귀무가설을 설정한다.
두 광고의 실제 전환율이 같다는 귀무가설은 다음과 같이 표현할 수 있다.
\[
H_0:p_1=p_2
\]
대립가설은 두 광고의 실제 전환율이 다르다는 주장이다.
\[
H_1:p_1\neq p_2
\]
귀무가설과 분석모형이 맞다고 가정하면, 표본마다 두 전환율의 차이는 조금씩 달라진다. 어떤 표본에서는 새 광고가 더 높게 나오고, 다른 표본에서는 기존 광고가 더 높게 나올 수도 있다.
가설검정은 관찰된 차이를 표본변동과 비교해 검정통계량을 계산한다.
대칭적인 양측검정의 p값은 개념적으로 다음과 같이 표현할 수 있다.
\[
p=P(|T|\geq|t_0|\mid H_0)
\]
여기서 기호의 의미는 다음과 같다.
- \(T\): 귀무가설 아래에서 나타날 수 있는 검정통계량
- \(t_0\): 현재 표본에서 관찰된 검정통계량
- \(H_0\): 귀무가설
- \(p\): 관찰된 값과 같거나 더 극단적인 값을 얻을 확률
따라서 p값의 정확한 의미는 다음과 같다.
귀무가설과 분석모형의 가정이 맞다고 할 때, 현재 관찰된 검정통계량과 같거나 그보다 더 극단적인 검정통계량이 나타날 확률.
여기에는 현재 관찰된 결과만 포함되는 것이 아니다. 귀무가설에서 더 멀리 떨어진 결과도 함께 포함된다.
Greenland 등(2016)과 Wasserstein과 Lazar(2016)는 p값을 해석할 때 귀무가설뿐 아니라 분석모형의 가정도 함께 조건으로 들어간다는 점을 강조한다.
‘지금과 같은 데이터가 나올 확률’이라는 설명은 부족하다
p값을 다음처럼 설명하는 경우가 많다.
귀무가설이 참일 때 지금과 같은 데이터가 나올 확률이다.
이 표현에는 두 가지 문제가 있다.
첫째, 데이터 전체가 정확히 똑같이 반복될 확률을 계산하는 것이 아니다.
연속형 자료에서는 동일한 데이터가 정확히 다시 나타날 확률이 사실상 0일 수 있다. p값은 원자료 전체의 반복확률이 아니라 선택한 검정통계량이 관찰된 값 이상으로 극단적일 확률이다.
둘째, 현재 결과보다 더 극단적인 결과도 계산에 포함된다.
예를 들어 검정통계량이 2.1로 관찰되었다면 양측검정에서는 일반적으로 2.1 이상인 영역뿐 아니라 -2.1 이하인 영역도 포함한다.
\[
p=P(T\geq2.1\mid H_0)+P(T\leq-2.1\mid H_0)
\]
따라서 p값은 단순한 데이터 재현확률이 아니라 검정통계량의 꼬리확률이다.
p값은 귀무가설이 참일 확률이 아니다
p값에 관한 가장 대표적인 오해는 다음과 같다.
p값이 0.03이면 귀무가설이 참일 확률이 3%다.
이 해석은 틀렸다.
p값은 다음 확률과 관련된다.
\[
P(D\mid H_0)
\]
이는 귀무가설이 주어졌을 때 데이터 또는 검정통계량이 얼마나 극단적인지를 나타낸다.
연구자가 알고 싶어 하는 것은 종종 다음 확률이다.
\[
P(H_0\mid D)
\]
이는 데이터가 주어졌을 때 귀무가설이 참일 확률이다.
두 확률은 서로 다르다.
\[
P(D\mid H_0)\neq P(H_0\mid D)
\]
Goodman(2008)은 이 두 조건부 확률을 혼동하는 것을 가장 널리 퍼진 p값 오해 가운데 하나로 지적했다.
이를 법정 사례로 생각해 볼 수 있다.
피고인이 무죄일 때 현재와 같은 증거가 나타날 확률이 낮다는 사실과, 현재 증거가 주어졌을 때 피고인이 무죄일 확률이 낮다는 주장은 같지 않다.
후자의 확률을 계산하려면 무죄와 유죄에 대한 사전 가능성, 각 가설 아래에서 증거가 나타날 가능성과 같은 추가정보가 필요하다.
p값만으로는 귀무가설의 사후확률을 계산할 수 없다.
p값은 결과가 ‘우연’일 확률도 아니다
다음 표현도 자주 사용된다.
p값은 이 결과가 우연히 나타났을 확률이다.
그러나 ‘우연히 나타났다’는 말에는 명확한 통계적 가설이 없다.
연구결과에는 여러 원인이 개입할 수 있다.
- 표본의 무작위 변동
- 실제 효과
- 선택편향
- 측정오차
- 교란변수
- 분석모형 오류
- 데이터 입력오류
- 다중검정
- 선택적 보고
- 극단값
p값은 이 원인들을 모두 분리해 주지 않는다.
가설검정에서 p값은 특정한 귀무모형 아래의 표본변동을 평가한다. 결과가 ‘우연인지 아닌지’를 전반적으로 판정하는 확률이 아니다.
따라서 다음처럼 표현하는 편이 더 정확하다.
관찰된 결과는 설정한 귀무가설과 분석모형 아래에서 비교적 이례적이었다.
p값은 대립가설이 참일 확률이 아니다
p값이 0.02라면 대립가설이 참일 확률이 98%라고 생각하기 쉽다.
\[
1-0.02=0.98
\]
그러나 p값과 대립가설의 확률은 이런 방식으로 연결되지 않는다.
p값은 귀무가설 아래에서 계산한다. 대립가설이 어느 정도 자료를 잘 설명하는지는 직접 계산하지 않는다.
대립가설에는 여러 가능성이 포함될 수도 있다.
두 광고의 전환율이 다르다는 대립가설에는 다음과 같은 수많은 효과가 들어 있다.
- 0.1%포인트 차이
- 1%포인트 차이
- 5%포인트 차이
- 새 광고가 더 낮은 경우
- 새 광고가 더 높은 경우
p값은 이 대립가설들 가운데 어느 효과가 가장 가능성이 높은지를 알려주지 않는다.
가설 자체의 확률을 구하고 싶다면 사전분포와 우도에 기반한 베이지안 분석을 고려할 수 있다. 그러나 베이지안 방법도 사전분포와 모형에 관한 가정을 필요로 한다. p값을 베이지안 확률 하나로 바꾸는 것만으로 모든 문제가 해결되는 것은 아니다.
p값이 작을수록 증거가 얼마나 강해지는가
일반적으로 다른 조건이 같다면 작은 p값은 귀무가설과 데이터 사이의 불일치가 더 크다는 신호로 볼 수 있다.
그러나 p값을 비율척도처럼 해석해서는 안 된다.
예를 들어 다음 두 값을 비교해 보자.
\[
p=0.01
\]
\[
p=0.05
\]
0.01이 0.05의 5분의 1이라고 해서 귀무가설에 반대하는 증거가 정확히 5배 강한 것은 아니다.
p값은 가설 사이의 상대적 증거비가 아니다. p값들의 비율도 일반적으로 직접적인 증거비로 해석할 수 없다.
또한 매우 작은 p값은 다음 중 하나 이상에서 발생할 수 있다.
- 실제 효과가 크다.
- 표본크기가 크다.
- 자료의 변동성이 작다.
- 측정이 정밀하다.
- 분석모형이 잘 맞는다.
- 모형가정이 잘못되었다.
- 선택적 분석이 이루어졌다.
- 여러 검정 가운데 가장 작은 값만 선택되었다.
작은 p값 자체보다 그 값이 어떤 연구설계와 분석과정에서 만들어졌는지가 중요하다.
0.05는 어디에서 왔는가
0.05는 자연에서 발견된 통계적 상수가 아니다.
통계적 유의성 검정은 Fisher 이전에도 존재했지만, Ronald Fisher는 20세기 초 통계적 분석에서 5% 수준을 편리한 판단기준으로 널리 사용하고 대중화하는 데 큰 영향을 주었다.
Fisher는 p값을 귀무가설에 반하는 증거의 연속적인 정도로 바라보는 경향이 있었다. 반면 Neyman과 Pearson은 분석 전에 유의수준을 정하고 장기적인 1종 오류와 2종 오류를 통제하는 의사결정 절차를 발전시켰다.
현재 널리 사용되는 귀무가설 유의성 검정은 이 두 전통이 혼합된 형태다.
- Fisher의 p값
- Neyman–Pearson의 고정된 유의수준
- 귀무가설 기각 또는 기각하지 못함이라는 의사결정
Kennedy-Shaffer(2019)는 p값과 0.05 기준의 역사적 발전을 검토하면서, 오늘날의 단순한 (p<0.05) 관행이 처음부터 하나의 일관된 이론으로 만들어진 것이 아니라고 설명한다. Biau 등(2010)도 Fisher의 유의성 검정과 Neyman–Pearson의 의사결정 이론을 구분할 필요가 있음을 지적한다.
0.05는 편리했기 때문에 살아남았다
0.05가 널리 사용된 데에는 실무적인 이유도 있다.
- 계산기와 컴퓨터가 없던 시절 통계표 사용이 편리했다.
- 하나의 공통 기준은 분야 간 의사소통을 단순하게 했다.
- 논문과 보고서에서 결과를 분류하기 쉬웠다.
- 규제와 정책 의사결정에 명확한 기준이 필요했다.
- 연구결과를 유의와 비유의로 빠르게 나눌 수 있었다.
그러나 편리한 기준이 과학적 진실의 경계선은 아니다.
\[
p=0.049
\]
\[
p=0.051
\]
두 값이 제공하는 정보에는 거의 차이가 없지만, 0.05를 경계로 사용하면 첫 번째 결과는 ‘성공’, 두 번째 결과는 ‘실패’로 분류될 수 있다.
Wasserstein 등(2019)과 Amrhein 등(2019)은 이처럼 연속적인 증거를 하나의 임계값으로 이분화하는 관행에서 벗어날 것을 촉구했다.
p값과 유의수준은 다른 값이다
p값과 유의수준 \(\alpha\)는 자주 혼동되지만 역할이 다르다.
| 구분 | p값 | 유의수준 |
|---|---|---|
| 결정 시점 | 데이터를 분석한 후 계산 | 분석 전에 결정 |
| 의미 | 관찰결과와 귀무모형의 불일치 정도 | 장기적인 1종 오류 통제기준 |
| 기호 | (p) | (\alpha) |
| 대표값 | 0.032, 0.18 등 | 0.05, 0.01 등 |
| 역할 | 데이터에 따른 연속적인 수치 | 기각 여부를 위한 의사결정 기준 |
유효한 검정절차는 귀무가설이 참일 때 다음 성질을 만족하도록 설계된다.
\[
P(p\leq\alpha\mid H_0)\leq\alpha
\]
연속형 자료의 정확한 검정에서는 등호가 성립하는 경우가 많다. 이산형 자료의 정확검정에서는 가능한 p값이 불연속적이므로 실제 오류율이 \(\alpha\)보다 작을 수 있다.
유의수준을 0.05로 정했다는 것은 귀무가설이 참인 상황에서 같은 검정절차를 반복할 때 장기적으로 최대 약 5%의 빈도로 귀무가설을 잘못 기각하도록 설계한다는 뜻이다.
이것은 현재 연구결과가 거짓양성일 확률이 5%라는 뜻이 아니다.
p값은 표본크기에 민감하다
검정통계량은 일반적으로 다음 구조를 가진다.
\[
T=\frac{\hat{\theta}-\theta_0}{SE(\hat{\theta})}
\]
여기서 각 기호는 다음을 의미한다.
- \(\hat{\theta}\): 표본에서 추정한 효과
- \(\theta_0\): 귀무가설의 기준값
- \(SE(\hat{\theta})\): 효과추정치의 표준오차
많은 통계량에서 표본크기가 커지면 표준오차가 작아진다.
평균의 표준오차는 다음과 같다.
\[
SE(\bar{x})=\frac{s}{\sqrt{n}}
\]
따라서 효과크기가 같더라도 표본크기가 증가하면 검정통계량의 절댓값이 커지고 p값은 작아질 가능성이 높다.
같은 효과, 다른 p값
앞의 광고 사례를 다시 살펴보자.
| 광고별 표본크기 | 기존 광고 | 새 광고 | 차이 | 양측 p값 |
|---|---|---|---|---|
| 각 1,000명 | 10.0% | 12.5% | 2.5%포인트 | 약 0.077 |
| 각 10,000명 | 10.0% | 12.5% | 2.5%포인트 | 0.001보다 훨씬 작음 |
효과크기는 동일하다. 달라진 것은 표본크기와 추정의 정밀도다.
따라서 p값이 작다는 사실만으로 효과가 크다고 말할 수 없다.
반대로 p값이 크다고 해서 효과가 작거나 없다고 단정할 수도 없다. 표본이 작고 표준오차가 크면 실질적으로 중요한 효과도 유의하지 않을 수 있다.
Sterne과 Smith(2001)는 통계적 유의성과 효과의 실질적 중요성을 구분해야 한다고 강조했다.
큰 표본은 거의 모든 차이를 유의하게 만들 수 있다
두 집단 사이에 정확히 0의 차이가 존재하는 경우는 현실에서 드물 수 있다.
사람, 지역, 학교, 기업이나 시점이 다르면 아주 작은 차이는 거의 언제나 존재할 수 있다. 표본이 충분히 커지면 실질적으로 무시할 수 있는 차이도 매우 작은 p값을 만들 수 있다.
예를 들어 평균 만족도가 5점 척도에서 3.500과 3.505로 다르다고 하자.
차이는 0.005점에 불과하다. 수백만 명을 조사하면 통계적으로 유의할 수 있지만, 정책이나 마케팅 의사결정에서는 아무 의미가 없을 수 있다.
따라서 분석 전에 최소한 다음 질문을 정해야 한다.
현실적으로 의미 있다고 볼 수 있는 최소효과는 얼마인가?
통계적 유의성은 실질적 중요성을 대신하지 않는다.
작은 표본에서는 중요한 효과도 유의하지 않을 수 있다
반대로 표본이 작으면 관찰된 효과가 커도 p값이 0.05보다 클 수 있다.
신약이 기존 약보다 평균 혈압을 6mmHg 더 낮추었지만 각 집단의 환자가 10명뿐이라고 하자. 개인차가 크다면 신뢰구간은 넓고 p값도 클 수 있다.
이 경우 “신약은 효과가 없다”고 결론 내리면 안 된다.
현재 자료가 다음과 같은 여러 가능성을 동시에 허용할 수 있기 때문이다.
- 효과가 거의 없다.
- 중간 정도의 효과가 있다.
- 상당히 큰 효과가 있다.
- 오히려 해로운 효과가 있다.
p값이 크다는 사실보다 효과추정치의 불확실성이 크다는 점이 핵심이다.
Altman과 Bland(1995)는 이를 다음 문장으로 표현했다.
증거의 부재는 부재의 증거가 아니다.
효과가 없다는 결론을 뒷받침하려면 충분한 검정력, 좁은 신뢰구간이나 등가성 검정이 필요하다.
p값이 0.05보다 크면 귀무가설을 받아들이는가
전통적인 가설검정에서는 일반적으로 다음 두 표현을 사용한다.
- 귀무가설을 기각한다.
- 귀무가설을 기각하지 못한다.
“귀무가설을 받아들인다”는 표현은 신중해야 한다.
p값이 크다는 것은 귀무가설이 참이라는 증거가 아니라 현재 자료가 귀무가설과 심하게 충돌하지 않는다는 뜻이다.
예를 들어 p값이 0.40이라고 하자.
이 결과가 나타난 이유는 다음과 같이 다양할 수 있다.
- 실제 효과가 없다.
- 효과가 작다.
- 표본크기가 부족하다.
- 측정오차가 크다.
- 변동성이 크다.
- 연구설계가 효과를 포착하지 못했다.
- 서로 반대되는 효과가 상쇄되었다.
단순한 비유의 결과만으로 어느 설명이 맞는지 알 수 없다.
효과가 없음을 보이려면 등가성 검정이 필요할 수 있다
두 치료법이 실질적으로 같다는 주장을 하고 싶다고 하자.
일반적인 귀무가설 검정에서 (p>0.05)가 나왔다고 해서 두 치료법이 같다고 결론 내릴 수 없다.
대신 실질적으로 무시할 수 있는 차이의 범위를 먼저 정할 수 있다.
그 경계를 \(\Delta\)라고 하면 등가범위는 다음과 같다.
\[
-\Delta<\delta<\Delta
\]
여기서 \(\delta\)는 두 치료법의 실제 효과 차이다.
효과의 신뢰구간이 이 등가범위 안에 충분히 들어온다면 두 치료법이 실질적으로 동등하다는 근거를 제시할 수 있다.
Lakens 등(2018)은 등가성 검정이 “유의하지 않음”과 “효과가 충분히 작음”을 구분하는 데 유용하다고 설명한다.
p값은 검정방법에 따라 달라진다
p값은 데이터에 고정적으로 들어 있는 값이 아니다. 어떤 질문과 검정통계량을 선택하는지에 따라 달라진다.
같은 자료에서도 다음 선택에 따라 p값이 달라질 수 있다.
- 단측검정 또는 양측검정
- 등분산 t검정 또는 Welch t검정
- 평균 차이 또는 순위 차이
- 공변량 포함 여부
- 로그변환 여부
- 이상값 처리방법
- 결측자료 처리방법
- 군집구조 반영 여부
- 정확검정 또는 근사검정
- 다중검정 보정 여부
p값을 보고난 뒤 자신에게 유리한 분석방법을 고르면 명목상의 5% 오류율은 유지되지 않는다.
분석방법은 연구 질문과 설계에 근거해 정해야 한다. 여러 합리적인 분석방법이 존재한다면 주요 결과와 민감도 분석을 함께 제시해야 한다.
단측검정은 p값을 줄이기 위한 장치가 아니다
양측검정은 두 방향의 차이를 모두 고려한다.
\[
H_0:\theta=\theta_0
\]
\[
H_1:\theta\neq\theta_0
\]
오른쪽 단측검정은 한 방향만 고려한다.
\[
H_0:\theta\leq\theta_0
\]
\[
H_1:\theta>\theta_0
\]
같은 방향으로 효과가 나타났다면 단측 p값은 양측 p값보다 작아질 수 있다.
그러나 양측검정 결과를 본 뒤 p값을 줄이기 위해 단측검정으로 바꾸면 안 된다.
검정방향은 데이터를 보기 전에 결정해야 한다. 반대 방향의 효과가 나타나도 연구결론에서 중요하지 않다고 볼 수 있을 때만 단측검정이 정당화될 수 있다.
약물이 효과를 높이는 방향뿐 아니라 오히려 해를 끼치는 방향도 중요하다면 양측검정이 더 적절하다.
귀무가설 아래에서 p값은 어떻게 분포하는가
귀무가설이 참이고 연속형 자료에 대한 검정이 정확하게 설정되었다면 p값은 대체로 0과 1 사이에서 균등하게 분포한다.
따라서 다음 구간에 비슷한 비율의 p값이 나타난다.
- 0.00에서 0.05
- 0.05에서 0.10
- 0.10에서 0.15
- 나머지 동일한 폭의 구간
귀무가설이 참인 연구를 매우 많이 반복하면 약 5%의 p값이 0.05보다 작게 나타난다.
이것은 통계검정의 오류가 아니라 유의수준을 5%로 설정한 절차에서 예상되는 결과다.
R로 귀무가설 아래의 p값 확인하기
평균이 0인 정규분포에서 표본 20개를 추출하고 일표본 t검정을 10,000번 반복해 보자.
set.seed(2026)
repetitions <- 10000L
p_values <- replicate(
repetitions,
{
x <- rnorm(
n = 20,
mean = 0,
sd = 1
)
t.test(
x,
mu = 0
)$p.value
}
)p값이 0.05보다 작은 비율을 계산한다.
mean(p_values < 0.05)실행할 때마다 조금 달라지지만 일반적으로 0.05 근처의 값이 나온다.
히스토그램을 그리면 p값이 0과 1 사이에 대체로 고르게 분포하는 모습을 확인할 수 있다.
hist(
p_values,
breaks = 20,
main = "귀무가설 아래의 p값 분포",
xlab = "p값"
)이 결과는 귀무가설이 참이어도 일부 연구에서는 (p<0.05)가 발생한다는 사실을 보여준다.
여러 번 검정하면 작은 p값은 쉽게 나온다
서로 독립적인 귀무가설 20개를 각각 5% 유의수준으로 검정한다고 하자.
모든 귀무가설이 참이어도 적어도 하나의 p값이 0.05보다 작을 확률은 다음과 같다.
\[
1-(1-0.05)^{20}
\]
\[
1-0.95^{20}\approx0.642
\]
약 64.2%다.
검정 20개를 실시하면 모든 효과가 없어도 적어도 하나의 ‘유의한 결과’를 발견할 가능성이 절반을 크게 넘는다.
R로 다중검정의 거짓양성 확인하기
set.seed(2026)
one_experiment <- function() {
experiment_p_values <- replicate(
20L,
{
x <- rnorm(
n = 20,
mean = 0,
sd = 1
)
t.test(
x,
mu = 0
)$p.value
}
)
any(experiment_p_values < 0.05)
}이 실험을 10,000번 반복한다.
familywise_false_positive <- mean(
replicate(
10000L,
one_experiment()
)
)
familywise_false_positive결과는 약 0.64에 가까워질 것이다.
따라서 여러 결과변수, 하위집단, 시점과 모형을 분석했다면 개별 p값 하나만 제시해서는 안 된다.
Benjamini와 Hochberg(1995)는 많은 가설을 검정할 때 거짓발견률을 통제하는 방법을 제안했다. 연구목적에 따라 Holm, Bonferroni 또는 Benjamini–Hochberg 조정을 고려할 수 있다.
유의한 결과가 나올 때까지 분석하면 어떻게 되는가
다음과 같은 분석행동은 작은 p값이 나올 가능성을 높인다.
- 유의한 결과가 나올 때까지 표본을 추가한다.
- 여러 결과변수 가운데 유의한 것만 보고한다.
- 여러 하위집단을 시도한다.
- 공변량을 넣었다 뺐다 반복한다.
- 이상값 제외기준을 바꾼다.
- 단측검정과 양측검정을 번갈아 시도한다.
- 여러 변환 가운데 유의한 결과만 선택한다.
- 여러 시점 가운데 유의한 시점만 보고한다.
이러한 행위를 통틀어 p-hacking이라고 부르기도 한다.
Simmons 등(2011)은 데이터 수집과 분석에서 허용되는 선택의 자유가 공개되지 않으면 거짓양성 결과를 쉽게 만들어낼 수 있음을 보였다.
이 문제의 핵심은 연구자가 의도적으로 데이터를 조작했는지 여부만이 아니다. 연구자가 여러 합리적인 선택을 시도하고 유의한 결과만 기억하거나 보고해도 같은 문제가 발생할 수 있다.
이를 줄이기 위해서는 다음이 필요하다.
- 주가설과 분석방법의 사전등록
- 표본크기 결정기준의 사전설정
- 제외기준의 공개
- 분석한 모든 주요 결과의 보고
- 탐색분석과 확증분석의 구분
- 독립자료를 이용한 재현
- 분석코드와 자료의 투명한 공유
출판과 보상체계가 p값 집착을 강화했다
p값 자체보다 p값을 둘러싼 의사결정 구조가 문제일 수 있다.
연구자가 다음과 같은 압력을 받는다면 0.05는 단순한 통계수치 이상의 의미를 갖게 된다.
- 유의한 결과가 논문으로 출판되기 쉽다.
- 유의하지 않은 연구는 실패로 취급된다.
- 새로운 발견을 강조하는 결과가 선호된다.
- 연구비와 승진이 출판성과에 연결된다.
- 기업 실험에서 빠른 의사결정이 요구된다.
이 환경에서는 (p=0.049)와 (p=0.051)의 작은 차이가 연구자의 경력과 연구결과의 공개 여부를 바꿀 수 있다.
Ioannidis(2005)는 낮은 검정력, 많은 가설, 선택적 보고와 출판편향이 결합하면 발표된 연구결과 가운데 거짓양성이 많아질 수 있음을 논의했다.
Nuzzo(2014)도 통계적 유의성에 대한 과도한 의존이 연구결과의 재현성 문제와 연결될 수 있음을 설명했다.
p값은 그 자체로 나쁜 통계량이 아니다. 하나의 숫자에 지나치게 큰 보상을 연결하는 연구문화가 남용을 유발한다.
p값이 작아도 연구가 잘못될 수 있다
p값은 연구설계의 품질을 평가하지 않는다.
편향된 표본
자발적인 온라인 설문에서 p값이 매우 작게 나와도 응답자가 목표모집단을 대표하지 못하면 결과를 전체 모집단으로 일반화하기 어렵다.
교란변수
운동한 사람과 운동하지 않은 사람의 건강을 비교하면서 연령과 기존 건강상태를 고려하지 않으면 작은 p값이 나와도 운동의 인과효과라고 단정할 수 없다.
측정오류
설문문항이 스트레스를 제대로 측정하지 못하면 정밀한 p값도 연구개념의 타당성을 보장하지 않는다.
군집과 반복측정
같은 학교 학생이나 같은 환자의 반복측정을 독립적인 관측값처럼 분석하면 표준오차가 지나치게 작아지고 p값도 인위적으로 작아질 수 있다.
잘못된 모형
비선형 관계를 선형으로 분석하거나 심한 이분산성을 무시하면 검정결과가 왜곡될 수 있다.
p값은 잘 설계된 연구에서 불확실성을 평가하는 도구다. 잘못된 설계를 보완하는 장치가 아니다.
p값이 크다고 데이터가 귀무가설을 지지하는 것도 아니다
p값이 크면 데이터가 귀무가설과 심하게 충돌하지 않는다는 뜻이다. 그러나 대립가설보다 귀무가설을 더 강하게 지지한다는 뜻은 아니다.
검정력이 낮은 연구에서는 귀무가설과 대립가설 모두 비슷하게 설명할 수 있는 넓은 범위의 결과가 나타날 수 있다.
예를 들어 효과추정치가 4이고 95% 신뢰구간이 -5에서 13이라면 다음 가능성을 모두 배제하기 어렵다.
- 부정적 효과
- 효과 없음
- 작은 긍정적 효과
- 큰 긍정적 효과
이 결과에서 p값이 크다는 사실은 귀무가설의 강한 증거라기보다 정보가 부족하다는 신호일 수 있다.
p값 대신 무엇을 봐야 하는가
p값을 완전히 없애고 다른 숫자 하나로 대체한다고 문제가 모두 해결되지는 않는다.
효과크기, 신뢰구간, 베이즈 요인도 오해되거나 기계적으로 사용될 수 있다.
중요한 것은 하나의 지표에 모든 판단을 맡기지 않는 것이다.
효과크기
효과크기는 차이나 관계가 어느 정도인지를 보여준다.
연구에 따라 다음과 같은 지표를 사용할 수 있다.
- 평균 차이
- 비율 차이
- 위험비
- 오즈비
- 상관계수
- 표준화 평균차이
- 회귀계수
- 생존시간 차이
광고 사례에서는 p값보다 다음 정보가 실무적으로 더 직접적이다.
새 광고의 전환율은 기존 광고보다 2.5%포인트 높았다.
신뢰구간
신뢰구간은 효과추정치의 불확실성을 보여준다.
신뢰구간이 좁으면 효과의 범위를 비교적 정밀하게 추정한 것이다. 신뢰구간이 넓으면 표본이 허용하는 효과의 범위가 넓다는 뜻이다.
다만 신뢰구간도 표본선택편향, 모형오류와 측정오차를 자동으로 반영하지 않는다. 같은 데이터와 모형에서 계산된 p값과 신뢰구간은 서로 밀접하게 연결되어 있으므로 신뢰구간만 제시한다고 모든 문제가 해결되는 것도 아니다(Greenland et al., 2016).
실질적으로 중요한 기준
분석 전에 의사결정에 중요한 최소효과를 정할 수 있다.
광고전환율이 적어도 1%포인트 증가해야 비용을 회수할 수 있다면 관심 질문은 다음과 같다.
효과가 정확히 0인가?
보다 다음 질문이 더 유용하다.
효과가 1%포인트를 넘는다고 볼 수 있는가?
현실적인 의사결정 기준과 통계가설을 연결해야 한다.
전체 연구설계
결과를 해석할 때 다음을 함께 확인해야 한다.
- 표본은 어떻게 추출되었는가?
- 처치는 무작위로 배정되었는가?
- 측정도구는 타당한가?
- 결측자료는 어떻게 처리했는가?
- 분석은 사전에 정했는가?
- 여러 가설을 검정했는가?
- 독립적인 연구에서 재현되었는가?
- 선행연구와 결과가 일치하는가?
p값은 이 질문들의 답을 대신하지 않는다.
R로 표본크기가 p값에 미치는 영향 확인하기
같은 전환율 차이에서 표본크기만 달라지는 두 실험을 비교해 보자.
첫 번째 실험은 각 광고당 1,000명을 조사한다.
small_test <- prop.test(
x = c(125, 100),
n = c(1000, 1000),
alternative = "two.sided",
correct = FALSE
)
small_test첫 번째 값은 새 광고, 두 번째 값은 기존 광고다.
양측 p값은 약 0.077이다.
두 번째 실험은 각 광고당 10,000명을 조사한다. 전환율은 똑같다.
large_test <- prop.test(
x = c(1250, 1000),
n = c(10000, 10000),
alternative = "two.sided",
correct = FALSE
)
large_test두 번째 실험의 p값은 0.001보다 훨씬 작다.
효과크기를 직접 계산하면 두 실험 모두 같다.
small_effect <-
125 / 1000 -
100 / 1000
large_effect <-
1250 / 10000 -
1000 / 10000
c(
small_effect = small_effect,
large_effect = large_effect
)두 결과는 모두 0.025다. 즉, 2.5%포인트 차이다.
이 코드는 p값이 효과크기만의 함수가 아니라 표본크기와 표준오차에도 크게 의존한다는 사실을 보여준다.
R로 효과추정치와 신뢰구간 확인하기
두 광고의 전환율 차이와 신뢰구간을 직접 계산할 수 있다.
new_conversion <- 125 / 1000
old_conversion <- 100 / 1000
difference <-
new_conversion -
old_conversion
standard_error <- sqrt(
new_conversion *
(1 - new_conversion) /
1000 +
old_conversion *
(1 - old_conversion) /
1000
)
confidence_interval <-
difference +
c(-1, 1) *
qnorm(0.975) *
standard_error
c(
difference = difference,
lower = confidence_interval[1],
upper = confidence_interval[2]
)이 계산은 두 비율 차이에 대한 단순한 정규근사 신뢰구간이다.
표본이 작거나 사건이 드물다면 정규근사가 부정확할 수 있으므로 적절한 정확검정이나 다른 신뢰구간 방법을 고려해야 한다.
p값만 보는 대신 효과크기와 신뢰구간을 함께 보면 다음을 알 수 있다.
- 관찰된 전환율 차이
- 효과의 방향
- 추정의 정밀도
- 현실적으로 가능한 효과범위
R로 다중검정 p값 보정하기
여러 가설에서 다음과 같은 p값이 나왔다고 하자.
raw_p <- c(
0.003,
0.012,
0.024,
0.041,
0.073,
0.180
)Holm 방법으로 가족단위 오류율을 조정할 수 있다.
holm_p <- p.adjust(
raw_p,
method = "holm"
)Benjamini–Hochberg 방법으로 거짓발견률을 조정할 수 있다.
bh_p <- p.adjust(
raw_p,
method = "BH"
)결과를 표로 정리한다.
data.frame(
raw_p = raw_p,
holm_p = holm_p,
bh_p = bh_p
)보정된 p값이 커진 것은 데이터가 나빠졌다는 뜻이 아니다. 여러 가설 가운데 우연히 작은 p값이 나타날 가능성을 반영한 것이다.
p값은 어떻게 보고해야 하는가
다음과 같은 보고는 정보가 부족하다.
두 집단 사이에 유의한 차이가 있었다.
어떤 방향으로 얼마나 차이가 났는지 알 수 없고, 어떤 검정이 사용되었는지도 알 수 없다.
다음처럼 보고하는 편이 좋다.
새 광고의 구매전환율은 12.5%로 기존 광고의 10.0%보다 2.5%포인트 높았다. 두 비율 차이에 대한 양측검정의 p값은 0.077이었으며, 현재 표본에서는 효과의 존재와 크기를 명확하게 판단하기 어려웠다.
통계적으로 유의한 결과도 다음처럼 효과크기와 신뢰구간을 함께 제시해야 한다.
신약군의 평균 수축기혈압 감소량은 대조군보다 5.8mmHg 컸으며, 평균 차이의 95% 신뢰구간은 2.1mmHg에서 9.5mmHg였다. Welch t검정의 양측 p값은 0.003이었다.
정확한 p값을 제시한다
가능하면 다음처럼 정확한 값을 제시한다.
\[
p=0.032
\]
단순히 다음처럼만 쓰는 것보다 정보가 많다.
\[
p<0.05
\]
매우 작은 p값은 다음처럼 보고할 수 있다.
\[
p<0.001
\]
통계 프로그램이 0으로 출력하더라도 실제 p값이 정확히 0이라는 뜻은 아니다. 계산 정밀도보다 작다는 뜻이다.
따라서 다음 표현은 피해야 한다.
\[
p=0.000
\]
검정방향과 방법을 밝힌다
다음 정보를 함께 제시해야 한다.
- 단측검정 또는 양측검정
- 사용한 통계검정
- 표본크기
- 효과추정치
- 신뢰구간
- 다중검정 보정 여부
- 사전등록 여부
- 주요 분석가정
p값은 분석절차에 따라 달라지므로 계산방법을 공개해야 독자가 결과를 평가할 수 있다.
p값에서 자주 발생하는 오해
p값이 0.03이면 귀무가설이 참일 확률이 3%다
아니다. p값은 귀무가설 아래에서 관찰된 값 이상으로 극단적인 검정통계량이 나올 확률이다.
p값이 0.03이면 결과가 우연일 확률이 3%다
아니다. p값은 모든 형태의 우연, 편향과 오류를 하나의 확률로 계산하지 않는다.
p값이 작으면 효과가 크다
아니다. 표본크기가 매우 크면 작은 효과도 작은 p값을 만들 수 있다.
p값이 크면 효과가 없다
아니다. 표본크기가 부족하거나 변동성이 크면 중요한 효과도 유의하지 않을 수 있다.
p값이 0.05보다 작으면 연구가 성공했다
아니다. 연구설계, 측정, 효과크기, 일반화 가능성과 재현성을 별도로 검토해야 한다.
p값이 0.05보다 크면 연구가 실패했다
아니다. 비유의 결과도 이론을 수정하고 효과의 범위를 좁히며 후속연구를 설계하는 데 중요한 정보를 제공할 수 있다.
p값이 작으면 결과가 재현될 가능성이 높다
아니다. 재현 가능성은 실제 효과크기, 검정력, 표본설계, 측정신뢰도, 분석 유연성과 출판편향의 영향을 받는다.
p값을 0.05와 비교하면 모든 판단이 끝난다
아니다. p값은 과학적 판단을 구성하는 여러 정보 가운데 하나다.
p값을 해석하기 전에 확인할 질문
- 귀무가설은 정확히 무엇인가?
- 대립가설은 단측인가, 양측인가?
- 검정방향은 데이터를 보기 전에 정했는가?
- 관심 있는 효과크기는 무엇인가?
- 실질적으로 중요한 최소효과는 얼마인가?
- 효과추정치와 신뢰구간은 얼마인가?
- 표본크기와 검정력은 충분한가?
- 관측값의 독립성은 적절한가?
- 표본이 목표모집단을 대표하는가?
- 분석모형의 가정은 타당한가?
- 여러 가설과 하위집단을 검정했는가?
- 다중검정 보정을 적용했는가?
- 분석방법은 사전에 정했는가?
- 유의하지 않은 결과를 효과 없음으로 해석하지 않았는가?
- 결과가 독립적인 자료에서 재현되었는가?
p값을 읽는다는 것은 소수점 아래 숫자만 확인하는 일이 아니다. 그 숫자가 만들어진 연구과정 전체를 읽는 일이다.
p값은 판결문이 아니라 경고등입니다
p값은 귀무가설과 분석모형이 맞다고 가정했을 때 현재 결과가 얼마나 이례적인지를 나타내는 통계량이다.
작은 p값은 데이터가 귀무모형과 잘 맞지 않는다는 신호를 줄 수 있다. 그러나 무엇 때문에 잘 맞지 않는지까지 알려주지는 않는다.
실제 효과 때문일 수도 있고, 표본선택·측정오류·모형오류·다중검정 때문일 수도 있다.
비전공자는 다음 다섯 문장으로 기억하면 된다.
p값은 귀무가설이 참일 확률이 아니다.
p값은 결과가 우연일 확률이 아니다.
작은 p값이 큰 효과를 의미하지 않는다.
큰 p값이 효과가 없다는 증거는 아니다.
효과크기, 신뢰구간과 연구설계를 함께 봐야 한다.
통계가 p값을 사용한 이유는 이 숫자가 완벽해서가 아니다. 복잡한 불확실성을 공통된 방식으로 요약하고 장기적인 오류기준과 연결하기에 편리했기 때문이다.
문제는 p값을 사용하는 것이 아니라 p값 하나로 과학적 판단을 끝내는 것이다.
좋은 연구자는 (p<0.05)를 발견한 뒤 곧바로 결론을 선언하지 않는다. 효과가 얼마나 큰지, 추정이 얼마나 정밀한지, 연구설계가 타당한지, 같은 결과가 반복될 수 있는지를 다시 묻는다.
p값은 결론이 아니다. 더 깊이 질문해야 한다는 신호다.
참고문헌
Altman, D. G., & Bland, J. M. (1995). Absence of evidence is not evidence of absence. BMJ, 311(7003), 485. https://doi.org/10.1136/bmj.311.7003.485
Amrhein, V., Greenland, S., & McShane, B. (2019). Scientists rise up against statistical significance. Nature, 567(7748), 305–307. https://doi.org/10.1038/d41586-019-00857-9
Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B, 57(1), 289–300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
Biau, D. J., Jolles, B. M., & Porcher, R. (2010). P value and the theory of hypothesis testing: An explanation for new researchers. Clinical Orthopaedics and Related Research, 468(3), 885–892. https://doi.org/10.1007/s11999-009-1164-4
Gelman, A., & Stern, H. (2006). The difference between “significant” and “not significant” is not itself statistically significant. The American Statistician, 60(4), 328–331. https://doi.org/10.1198/000313006X152649
Goodman, S. (2008). A dirty dozen: Twelve p-value misconceptions. Seminars in Hematology, 45(3), 135–140. https://doi.org/10.1053/j.seminhematol.2008.04.003
Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31, 337–350. https://doi.org/10.1007/s10654-016-0149-3
Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
Kennedy-Shaffer, L. (2019). Before (p<0.05) to beyond (p<0.05): Using history to contextualize p-values and significance testing. The American Statistician, 73(sup1), 82–90. https://doi.org/10.1080/00031305.2018.1537891
Lakens, D., Scheel, A. M., & Isager, P. M. (2018). Equivalence testing for psychological research: A tutorial. Advances in Methods and Practices in Psychological Science, 1(2), 259–269. https://doi.org/10.1177/2515245918770963
Nuzzo, R. (2014). Scientific method: Statistical errors. Nature, 506(7487), 150–152. https://doi.org/10.1038/506150a
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Sterne, J. A. C., & Smith, G. D. (2001). Sifting the evidence—What’s wrong with significance tests? BMJ, 322(7280), 226–231. https://doi.org/10.1136/bmj.322.7280.226
Wasserstein, R. L., & Lazar, N. A. (2016). The ASA’s statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a world beyond “(p<0.05).” The American Statistician, 73(sup1), 1–19. https://doi.org/10.1080/00031305.2019.1583913
