한 온라인 쇼핑몰의 기존 구매전환율이 10%라고 하자. 새로운 광고문구를 적용한 뒤 방문자 1,200명 가운데 138명이 상품을 구매했다.
새 광고의 전환율은 다음과 같다.
\[
\hat{p}=\frac{138}{1200}=0.115
\]
기존 10%에서 11.5%로 증가했으므로 절대적인 변화는 1.5%포인트다.
\[
11.5%-10.0%=1.5%\mathrm{p}
\]
상대적으로는 15% 증가한 것이다.
\[
\frac{0.115-0.100}{0.100}=0.15
\]
마케팅 담당자는 새 광고가 효과적이라고 말할 수 있다. 실제 관찰값만 보면 전환율이 높아졌기 때문이다.
하지만 데이터 분석가는 한 가지를 더 묻는다.
이 정도 차이는 광고효과가 전혀 없어도 우연히 나타날 수 있는가?
표본에서 나타난 1.5%포인트의 차이가 실제 광고효과인지, 방문자의 우연한 구성 차이 때문에 생긴 것인지 판단하려면 표본변동을 고려해야 한다.
이 질문에 답하기 위한 통계적 절차가 가설검정이다.
가설검정은 데이터를 이용해 어떤 주장이 참인지 완벽하게 증명하는 방법이 아니다. 관찰된 결과가 특정한 가설 및 분석모형과 얼마나 잘 양립하는지를 평가하고, 사전에 정한 오류기준에 따라 의사결정을 내리는 절차다.
연구 질문과 통계적 가설은 다르다
연구는 일반적으로 현실적인 질문에서 출발한다.
- 새로운 약이 기존 약보다 혈압을 더 낮추는가?
- 광고문구를 바꾸면 구매전환율이 높아지는가?
- 운동 프로그램이 스트레스를 감소시키는가?
- 두 교육방법의 평균 시험점수가 다른가?
- 정책 시행 후 실업률이 감소했는가?
이러한 연구 질문을 통계적으로 검정하려면 모집단의 모수에 관한 명확한 문장으로 바꾸어야 한다.
예를 들어 기존 교육방법의 모집단 평균점수를 \(\mu_0\), 새로운 교육방법의 모집단 평균점수를 \(\mu\)라고 하자.
새 교육방법의 평균점수가 기존 평균과 다른지를 확인하려면 다음과 같은 가설을 설정할 수 있다.
\[
H_0:\mu=\mu_0
\]
\[
H_1:\mu\neq\mu_0
\]
여기서 \(H_0\)는 귀무가설이고 \(H_1\)은 대립가설이다.
가설은 표본평균에 관한 문장이 아니다. 아직 관찰하지 못한 모집단의 평균이나 효과에 관한 문장이다.
표본평균은 모집단 가설을 평가하기 위해 사용하는 관찰된 통계량이다.
귀무가설은 반드시 ‘효과 없음’일 필요가 없다
귀무가설은 흔히 다음처럼 설명된다.
차이가 없다.
효과가 없다.
관계가 없다.
평균 차이를 검정하는 전통적인 우월성 검정에서는 이러한 설명이 대체로 맞다.
두 집단의 모집단 평균을 \(\mu_1\)과 \(\mu_2\)라고 하면 귀무가설은 다음과 같다.
\[
H_0:\mu_1-\mu_2=0
\]
그러나 모든 가설검정에서 귀무가설이 0을 의미하는 것은 아니다.
기준값과 비교하는 가설
제품의 평균 중량이 기준인 500g과 같은지를 검정할 수 있다.
\[
H_0:\mu=500
\]
비열등성 가설
새 치료법이 기존 치료법보다 일정 수준 이상 나쁘지 않은지를 검정할 수 있다.
임상적으로 허용할 수 있는 차이를 \(\Delta\)라고 하면 다음과 같은 가설을 생각할 수 있다.
\[
H_0:\delta\leq-\Delta
\]
\[
H_1:\delta>-\Delta
\]
여기서 \(\delta\)는 새 치료법과 기존 치료법의 효과 차이다.
이 경우 귀무가설은 “두 치료법이 같다”가 아니라 “새 치료법이 허용한계 이상으로 열등하다”이다.
등가성 가설
두 제품이나 치료법의 차이가 실질적으로 무시할 수 있는 범위 안에 있는지를 검정할 수도 있다.
이 경우에는 단순히 0과 다른지를 검정하는 것이 아니라 효과가 사전에 정한 등가범위 안에 있는지를 평가한다. 두 개의 단측검정을 결합한 TOST 절차가 대표적으로 사용된다(Lakens et al., 2018).
따라서 귀무가설을 무조건 ‘효과 없음’이라고 외우기보다 다음과 같이 이해하는 편이 정확하다.
귀무가설은 현재 검정절차에서 기준으로 삼는 주장이다.
가설검정은 귀무가설 아래의 세계를 상상한다
가설검정에서는 우선 귀무가설과 분석모형이 맞다고 가정한다.
그다음 귀무가설이 참인 세계에서 현재 표본과 같거나 더 극단적인 결과가 얼마나 자주 나타나는지를 계산한다.
예를 들어 한 공장의 제품 평균중량이 500g인지 검정한다고 하자.
표본크기가 \(n\), 표본평균이 \(\bar{x}\), 표본표준편차가 \(s\)라면 다음과 같은 t통계량을 사용할 수 있다.
\[
t=\frac{\bar{x}-500}{s/\sqrt{n}}
\]
분자에는 관찰된 표본평균과 귀무가설의 기준값 사이의 차이가 들어간다.
\[
\bar{x}-500
\]
분모에는 표본평균의 표준오차가 들어간다.
\[
\frac{s}{\sqrt{n}}
\]
따라서 t통계량은 관찰된 차이가 표준오차의 몇 배인지를 보여준다.
표본평균이 기준값에서 멀리 떨어져 있더라도 자료의 변동성이 매우 크면 t값은 작을 수 있다. 반대로 차이가 작더라도 표본크기가 크고 변동성이 작으면 t값은 커질 수 있다.
가설검정은 차이의 크기만 보는 것이 아니라 그 차이가 표본변동에 비해 얼마나 큰지를 평가한다.
p값은 정확히 무엇인가
가설검정에서 가장 많이 사용되면서 가장 많이 오해되는 값이 p값이다.
양측검정에서 p값은 개념적으로 다음과 같이 표현할 수 있다.
\[
p=P(|T|\geq|t_0|\mid H_0)
\]
여기서 \(T\)는 귀무가설 아래에서의 검정통계량이고, \(t_0\)는 실제 표본에서 관찰된 검정통계량이다.
이 수식은 다음을 의미한다.
귀무가설과 분석모형이 맞다고 가정했을 때, 관찰된 검정통계량과 같거나 그보다 더 극단적인 검정통계량이 나타날 확률.
p값에는 단순히 “지금과 같은 데이터”가 아니라 관찰된 결과와 그보다 더 극단적인 결과가 포함된다.
또한 p값은 데이터 전체가 똑같이 반복될 확률이 아니다. 선택한 검정통계량을 기준으로 얼마나 극단적인지를 계산한 값이다.
Wasserstein과 Lazar(2016), Greenland 등(2016)은 p값이 귀무가설의 확률이나 연구결과가 우연일 확률로 해석되어서는 안 된다고 강조한다.
p값이 0.03이라는 의미
p값이 0.03이라면 다음과 같이 해석해야 한다.
귀무가설과 분석모형이 맞다는 조건에서, 현재 관찰된 검정통계량과 같거나 더 극단적인 값이 나타날 확률이 3%다.
다음과 같은 해석은 잘못된 것이다.
- 귀무가설이 참일 확률이 3%다.
- 대립가설이 참일 확률이 97%다.
- 결과가 우연일 확률이 3%다.
- 동일한 연구를 반복하면 97% 확률로 재현된다.
- 연구자가 틀릴 확률이 3%다.
- 효과가 클 확률이 97%다.
p값은 다음 조건부 확률이 아니다.
\[
P(H_0\mid D)
\]
p값은 가설이 주어졌을 때 데이터와 관련된 확률이지, 데이터가 주어졌을 때 가설이 참일 확률이 아니다.
이를 구분해야 한다.
\[
P(D\mid H_0)\neq P(H_0\mid D)
\]
여기서 \(D\)는 관찰된 데이터를 의미한다.
Goodman(2008)은 이 두 확률을 혼동하는 것을 p값 해석의 대표적인 오류로 지적했다.
p값은 귀무가설만 평가하는 것이 아니다
p값이 작게 나온 이유를 모두 귀무가설의 오류로 돌릴 수는 없다.
가설검정에는 다음과 같은 조건들이 함께 포함된다.
- 표본이 적절하게 추출되었다.
- 관측값이 필요한 방식으로 독립적이다.
- 측정오차가 심각하지 않다.
- 사용한 확률모형이 적절하다.
- 검정통계량과 검정방향이 사전에 정해졌다.
- 결측자료 처리가 적절하다.
- 선택적 보고가 발생하지 않았다.
- 교란과 연구설계 문제가 적절하게 처리되었다.
p값이 작다는 것은 귀무가설과 이러한 분석조건을 포함한 전체 모형 아래에서 관찰된 결과가 이례적이라는 뜻이다.
예를 들어 집단 차이가 실제 효과 때문이 아니라 다음 원인에서 나타날 수도 있다.
- 표본선택편향
- 측정오류
- 교란변수
- 데이터 입력오류
- 모델 지정 오류
- 다중검정
- 사후적인 가설변경
- 우연한 극단값
따라서 작은 p값만으로 특정 인과설명이 증명되는 것은 아니다.
유의수준은 의사결정 기준이다
유의수준은 귀무가설을 기각할 기준을 사전에 정한 값이다. 일반적으로 \(\alpha\)로 표시한다.
\[
\alpha=0.05
\]
p값이 유의수준보다 작거나 같으면 귀무가설을 기각한다.
\[
p\leq\alpha
\]
p값이 유의수준보다 크면 귀무가설을 기각하지 못한다.
\[
p>\alpha
\]
중요한 점은 유의수준을 분석결과를 보기 전에 정해야 한다는 것이다.
p값이 0.06로 나온 뒤 유의수준을 0.10으로 바꾸거나, p값이 0.04로 나온 뒤 단측검정으로 변경하는 것은 오류율을 사전에 통제하는 검정의 원리를 훼손한다.
0.05는 자연법칙이 아니다
0.05는 역사적으로 널리 사용되어 온 관행적 기준이다. 효과가 중요한지 여부를 결정하는 자연적인 경계선은 아니다.
다음 두 p값을 비교해 보자.
\[
p=0.049
\]
\[
p=0.051
\]
관행적인 기준에서는 첫 번째 결과를 유의하다고 하고 두 번째 결과를 유의하지 않다고 한다. 그러나 두 결과가 제공하는 증거의 강도가 본질적으로 크게 다르다고 보기 어렵다.
Gelman과 Stern(2006)은 “유의한 결과와 유의하지 않은 결과의 차이가 그 자체로 유의한 차이는 아니다”라고 지적했다. Wasserstein 등(2019)도 p값 하나를 기준으로 연구결과를 성공과 실패로 이분화하지 말 것을 권고했다.
따라서 다음 표현은 피하는 것이 좋다.
p값이 0.049이므로 효과가 있고, 0.051이므로 효과가 없다.
보다 적절한 표현은 효과추정치, 신뢰구간, 연구설계 및 선행증거를 함께 고려하는 것이다.
1종 오류는 없는 효과를 있다고 판단하는 오류다
귀무가설이 실제로 참인데도 이를 기각하면 1종 오류가 발생한다.
| 현실 | 검정 결과 | 판단 |
|---|---|---|
| 귀무가설이 참 | 귀무가설 기각 | 1종 오류 |
| 귀무가설이 참 | 기각하지 못함 | 올바른 판단 |
| 대립가설이 참 | 귀무가설 기각 | 올바른 판단 |
| 대립가설이 참 | 기각하지 못함 | 2종 오류 |
적절한 검정절차에서 유의수준을 0.05로 정했다면, 귀무가설이 참인 상황에서 같은 절차를 반복했을 때 장기적으로 약 5% 이하의 비율로 귀무가설을 잘못 기각하도록 설계한 것이다.
그러나 이것은 다음을 뜻하지 않는다.
현재 유의한 결과가 거짓양성일 확률이 5%다.
유의수준은 반복적인 검정절차의 장기 오류율이다. 현재 연구결과 하나에서 귀무가설이 참일 조건부 확률이 아니다.
실제 발표된 유의한 결과 가운데 거짓양성이 차지하는 비율은 선행확률, 검정력, 선택적 보고와 분석관행에 따라 달라질 수 있다(Ioannidis, 2005).
2종 오류는 존재하는 효과를 발견하지 못하는 오류다
실제로 효과가 존재하지만 귀무가설을 기각하지 못하면 2종 오류가 발생한다.
2종 오류의 확률은 일반적으로 \(\beta\)로 표시한다.
검정력은 실제 효과가 존재할 때 귀무가설을 올바르게 기각할 확률이다.
\[
\mathrm{Power}=1-\beta
\]
Power라는 문자를 쓰지 않고 수식 호환성을 높이려면 다음 관계만 사용할 수도 있다.
\[
1-\beta
\]
검정력은 하나의 고정된 값이 아니다. 대립가설에서 가정한 구체적인 효과크기에 따라 달라진다.
효과가 매우 크면 발견하기 쉽다. 효과가 0에 가까우면 큰 표본에서도 발견하기 어렵다.
검정력에 영향을 주는 주요 요소는 다음과 같다.
- 표본크기
- 실제 효과크기
- 자료의 변동성
- 유의수준
- 단측 또는 양측검정
- 측정신뢰도
- 연구설계
- 분석방법
Cohen(1992)은 연구설계 단계에서 예상효과와 검정력을 바탕으로 필요한 표본크기를 검토해야 한다고 강조했다.
유의수준을 낮추면 모든 오류가 줄어드는 것은 아니다
표본크기와 효과크기가 동일한 상태에서 유의수준을 0.05에서 0.01로 낮추면 1종 오류 가능성은 줄어든다.
그러나 귀무가설을 기각하기가 어려워지므로 2종 오류 가능성은 증가하고 검정력은 감소할 수 있다.
1종 오류와 2종 오류를 동시에 줄이기 위한 대표적인 방법은 표본크기를 늘리거나 측정오차를 줄이는 것이다.
가설검정은 오류를 완전히 제거하는 방법이 아니라 어떤 종류의 오류를 어느 정도 허용할지 설계하는 방법이다.
유의하지 않다는 것은 효과가 없다는 뜻이 아니다
p값이 0.20으로 나왔다고 하자.
이 결과는 다음을 의미한다.
현재 데이터와 분석방법으로 귀무가설을 기각할 충분한 근거를 얻지 못했다.
다음과 같은 결론은 자동으로 따라오지 않는다.
- 두 집단은 완전히 같다.
- 효과가 존재하지 않는다.
- 귀무가설이 참이다.
- 치료효과가 임상적으로 중요하지 않다.
- 앞으로 더 연구할 필요가 없다.
Altman과 Bland(1995)는 “증거의 부재는 부재의 증거가 아니다”라고 지적했다.
유의하지 않은 결과는 여러 이유로 나타날 수 있다.
- 실제로 효과가 없다.
- 효과는 있지만 작다.
- 표본크기가 부족하다.
- 측정오차가 크다.
- 표본변동이 크다.
- 연구설계가 효과를 잘 포착하지 못했다.
- 서로 반대되는 하위집단 효과가 상쇄되었다.
효과가 없다는 주장을 하려면 단순히 p값이 0.05보다 크다는 사실보다 등가성 검정이나 충분히 좁은 신뢰구간이 필요하다.
단측검정과 양측검정은 연구 전에 결정해야 한다
양측검정은 기준값보다 크거나 작은 두 방향의 차이를 모두 고려한다.
\[
H_0:\mu=\mu_0
\]
\[
H_1:\mu\neq\mu_0
\]
단측검정은 한 방향의 차이에만 관심을 둔다.
오른쪽 단측검정은 다음과 같다.
\[
H_0:\mu\leq\mu_0
\]
\[
H_1:\mu>\mu_0
\]
왼쪽 단측검정은 다음과 같다.
\[
H_0:\mu\geq\mu_0
\]
\[
H_1:\mu<\mu_0
\]
단측검정은 단순히 p값을 줄이는 방법이 아니다
양측검정으로 p값이 0.08이 나온 뒤 단측검정으로 바꾸어 p값을 0.04로 보고해서는 안 된다.
검정방향은 데이터를 보기 전에 연구목적과 이론에 따라 정해야 한다.
단측검정을 사용하려면 반대 방향의 효과가 나타나더라도 연구결론에서 별도로 중요한 발견으로 취급하지 않는다는 논리가 필요하다.
예를 들어 신약이 기존 약보다 효과가 떨어지는 것도 중요한 결과라면 양측검정이 자연스럽다.
신약의 효과가 높아질 가능성만 보고 낮아질 가능성을 분석에서 제외하면 위험한 결론을 내릴 수 있다.
광고 전환율 사례에서 검정방향의 차이
앞의 광고 사례에서 기존 전환율 10%를 고정된 기준으로 보고 정확이항검정을 실시하면 다음과 같은 결과를 얻을 수 있다.
- 오른쪽 단측검정 p값: 약 0.048
- 양측검정 p값: 약 0.083
단측검정에서는 0.05보다 작지만 양측검정에서는 0.05보다 크다.
어느 결과를 선택할지는 p값을 본 뒤 결정하는 것이 아니다.
실험을 설계할 때 다음을 먼저 정해야 한다.
새 광고가 기존보다 높은지를 검정하는가?
또는
새 광고가 기존과 다른지를 검정하는가?
같은 데이터라도 사전에 정의한 연구가설에 따라 검정결과가 달라질 수 있다.
p값은 효과크기를 알려주지 않는다
p값이 매우 작다고 해서 효과가 반드시 큰 것은 아니다.
검정통계량에는 효과의 크기뿐 아니라 표준오차가 함께 들어간다.
일반적인 형태는 다음과 같다.
\[
\mathrm{검정통계량}=
\frac{\mathrm{효과추정치}-\mathrm{기준값}}
{\mathrm{표준오차}}
\]
표본크기가 커지면 표준오차가 작아진다. 따라서 실제로는 매우 작은 차이라도 표본이 충분히 크면 p값이 작아질 수 있다.
예를 들어 사용자 100만 명을 대상으로 한 실험에서 전환율이 10.000%에서 10.020%로 증가했다고 하자.
통계적으로는 매우 작은 p값이 나올 수 있다. 그러나 0.020%포인트의 증가가 광고비용과 시스템 변경비용을 고려했을 때 실무적으로 중요한지는 별도의 문제다.
반대로 작은 연구에서 평균 차이가 크더라도 표준오차가 커서 유의하지 않을 수 있다.
통계적 유의성과 실질적 중요성은 다르다.
| 개념 | 질문 |
|---|---|
| 통계적 유의성 | 관찰된 결과가 귀무가설 아래에서 이례적인가? |
| 효과크기 | 차이나 관계가 어느 정도인가? |
| 실질적 중요성 | 그 차이가 현실적인 의사결정에서 중요한가? |
| 정밀도 | 효과추정치의 불확실성이 어느 정도인가? |
Sterne과 Smith(2001), Wasserstein과 Lazar(2016)는 p값을 효과의 크기나 중요성으로 해석해서는 안 된다고 강조한다.
효과추정치와 신뢰구간을 함께 봐야 한다
평균 차이를 분석했다면 p값뿐 아니라 평균 차이와 신뢰구간을 제시해야 한다.
예를 들어 두 교육방법의 평균점수 차이가 3.2점이고 95% 신뢰구간이 0.5점에서 5.9점이라면 다음과 같이 해석할 수 있다.
- 추정된 평균 차이는 3.2점이다.
- 0에 가까운 작은 효과도 자료와 양립할 수 있다.
- 약 6점에 가까운 차이도 자료와 양립할 수 있다.
- 신뢰구간이 0을 포함하지 않으므로 대응하는 양측검정에서는 일반적으로 유의하다.
같은 모형과 검정방법을 사용할 때 양측 5% 가설검정과 95% 신뢰구간은 밀접하게 연결된다.
\[
\bar{x}\pm t^*\frac{s}{\sqrt{n}}
\]
여기서 \(t^*\)는 신뢰수준과 자유도에 따라 결정되는 임계값이다.
그러나 신뢰구간도 모든 불확실성을 포함하지는 않는다. 표본선택편향, 측정오류, 교란과 모형오류는 일반적인 신뢰구간에 자동으로 반영되지 않는다(Greenland et al., 2016).
신뢰구간이 넓으면 결론이 불확실하다
평균 차이가 4점이고 95% 신뢰구간이 -3점에서 11점이라고 하자.
p값은 0.05보다 클 가능성이 크다. 그러나 이 결과는 효과가 없다는 증거라기보다 자료가 다음 가능성을 모두 허용한다는 뜻이다.
- 약간의 부정적 효과
- 효과 없음
- 상당한 긍정적 효과
이때 중요한 문제는 유의성보다 추정의 불확실성이다.
신뢰구간이 넓다면 더 많은 데이터나 더 정밀한 측정이 필요할 수 있다.
유의한 결과와 유의하지 않은 결과를 직접 비교해야 한다
A집단에서는 치료효과가 유의했고 B집단에서는 유의하지 않았다고 하자.
다음과 같은 결론을 내리기 쉽다.
치료는 A집단에서는 효과가 있지만 B집단에서는 효과가 없다.
그러나 한 집단의 p값이 0.03이고 다른 집단의 p값이 0.08이라는 사실만으로 두 집단의 효과가 서로 다르다고 결론 내릴 수 없다.
두 효과의 차이를 직접 검정해야 한다.
회귀모형에서는 집단과 치료의 상호작용항을 사용할 수 있다.
\[
Y=\beta_0+\beta_1X+\beta_2G+\beta_3XG+\epsilon
\]
여기서 \(\beta_3\)가 집단에 따른 치료효과 차이를 나타낸다.
Gelman과 Stern(2006)은 “통계적으로 유의함”과 “유의하지 않음” 사이의 차이가 실제로 통계적으로 유의한 차이를 뜻하지 않는다고 설명한다.
여러 가설을 검정하면 거짓양성이 증가한다
한 연구에서 서로 독립적인 귀무가설 20개를 각각 5% 유의수준으로 검정한다고 하자.
모든 귀무가설이 참이고 검정들이 독립적이라면 적어도 하나의 거짓양성이 발생할 확률은 다음과 같다.
\[
1-(1-0.05)^{20}
\]
\[
1-0.95^{20}\approx0.642
\]
약 64.2%다.
개별 검정의 1종 오류가 5%라고 해서 연구 전체의 거짓양성 위험도 5%인 것은 아니다.
다중검정은 다음과 같은 상황에서 발생한다.
- 여러 결과변수를 검정한다.
- 여러 하위집단을 분석한다.
- 여러 시점에서 반복검정한다.
- 여러 독립변수를 비교한다.
- 다양한 모형 가운데 유의한 결과만 선택한다.
- 여러 컷오프를 시도한다.
- 유의한 결과가 나올 때까지 자료를 추가한다.
가족단위 오류율과 거짓발견률
여러 검정 가운데 하나라도 거짓양성이 나올 확률을 통제하려면 Bonferroni나 Holm 방법을 사용할 수 있다.
많은 가설 가운데 거짓발견의 기대비율을 통제하려면 Benjamini–Hochberg 방법을 고려할 수 있다(Benjamini & Hochberg, 1995).
어떤 보정방법이 적절한지는 연구목적에 따라 달라진다.
확증적 임상시험처럼 하나의 거짓양성이 큰 문제를 일으키는 연구와 수천 개의 유전자를 탐색하는 연구는 동일한 기준을 사용할 필요가 없다.
분석의 자유도가 p값을 왜곡할 수 있다
연구자는 분석과정에서 수많은 선택을 한다.
- 어떤 관측값을 제외할 것인가?
- 공변량을 포함할 것인가?
- 결과변수를 어떻게 변환할 것인가?
- 단측검정인가 양측검정인가?
- 어떤 하위집단을 분석할 것인가?
- 언제 자료수집을 중단할 것인가?
- 여러 결과 가운데 무엇을 보고할 것인가?
각 선택이 결과를 본 뒤 이루어지고 유의한 조합만 보고된다면 실제 1종 오류율은 명목상 5%보다 커질 수 있다.
Simmons 등(2011)은 분석 유연성과 선택적 보고가 거짓양성 결과를 쉽게 만들어낼 수 있음을 보였다.
이 문제를 줄이는 방법은 다음과 같다.
- 연구가설과 주된 결과변수를 사전에 정한다.
- 표본크기 결정방식을 기록한다.
- 제외기준을 사전에 정한다.
- 확증분석과 탐색분석을 구분한다.
- 모든 주요 분석결과를 보고한다.
- 다중검정을 고려한다.
- 연구계획을 사전등록한다.
- 가능하면 독립자료에서 재현한다.
Nosek 등(2018)은 사전등록이 가설생성과 가설검정을 구분하고 선택적 분석의 위험을 줄이는 데 도움이 된다고 설명한다.
사전등록은 분석변경을 금지하는 절차가 아니다. 변경이 있었다면 그 사실과 이유를 투명하게 밝히는 절차다.
가설검정은 연구설계를 대신하지 않는다
p값 계산이 정확하더라도 연구설계가 잘못되면 결론이 타당하지 않을 수 있다.
편향된 표본
자발적으로 온라인 설문에 참여한 사람만 조사했다면 표본평균의 p값이 매우 작아도 모집단 전체로 일반화하기 어렵다.
교란변수
운동한 사람과 운동하지 않은 사람의 스트레스를 비교할 때 연령, 건강상태와 업무량이 다르면 운동효과와 교란효과를 구분하기 어렵다.
군집자료
같은 학교 학생이나 같은 병원 환자는 서로 비슷할 수 있다. 이를 독립적인 관측값처럼 분석하면 표준오차가 지나치게 작아질 수 있다.
반복측정자료
동일한 사람을 여러 번 측정한 자료에서는 측정값들이 서로 독립적이지 않다. 독립표본 검정이 아니라 대응분석이나 반복측정모형이 필요하다.
측정오차
설문 문항이 연구개념을 제대로 측정하지 못하면 작은 p값이 나와도 이론적 의미가 약하다.
가설검정은 잘 설계된 연구에서 불확실성을 평가하는 도구다. 잘못된 연구설계를 통계적으로 복구하는 장치가 아니다.
광고 전환율 사례를 R로 검정하기
기존 전환율 10%를 고정된 기준으로 보고, 새 광고에서 방문자 1,200명 가운데 138명이 구매했다고 하자.
conversions <- 138L
visitors <- 1200L
benchmark <- 0.10
observed_rate <- conversions / visitors
observed_rate관찰된 전환율은 0.115, 즉 11.5%다.
절대변화와 상대변화를 계산할 수 있다.
absolute_change <-
observed_rate - benchmark
relative_change <-
observed_rate / benchmark - 1
c(
observed_rate = observed_rate,
absolute_change = absolute_change,
relative_change = relative_change
)절대변화는 0.015이므로 1.5%포인트이고, 상대변화는 0.15이므로 15%다.
오른쪽 단측검정
새 광고의 전환율이 기준보다 높은지를 검정한다.
one_sided_result <- binom.test(
x = conversions,
n = visitors,
p = benchmark,
alternative = "greater"
)
one_sided_result가설은 다음과 같다.
\[
H_0:p\leq0.10
\]
\[
H_1:p>0.10
\]
정확이항검정의 단측 p값은 약 0.048이다.
양측검정
새 광고의 전환율이 기준과 다른지를 검정한다.
two_sided_result <- binom.test(
x = conversions,
n = visitors,
p = benchmark,
alternative = "two.sided"
)
two_sided_result가설은 다음과 같다.
\[
H_0:p=0.10
\]
\[
H_1:p\neq0.10
\]
양측 p값은 약 0.083이다.
같은 데이터에서도 연구 전에 설정한 가설방향에 따라 p값과 결론이 달라진다.
다만 기존 10%가 고정된 기준이 아니라 별도의 표본에서 추정한 값이라면 두 집단의 표본불확실성을 모두 반영하는 두 비율 비교가 필요하다.
R로 두 집단 평균을 검정하기
가상의 교육방법 A와 B의 시험점수를 만들어보자.
score_data <- data.frame(
group = rep(
c("A", "B"),
each = 12
),
score = c(
72, 75, 78, 76, 80, 74,
77, 79, 73, 81, 76, 75,
78, 82, 80, 84, 79, 83,
81, 85, 77, 82, 80, 84
)
)집단별 평균과 표준편차를 확인한다.
aggregate(
score ~ group,
data = score_data,
FUN = function(x) {
c(
n = length(x),
mean = mean(x),
sd = sd(x)
)
}
)분산이 같다는 가정을 요구하지 않는 Welch t검정을 실행한다.
test_result <- t.test(
score ~ group,
data = score_data,
var.equal = FALSE,
alternative = "two.sided",
conf.level = 0.95
)
test_resultR의 결과에서는 다음 내용을 확인해야 한다.
- t통계량
- 자유도
- p값
- 집단별 평균
- 평균 차이에 관한 신뢰구간
p값만 복사하기보다 평균 차이와 신뢰구간을 함께 보고해야 한다.
R로 검정력을 고려한 표본크기 계산하기
두 독립집단의 평균 차이 3점을 발견하고 싶다고 하자.
모집단 표준편차를 10점, 유의수준을 0.05, 목표 검정력을 0.80으로 설정할 수 있다.
power.t.test(
delta = 3,
sd = 10,
sig.level = 0.05,
power = 0.80,
type = "two.sample",
alternative = "two.sided"
)여기서 delta는 발견하려는 평균 차이이고 sd는 예상 표준편차다.
필요한 표본크기는 예상효과와 표준편차에 크게 의존한다. 근거 없이 효과크기를 크게 가정하면 필요한 표본크기가 지나치게 작게 계산될 수 있다.
표본크기 설계에서는 다음 질문이 중요하다.
통계적으로 발견하고 싶은 가장 작은 효과는 얼마인가?
분야에서 실질적으로 의미 있는 최소효과를 먼저 정한 뒤 표본크기를 계산하는 것이 바람직하다.
R로 다중검정 p값 보정하기
다섯 개의 가설에서 다음 p값이 나왔다고 하자.
raw_p <- c(
0.004,
0.012,
0.031,
0.044,
0.080
)Holm 방법으로 가족단위 오류율을 조정할 수 있다.
holm_p <- p.adjust(
raw_p,
method = "holm"
)Benjamini–Hochberg 방법으로 거짓발견률을 조정할 수 있다.
bh_p <- p.adjust(
raw_p,
method = "BH"
)결과를 표로 정리한다.
data.frame(
raw_p = raw_p,
holm_p = holm_p,
bh_p = bh_p
)보정된 p값은 원래 p값보다 커질 수 있다. 이는 검정이 실패했다는 뜻이 아니라 여러 가설을 동시에 검정하면서 증가하는 오류 가능성을 반영한 것이다.
결과는 어떻게 보고해야 할까
가설검정 결과를 다음처럼 쓰는 경우가 많다.
두 집단 사이에 유의한 차이가 있었다.
이 문장만으로는 효과의 방향, 크기와 불확실성을 알 수 없다.
보다 좋은 보고방식은 다음과 같다.
B집단의 평균점수는 A집단보다 4.1점 높았다. 평균 차이의 95% 신뢰구간은 1.2점에서 7.0점이었으며, Welch t검정의 양측 p값은 0.006이었다.
다음 정보가 포함되어 있다.
- 어떤 집단의 값이 높은가?
- 평균 차이는 얼마인가?
- 추정의 불확실성은 어느 정도인가?
- 어떤 검정을 사용했는가?
- 단측인지 양측인지?
- 정확한 p값은 얼마인가?
p값이 매우 작으면 다음처럼 보고할 수 있다.
(p<0.001)
그러나 p값이 0.043이라면 단순히 (p<0.05)라고 쓰기보다 정확한 값을 제시하는 것이 좋다.
유의하지 않은 결과의 보고
다음과 같은 표현은 피해야 한다.
두 집단은 차이가 없었다.
보다 적절한 표현은 다음과 같다.
평균 차이는 1.4점이었고 95% 신뢰구간은 -2.1점에서 4.9점이었다. 현재 자료에서는 두 집단의 평균 차이를 명확하게 판단하기 어려웠다.
이 문장은 차이가 없다고 단정하지 않고 자료가 허용하는 효과범위를 보여준다.
가설검정에서 자주 발생하는 오류
p값을 귀무가설이 참일 확률로 해석한다
p값은 \(P(H_0\mid D)\)가 아니다. 귀무가설 아래에서 관찰된 검정통계량과 같거나 더 극단적인 결과가 나타날 확률이다.
p값을 결과가 우연일 확률이라고 말한다
통계학에서 ‘우연’이 정확히 무엇을 의미하는지 불명확하다. p값은 특정한 귀무모형 아래의 표본변동을 평가한다.
p값이 작으면 효과가 크다고 생각한다
p값은 효과크기와 표본크기 모두의 영향을 받는다. 효과추정치와 신뢰구간을 함께 봐야 한다.
유의하지 않으면 효과가 없다고 결론 내린다
유의하지 않은 결과에는 효과 없음뿐 아니라 낮은 검정력과 큰 불확실성도 포함된다.
단측검정을 결과를 본 뒤 선택한다
검정방향은 데이터를 보기 전에 정해야 한다. 사후적인 방향변경은 오류율을 증가시킨다.
p값 0.049와 0.051을 완전히 다른 결과로 취급한다
둘 사이에는 증거의 급격한 단절이 없다. 효과크기와 신뢰구간을 연속적으로 해석해야 한다.
한 집단에서는 유의하고 다른 집단에서는 유의하지 않으므로 효과가 다르다고 말한다
집단 간 효과 차이는 상호작용이나 계수 차이를 통해 직접 검정해야 한다.
여러 분석 가운데 유의한 결과만 보고한다
여러 결과변수, 하위집단과 모형을 시도하면 거짓양성 가능성이 증가한다. 전체 분석과 다중검정 문제를 투명하게 밝혀야 한다.
통계적으로 유의하면 인과관계라고 해석한다
가설검정은 인과설계를 대신하지 않는다. 무작위배정, 교란통제와 시간적 순서를 별도로 검토해야 한다.
p값만 보고 연구결론을 내린다
과학적 결론은 p값 하나가 아니라 연구설계, 효과크기, 정밀도, 선행연구, 측정타당도와 재현성을 함께 고려해야 한다.
분석 전에 확인할 질문
- 연구 질문은 무엇인가?
- 관심 있는 효과는 평균 차이, 비율 차이 또는 관계인가?
- 귀무가설과 대립가설은 명확한가?
- 단측검정과 양측검정 가운데 무엇이 적절한가?
- 검정방향은 데이터를 보기 전에 정했는가?
- 실질적으로 중요한 최소효과는 얼마인가?
- 유의수준은 사전에 정했는가?
- 목표 검정력과 표본크기를 검토했는가?
- 관측값의 독립성과 표본설계가 적절한가?
- 분석모형의 가정이 적절한가?
- 여러 가설을 동시에 검정하는가?
- 효과크기와 신뢰구간을 보고할 것인가?
- 유의하지 않은 결과를 효과 없음으로 오해하지 않는가?
- 확증분석과 탐색분석을 구분했는가?
- 연구결론이 p값 하나에 지나치게 의존하지 않는가?
가설검정은 데이터를 입력한 뒤 p값을 얻는 마지막 단계가 아니다. 연구질문을 정의하고 표본을 설계하는 순간부터 시작된다.
가설검정은 결론을 대신하지 않습니다
가설검정은 불확실한 표본자료를 이용해 모집단에 관한 주장을 평가하는 절차다.
귀무가설과 대립가설을 설정하고, 귀무가설 아래에서 관찰된 검정통계량이 얼마나 극단적인지를 p값으로 평가한다. 사전에 정한 유의수준에 따라 귀무가설을 기각하거나 기각하지 못한다고 판단한다.
그러나 p값은 다음을 알려주지 않는다.
- 귀무가설이 참일 확률
- 대립가설이 참일 확률
- 효과가 중요한 정도
- 결과가 재현될 확률
- 연구설계가 올바른지 여부
- 인과관계가 성립하는지 여부
비전공자는 다음 네 문장으로 기억하면 된다.
p값은 귀무가설이 참일 확률이 아니다.
유의하지 않다는 것은 효과가 없다는 증거가 아니다.
통계적으로 유의한 결과가 실질적으로 중요한 결과인 것은 아니다.
p값은 효과크기, 신뢰구간과 연구설계 안에서 해석해야 한다.
숫자는 연구자의 질문에 자동으로 답하지 않는다. 질문을 가설로 명확하게 바꾸고, 어떤 오류를 감수할 것인지 정하고, 데이터가 허용하는 불확실성의 범위를 정직하게 설명해야 한다.
좋은 가설검정은 귀무가설을 기각하는 기술이 아니다. 현재 데이터로 무엇을 말할 수 있고 무엇을 아직 말할 수 없는지를 구분하는 사고방식이다.
참고문헌
Altman, D. G., & Bland, J. M. (1995). Absence of evidence is not evidence of absence. BMJ, 311(7003), 485. https://doi.org/10.1136/bmj.311.7003.485
Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal Statistical Society: Series B, 57(1), 289–300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x
Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159. https://doi.org/10.1037/0033-2909.112.1.155
Gelman, A., & Stern, H. (2006). The difference between “significant” and “not significant” is not itself statistically significant. The American Statistician, 60(4), 328–331. https://doi.org/10.1198/000313006X152649
Goodman, S. (2008). A dirty dozen: Twelve p-value misconceptions. Seminars in Hematology, 45(3), 135–140. https://doi.org/10.1053/j.seminhematol.2008.04.003
Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31, 337–350. https://doi.org/10.1007/s10654-016-0149-3
Ioannidis, J. P. A. (2005). Why most published research findings are false. PLoS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
Lakens, D., Scheel, A. M., & Isager, P. M. (2018). Equivalence testing for psychological research: A tutorial. Advances in Methods and Practices in Psychological Science, 1(2), 259–269. https://doi.org/10.1177/2515245918770963
Neyman, J., & Pearson, E. S. (1933). On the problem of the most efficient tests of statistical hypotheses. Philosophical Transactions of the Royal Society of London. Series A, 231, 289–337. https://doi.org/10.1098/rsta.1933.0009
Nosek, B. A., Ebersole, C. R., DeHaven, A. C., & Mellor, D. T. (2018). The preregistration revolution. Proceedings of the National Academy of Sciences, 115(11), 2600–2606. https://doi.org/10.1073/pnas.1708274114
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Sterne, J. A. C., & Smith, G. D. (2001). Sifting the evidence—What’s wrong with significance tests? BMJ, 322(7280), 226–231. https://doi.org/10.1136/bmj.322.7280.226
Wasserstein, R. L., & Lazar, N. A. (2016). The ASA’s statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
Wasserstein, R. L., Schirm, A. L., & Lazar, N. A. (2019). Moving to a world beyond “p < 0.05.” The American Statistician, 73(sup1), 1–19. https://doi.org/10.1080/00031305.2019.1583913
