한 병원에서 새로운 혈압관리 프로그램을 적용한 환자 100명의 수축기혈압을 측정했더니 평균이 130mmHg로 나타났다고 하자.
그렇다면 이 프로그램을 이용하는 전체 환자의 평균 혈압도 정확히 130mmHg일까?
그렇게 단정할 수는 없다.
우리가 관찰한 100명은 전체 환자 가운데 일부에 불과하다. 우연히 혈압이 조금 높은 환자가 많이 포함되었다면 표본평균은 실제 모집단 평균보다 높게 나올 수 있다. 반대로 혈압이 낮은 환자가 상대적으로 많이 포함되었다면 표본평균은 실제 평균보다 낮아질 수 있다.
같은 모집단에서 다른 환자 100명을 뽑으면 평균은 128.7mmHg, 131.4mmHg 또는 129.6mmHg처럼 달라질 수 있다.
표본평균 130mmHg는 모집단 평균을 추정하기 위한 가장 좋은 단일 숫자 가운데 하나지만, 그 숫자가 얼마나 불확실한지는 보여주지 않는다.
통계학은 이 불확실성을 신뢰구간으로 표현한다.
예를 들어 평균 혈압의 95% 신뢰구간이 127mmHg에서 133mmHg라고 하자. 이는 130mmHg라는 점추정치와 함께 모집단 평균에 관해 자료와 통계모형이 허용하는 범위를 제시한다.
신뢰구간은 하나의 정확한 값을 약속하지 않는다. 대신 다음 질문에 답한다.
현재 표본과 분석모형을 기준으로 모집단의 값은 어느 정도 범위에 있다고 볼 수 있는가?
그러나 신뢰구간 역시 자동으로 믿을 수 있는 범위를 만들어주는 장치는 아니다. 표본추출, 독립성, 분포와 분석모형에 관한 조건이 충족되어야 하며, 95%라는 숫자의 의미도 정확하게 이해해야 한다.
점추정은 하나의 숫자를 제시한다
모집단의 평균, 비율이나 효과크기처럼 알고 싶은 값을 모수라고 한다.
모집단 평균은 일반적으로 다음 기호로 나타낸다.
\[
\mu
\]
모집단 전체를 조사할 수 없을 때는 표본평균을 이용해 모집단 평균을 추정한다.
\[
\bar{x}=\frac{\sum_{i=1}^{n}x_i}{n}
\]
여기서 각 기호의 의미는 다음과 같다.
- \(x_i\): 각 관측값
- \(n\): 표본크기
- \(\bar{x}\): 표본평균
표본평균처럼 모수를 하나의 숫자로 추정한 값을 점추정치라고 한다.
예를 들어 다음과 같이 보고할 수 있다.
환자 100명의 평균 수축기혈압은 130mmHg였다.
이 문장은 표본의 중심을 명확하게 보여준다. 하지만 표본평균이 모집단 평균을 얼마나 정밀하게 추정하는지는 알 수 없다.
다음 두 연구를 비교해 보자.
| 연구 | 표본평균 | 표준편차 | 표본크기 |
|---|---|---|---|
| A | 130 | 15 | 100 |
| B | 130 | 40 | 10 |
두 연구의 표본평균은 모두 130이다.
그러나 A 연구는 환자 100명을 조사했고 변동성이 상대적으로 작다. B 연구는 환자가 10명뿐이고 개인차도 크다.
두 연구가 모집단 평균을 같은 정도로 정밀하게 추정한다고 볼 수는 없다.
점추정치는 중심을 보여주지만 불확실성의 크기를 보여주지 않는다. 이를 보완하는 것이 구간추정이다.
신뢰구간은 추정치의 불확실성을 보여준다
신뢰구간은 일반적으로 다음 구조를 가진다.
\[
\mathrm{점추정치}\pm\mathrm{오차한계}
\]
워드프레스에서 한글 수식 명령이 제대로 표시되지 않는다면 다음과 같은 수치 구조로 이해하면 된다.
\[
\hat{\theta}\pm c\times SE(\hat{\theta})
\]
여기서 각 기호는 다음과 같다.
- \(\hat{\theta}\): 관심 모수의 점추정치
- \(SE(\hat{\theta})\): 점추정치의 표준오차
- \(c\): 신뢰수준에 따라 결정되는 임계값
95% 신뢰구간에서는 정규근사가 적절한 경우 약 1.96이라는 임계값을 사용한다.
\[
\hat{\theta}\pm1.96\times SE(\hat{\theta})
\]
그러나 모집단 표준편차를 모르고 표본평균을 추정할 때는 표본크기와 자유도를 고려한 t분포의 임계값을 사용하는 것이 일반적이다.
평균의 신뢰구간은 어떻게 계산하는가
표본평균의 표준오차는 다음과 같다.
\[
SE(\bar{x})=\frac{s}{\sqrt{n}}
\]
여기서 \(s\)는 표본표준편차이고 \(n\)은 표본크기다.
모집단 표준편차를 모르는 경우 평균의 신뢰구간은 다음과 같이 계산할 수 있다.
\[
\bar{x}\pm t_{1-\alpha/2,n-1}\frac{s}{\sqrt{n}}
\]
95% 신뢰구간이라면 다음 식을 사용한다.
\[
\bar{x}\pm t_{0.975,n-1}\frac{s}{\sqrt{n}}
\]
여기서 \(t_{0.975,n-1}\)은 자유도 \(n-1\)인 t분포의 97.5번째 백분위수다.
평균 혈압 사례
환자 100명의 평균 수축기혈압이 130mmHg이고 표본표준편차가 15mmHg라고 하자.
\[
\bar{x}=130
\]
\[
s=15
\]
\[
n=100
\]
표준오차는 다음과 같다.
\[
SE(\bar{x})=\frac{15}{\sqrt{100}}=1.5
\]
자유도는 99이고 95% 신뢰구간에 사용하는 t임계값은 약 1.984다.
오차한계는 다음과 같다.
\[
1.984\times1.5\approx2.976
\]
따라서 95% 신뢰구간은 다음과 같다.
\[
130\pm2.976
\]
\[
127.024\leq\mu\leq132.976
\]
소수점 첫째 자리까지 반올림하면 약 127.0mmHg에서 133.0mmHg다.
결과는 다음처럼 보고할 수 있다.
환자 100명의 평균 수축기혈압은 130.0mmHg였으며, 모집단 평균에 대한 95% 신뢰구간은 127.0mmHg에서 133.0mmHg였다.
95% 신뢰구간의 정확한 의미
신뢰구간에서 가장 많이 오해되는 부분은 95%의 의미다.
다음과 같은 해석은 직관적이지만 고전적인 빈도주의 신뢰구간의 엄밀한 의미와는 다르다.
모집단 평균이 127에서 133 사이에 있을 확률이 95%다.
빈도주의 통계에서 모집단 평균 \(\mu\)는 하나의 고정된 값이다. 데이터가 수집된 뒤 계산된 신뢰구간 역시 하나의 고정된 구간이다.
따라서 계산이 끝난 뒤에는 모수가 해당 구간 안에 있거나 밖에 있다. 고전적인 빈도주의 해석에서 이 특정 구간에 95%의 확률을 부여하지 않는다.
95%는 개별 구간이 아니라 신뢰구간을 만드는 절차의 장기적인 포괄률을 뜻한다(Neyman, 1937).
보다 정확한 설명은 다음과 같다.
동일한 조건에서 표본을 반복해서 추출하고 같은 방법으로 95% 신뢰구간을 계산하면, 그렇게 만들어진 구간 가운데 약 95%가 실제 모집단 모수를 포함한다.
반복표본으로 이해하기
같은 모집단에서 매번 환자 100명을 뽑아 신뢰구간을 계산한다고 하자.
- 첫 번째 표본: 126.4에서 132.2
- 두 번째 표본: 128.1에서 134.0
- 세 번째 표본: 124.9에서 130.8
- 네 번째 표본: 127.3에서 133.1
- 계속 반복
각 표본에서 평균과 신뢰구간은 달라진다. 모집단 평균은 변하지 않는다.
이 절차를 매우 많이 반복하면 계산된 95% 신뢰구간 가운데 약 95%가 모집단 평균을 포함하고 약 5%는 포함하지 않는다.
신뢰수준은 이 반복절차의 성질이다.
실무에서는 어떻게 표현해야 할까
엄밀한 빈도주의 표현은 반복표본을 기준으로 하지만, 실제 보고서에서는 다음처럼 표현할 수 있다.
현재 자료와 분석모형에서 모집단 평균과 양립할 수 있는 값의 범위는 약 127.0에서 133.0mmHg다.
Greenland 등(2016)은 신뢰구간을 자료 및 모형과의 양립범위로 해석하는 방식이 흔한 확률 오해를 줄이는 데 도움이 된다고 설명한다.
다만 구간 안의 모든 값이 똑같이 잘 지지되는 것은 아니다. 일반적인 대칭 신뢰구간에서는 점추정치 주변의 값이 자료와 더 잘 맞는 경우가 많지만, 신뢰구간 자체만으로 각 값의 상대적 가능성을 완전히 알 수는 없다.
Hoekstra 등(2014)과 Morey 등(2016)은 연구자들조차 신뢰구간을 모수의 확률분포나 미래 연구의 재현범위로 잘못 해석하는 경우가 많음을 보여주었다.
신뢰구간이 알려주지 않는 것
95% 신뢰구간은 유용하지만 다음 내용을 의미하지 않는다.
관측값의 95%가 들어 있는 범위가 아니다
평균 혈압의 95% 신뢰구간이 127에서 133이라고 해서 환자의 95%가 127에서 133mmHg 사이에 있다는 뜻은 아니다.
신뢰구간은 개별 환자의 혈압분포가 아니라 모집단 평균의 불확실성을 나타낸다.
개인의 혈압은 100mmHg나 160mmHg처럼 이 구간을 크게 벗어날 수 있다.
미래 관측값의 95%가 들어갈 범위가 아니다
새로운 환자 한 명의 혈압이 어느 범위에 있을지를 예측하려면 예측구간이 필요하다.
신뢰구간은 평균의 불확실성을 다루고, 예측구간은 새로운 개별 관측값의 불확실성을 다룬다.
개별 환자는 평균 주변에서 크게 변할 수 있으므로 예측구간은 일반적으로 평균의 신뢰구간보다 훨씬 넓다.
같은 연구를 반복하면 결과의 95%가 이 구간에 들어온다는 뜻이 아니다
현재 계산한 127에서 133이라는 구간이 미래 연구에서 얻을 평균의 95%를 포함한다는 뜻도 아니다.
재현연구의 결과는 새로운 표본변동, 연구조건과 측정오차의 영향을 받는다. 미래 연구의 결과를 예상하려면 예측구간이나 재현확률과 관련된 별도의 분석이 필요하다.
모형가정이 참일 확률이 95%라는 뜻이 아니다
신뢰구간은 사용한 분석모형이 맞다는 조건 아래에서 계산된다.
표본이 편향되었거나 독립성 가정이 깨졌거나 표준오차를 잘못 계산했다면 명목상 95% 신뢰구간도 실제로 95%의 포괄률을 갖지 못할 수 있다.
신뢰구간과 p값은 무엇이 다른가
p값은 특정한 귀무가설과 데이터의 불일치 정도를 하나의 수치로 요약한다.
신뢰구간은 효과의 방향, 크기와 추정의 정밀도를 범위로 보여준다.
| 구분 | 신뢰구간 | p값 |
|---|---|---|
| 주요 질문 | 효과가 어느 범위에 있는가? | 귀무가설 아래에서 결과가 얼마나 극단적인가? |
| 결과 형식 | 하한과 상한 | 하나의 확률값 |
| 효과 방향 | 확인 가능 | p값만으로는 알기 어려움 |
| 효과 크기 | 범위와 함께 제시 | 직접 알려주지 않음 |
| 정밀도 | 구간 폭으로 확인 | 직접 확인하기 어려움 |
| 실질적 중요성 | 기준값과 비교 가능 | p값만으로 판단 불가 |
Gardner와 Altman(1986), Cumming(2014)은 유의성 여부만 보고하기보다 효과추정치와 신뢰구간을 중심으로 결과를 제시해야 한다고 강조했다.
같은 검정에서는 서로 연결된다
동일한 자료, 동일한 모형과 동일한 양측검정을 사용한다면 95% 신뢰구간과 5% 유의수준의 가설검정은 밀접하게 연결된다.
평균 차이의 95% 신뢰구간이 0을 포함하지 않으면 일반적으로 다음 양측검정의 p값은 0.05보다 작다.
\[
H_0:\mu_1-\mu_2=0
\]
반대로 같은 방법으로 계산한 신뢰구간이 0을 포함하면 일반적으로 양측 p값은 0.05보다 크거나 같다.
그러나 신뢰구간이 p값보다 더 많은 정보를 보여준다.
다음 두 결과를 비교해 보자.
- 평균 차이 2.0, 95% 신뢰구간 0.1에서 3.9
- 평균 차이 20.0, 95% 신뢰구간 1.0에서 39.0
두 신뢰구간 모두 0을 포함하지 않으므로 통계적으로 유의할 수 있다. 하지만 효과의 크기와 불확실성은 크게 다르다.
p값만으로는 이러한 차이를 충분히 파악하기 어렵다.
신뢰구간의 기준값은 항상 0이 아니다
신뢰구간을 해석할 때는 효과측도의 귀무값을 알아야 한다.
차이 형태의 효과
평균 차이, 비율 차이와 회귀계수에서 ‘차이 없음’의 기준은 일반적으로 0이다.
\[
\mu_1-\mu_2=0
\]
95% 신뢰구간이 다음과 같다면 0을 포함한다.
\[
[-0.2,\ 2.4]
\]
현재 자료는 약간의 음의 효과부터 2.4 정도의 양의 효과까지 허용한다. 단순히 “효과가 없다”고 결론 내려서는 안 된다.
신뢰구간이 다음과 같다면 0을 포함하지 않는다.
\[
[0.5,\ 3.0]
\]
같은 양측검정에서는 통계적으로 유의할 가능성이 높으며, 자료와 양립하는 효과범위가 양수 방향에 있다.
비율 형태의 효과
위험비, 상대위험도와 오즈비처럼 비율로 표현하는 효과에서 차이 없음의 기준은 1이다.
\[
RR=1
\]
예를 들어 상대위험도의 95% 신뢰구간이 다음과 같다고 하자.
\[
[0.72,\ 0.91]
\]
전체 구간이 1보다 작으므로 비교집단보다 위험이 낮은 방향의 결과다.
반면 다음 구간은 1을 포함한다.
\[
[0.78,\ 1.24]
\]
위험감소와 위험증가 모두 자료와 양립할 수 있으므로 방향이 불확실하다.
효과측도에 따라 비교해야 할 기준값이 다르다.
| 효과측도 | 차이 없음의 기준 |
|---|---|
| 평균 차이 | 0 |
| 비율 차이 | 0 |
| 회귀계수 | 0 |
| 상관계수 | 0 |
| 상대위험도 | 1 |
| 오즈비 | 1 |
| 위험비 | 1 |
신뢰구간의 폭은 무엇으로 결정되는가
신뢰구간의 폭은 추정의 정밀도를 나타낸다.
좁은 구간은 모수의 가능한 범위를 비교적 정밀하게 좁혔다는 뜻이다. 넓은 구간은 자료가 매우 다양한 값을 허용한다는 뜻이다.
신뢰구간의 폭에는 여러 요소가 영향을 준다.
표본크기
평균의 표준오차는 다음과 같다.
\[
SE(\bar{x})=\frac{s}{\sqrt{n}}
\]
표본크기 \(n\)이 커지면 표준오차가 작아지고 신뢰구간은 일반적으로 좁아진다.
그러나 표본크기를 두 배로 늘린다고 신뢰구간의 폭이 절반이 되는 것은 아니다.
표준오차는 표본크기의 제곱근에 반비례한다.
\[
SE\propto\frac{1}{\sqrt{n}}
\]
신뢰구간의 폭을 대략 절반으로 줄이려면 표본크기를 약 네 배로 늘려야 한다.
\[
\frac{1}{\sqrt{4n}}=\frac{1}{2\sqrt{n}}
\]
이 관계는 조사와 실험의 표본크기 설계에서 중요하다.
자료의 변동성
표준편차가 크면 표준오차도 커진다.
환자의 혈압이 서로 비슷하면 평균을 비교적 정밀하게 추정할 수 있다. 개인차가 매우 크면 같은 표본크기에서도 평균의 신뢰구간은 넓어진다.
신뢰수준
신뢰수준을 높이면 더 높은 장기 포괄률을 얻기 위해 구간을 넓혀야 한다.
| 신뢰수준 | 일반적인 정규 임계값 | 상대적 폭 |
|---|---|---|
| 90% | 약 1.645 | 비교적 좁음 |
| 95% | 약 1.960 | 중간 |
| 99% | 약 2.576 | 넓음 |
99% 신뢰구간은 95% 신뢰구간보다 넓다.
더 높은 신뢰수준과 더 좁은 구간을 동시에 원한다면 일반적으로 표본크기를 늘려야 한다.
연구설계
같은 표본크기라도 연구설계에 따라 유효한 정보량이 달라진다.
- 동일한 환자의 반복측정
- 학교나 병원 단위의 군집자료
- 층화표본
- 복합표본 가중치
- 짝지은 자료
- 시계열 의존성
같은 학교 학생들은 서로 비슷할 수 있다. 이러한 군집 내 상관을 무시하면 표준오차가 지나치게 작아지고 신뢰구간도 과도하게 좁아질 수 있다.
표본크기가 1,000명이라고 해도 10개 학교에서 학생 100명씩 조사한 자료와 전국 1,000개 학교에서 한 명씩 조사한 자료는 같은 정보량을 제공하지 않을 수 있다.
분석모형
등분산 가정, 분포가정, 선형성, 결측처리와 이상값 처리방식에 따라서도 신뢰구간이 달라질 수 있다.
신뢰구간은 데이터에 고정적으로 들어 있는 하나의 객관적 범위가 아니다. 어떤 통계모형과 계산방법을 선택하느냐에 따라 달라진다.
여론조사의 신뢰구간을 올바르게 읽는 법
어느 후보의 지지율이 42%이고 95% 신뢰구간이 39%에서 45%라고 하자.
\[
\hat{p}=0.42
\]
\[
95%\ \mathrm{CI}=[0.39,\ 0.45]
\]
이 결과는 단순무작위표본과 사용한 비율 추정방법이 적절하다는 조건에서 모집단 지지율과 양립할 수 있는 범위를 보여준다.
그러나 다음과 같이 해석해서는 안 된다.
유권자의 95%가 후보를 39%에서 45% 정도 지지한다.
신뢰구간은 개인 유권자의 응답범위가 아니라 모집단 비율의 불확실성이다.
표본오차가 조사의 모든 오류는 아니다
여론조사에서 발표하는 오차한계는 일반적으로 무작위 표본오차를 나타낸다.
다음 문제는 보통 단순한 신뢰구간에 완전히 반영되지 않는다.
- 조사에 포함되지 못한 사람
- 응답자와 비응답자의 차이
- 전화·온라인 조사방식의 영향
- 질문 문구와 문항순서
- 가중치 계산오류
- 거짓응답
- 투표의향 변화
- 실제 투표율 예측오류
따라서 지지율의 신뢰구간이 좁다고 해서 조사 전체가 정확하다고 단정할 수 없다.
두 후보의 신뢰구간 겹침만 보면 안 된다
후보 A의 지지율이 42%, 후보 B의 지지율이 48%라고 하자.
각 후보의 95% 신뢰구간이 겹치는지 여부만으로 두 후보의 지지율 차이가 유의한지 판단해서는 안 된다.
두 추정치는 같은 설문에서 계산되었을 수 있으며 서로 상관되어 있다. 각 구간의 겹침과 두 비율 차이에 대한 직접적인 신뢰구간은 서로 다른 문제다.
다음 값을 직접 계산해야 한다.
\[
p_A-p_B
\]
그리고 그 차이의 신뢰구간을 확인해야 한다.
Cumming과 Finch(2005)는 개별 신뢰구간의 시각적 겹침과 집단 차이 검정을 동일하게 해석하면 오류가 생길 수 있다고 설명한다.
평균의 신뢰구간과 개인 예측구간은 다르다
한 기업 직원의 월평균 초과근무시간이 12시간이고 평균에 대한 95% 신뢰구간이 10시간에서 14시간이라고 하자.
이는 전체 직원의 평균 초과근무시간에 관한 구간이다.
새 직원 한 명의 초과근무시간이 10시간에서 14시간 안에 들어간다는 뜻은 아니다. 어떤 직원은 0시간, 다른 직원은 40시간일 수 있다.
새로운 개별 관측값을 예측할 때는 평균 추정의 불확실성과 개인 간 변동을 모두 포함해야 한다.
평균에 대한 단순한 신뢰구간은 다음 구조를 가진다.
\[
\bar{x}\pm t^*\frac{s}{\sqrt{n}}
\]
정규모집단에서 새로운 관측값에 대한 예측구간은 다음과 같은 구조를 가진다.
\[
\bar{x}\pm t^*s\sqrt{1+\frac{1}{n}}
\]
예측구간에는 1이 추가되므로 신뢰구간보다 훨씬 넓다.
| 구간 | 알고 싶은 대상 |
|---|---|
| 평균의 신뢰구간 | 모집단 평균 |
| 예측구간 | 새로운 개별 관측값 |
| 허용구간 | 모집단 관측값의 일정 비율 |
구간의 이름이 비슷해도 대상은 다르다.
신뢰구간과 베이지안 신용구간은 다르다
베이지안 분석에서는 신용구간 또는 사후확률구간을 사용할 수 있다.
베이지안 95% 신용구간은 사전분포와 통계모형을 전제로 다음처럼 해석할 수 있다.
관찰된 데이터가 주어졌을 때 모수가 이 구간 안에 있을 사후확률이 95%다.
이는 빈도주의 95% 신뢰구간의 반복표본 해석과 다르다.
| 구분 | 빈도주의 신뢰구간 | 베이지안 신용구간 |
|---|---|---|
| 모수 | 고정된 미지의 값 | 확률분포로 표현 |
| 95%의 의미 | 반복절차의 장기 포괄률 | 사후분포에서 구간 내 확률 |
| 필요한 요소 | 표본모형과 추정절차 | 우도, 사전분포, 사후분포 |
| 개별 구간 확률표현 | 엄밀히 사용하지 않음 | 가능 |
두 방법 가운데 하나가 언제나 우월한 것은 아니다. 연구목적과 해석체계가 다르다.
베이지안 신용구간도 사전분포와 모형이 부적절하면 오해를 일으킬 수 있다. 단지 신뢰구간의 이름을 신용구간으로 바꾸는 것이 아니라 분석철학과 계산과정 자체가 달라진다.
비율의 신뢰구간에는 방법이 여러 개 있다
표본비율의 가장 단순한 정규근사 신뢰구간은 다음과 같다.
\[
\hat{p}\pm1.96\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}
\]
이 방법은 흔히 Wald 구간이라고 부른다.
그러나 표본크기가 작거나 비율이 0 또는 1에 가까우면 실제 포괄률이 좋지 않고, 하한이 0보다 작거나 상한이 1보다 크게 나오는 문제가 생길 수 있다.
Brown 등(2001)과 Agresti와 Coull(1998)은 단순한 Wald 구간이 많은 상황에서 좋지 않은 성능을 보이며, Wilson 점수구간 등 다른 방법이 더 적절할 수 있음을 보여주었다.
예를 들어 1,000명 가운데 420명이 후보 A를 지지했다고 하자.
\[
\hat{p}=\frac{420}{1000}=0.42
\]
Wilson 방식의 95% 신뢰구간은 약 0.390에서 0.451이다.
즉, 약 39.0%에서 45.1%다.
비율의 신뢰구간을 보고할 때는 단순히 95%라는 수준뿐 아니라 어떤 계산방법을 사용했는지도 중요하다.
부트스트랩 신뢰구간은 언제 사용하는가
중앙값, 복잡한 비율, 비선형 통계량처럼 표준오차 공식을 구하기 어려운 경우에는 부트스트랩을 이용할 수 있다.
부트스트랩은 관찰된 표본에서 복원추출을 반복하고 매번 관심 통계량을 계산해 표집분포를 근사하는 방법이다(Efron & Tibshirani, 1993).
예를 들어 표본 중앙값의 부트스트랩 신뢰구간은 다음 과정으로 계산할 수 있다.
- 원표본에서 같은 크기로 복원추출한다.
- 재표본의 중앙값을 계산한다.
- 이 과정을 수천 번 반복한다.
- 중앙값들의 분포에서 하한과 상한을 계산한다.
그러나 부트스트랩도 가정이 없는 방법은 아니다.
- 원표본이 모집단을 충분히 대표해야 한다.
- 관측값의 의존구조를 반영해야 한다.
- 표본크기가 지나치게 작지 않아야 한다.
- 군집자료는 군집단위로 재표집해야 한다.
- 시계열자료는 블록 부트스트랩 등을 고려해야 한다.
- 통계량에 적합한 구간계산 방법을 선택해야 한다.
편의표본을 수만 번 재표집한다고 모집단 대표성이 생기는 것은 아니다.
신뢰구간이 좁다고 항상 좋은 연구는 아니다
좁은 신뢰구간은 표본오차 관점에서 높은 정밀도를 뜻한다.
하지만 정밀성과 정확성은 다르다.
어떤 체중계가 실제보다 항상 5kg 높게 측정한다고 하자. 수십만 명을 측정하면 평균의 신뢰구간은 매우 좁아질 수 있다. 그러나 측정값은 실제 평균에서 체계적으로 벗어나 있다.
마찬가지로 편향된 온라인 설문에서 응답자 100만 명을 조사하면 신뢰구간은 매우 좁을 수 있다. 하지만 인터넷을 사용하지 않거나 조사에 참여하지 않은 사람의 특성이 다르면 모집단 추정치는 편향될 수 있다.
신뢰구간은 일반적으로 다음 오류를 자동으로 포함하지 않는다.
- 표본선택편향
- 비응답편향
- 측정오차
- 교란편향
- 모형 지정 오류
- 데이터 입력오류
- 선택적 보고
- 연구자의 분석 유연성
좁은 구간은 사용한 모형 안에서의 높은 정밀도다. 연구 전체가 정확하다는 보증은 아니다.
다중비교를 하면 신뢰수준도 달라진다
하나의 모수에 대해 95% 신뢰구간을 계산하면 장기적으로 약 95%의 포괄률을 목표로 한다.
하지만 서로 다른 모수 20개에 대해 각각 95% 신뢰구간을 계산하면 모든 구간이 동시에 실제 모수를 포함할 확률은 95%보다 낮아진다.
독립적인 상황을 단순화해 생각하면 모든 구간이 모수를 포함할 확률은 다음과 같다.
\[
0.95^{20}\approx0.358
\]
적어도 하나의 구간이 모수를 포함하지 않을 확률은 약 64.2%다.
여러 집단, 여러 시점 또는 여러 결과변수를 동시에 비교한다면 개별 신뢰구간과 동시신뢰구간을 구분해야 한다.
Bonferroni, Holm 방법이나 다변량 모형에 근거한 동시구간을 고려할 수 있다.
다중검정을 보정하지 않고 관심 있는 구간만 선택해서 보고하면 실제 불확실성이 과소평가될 수 있다.
신뢰구간으로 실질적 중요성을 판단하는 방법
신뢰구간은 0을 포함하는지만 확인하는 도구가 아니다.
현실적으로 중요한 기준과 비교할 수 있다는 점이 더 큰 장점이다.
새로운 교육방법이 기존 방법보다 시험점수를 평균 4점 높였고, 95% 신뢰구간이 1점에서 7점이라고 하자.
통계적으로는 0을 포함하지 않는다.
하지만 교육정책에서 최소 5점의 향상이 있어야 비용을 정당화할 수 있다면 해석이 달라진다.
\[
[1,\ 7]
\]
이 구간에는 실질적으로 중요하지 않은 1점과 중요한 7점이 모두 포함된다.
따라서 다음과 같이 해석할 수 있다.
긍정적인 평균효과와 양립하지만, 그 효과가 정책적으로 필요한 최소 5점을 넘는지는 불확실하다.
효과 범위에 따른 네 가지 상황
실질적으로 중요한 최소효과를 (\Delta)라고 하자.
| 신뢰구간 위치 | 해석 |
|---|---|
| 전체가 0보다 크고 (\Delta)보다 큼 | 통계적·실질적으로 의미 있는 효과와 양립 |
| 전체가 0보다 크지만 (\Delta)를 가로지름 | 긍정적 효과는 있으나 실질적 크기는 불확실 |
| 0을 포함하고 (\Delta)도 포함 | 방향과 중요성이 모두 불확실 |
| 전체가 (-\Delta)와 (\Delta) 안에 있음 | 실질적으로 작은 효과와 양립 가능 |
신뢰구간을 0과만 비교하면 연구에서 중요한 의사결정 정보를 놓칠 수 있다.
Nakagawa와 Cuthill(2007)은 효과크기와 신뢰구간을 함께 보고함으로써 통계적 유의성과 생물학적·실질적 중요성을 구분할 수 있다고 설명한다.
R로 평균의 신뢰구간 계산하기
평균이 130, 표본표준편차가 15, 표본크기가 100인 사례를 R로 계산해 보자.
sample_mean <- 130
sample_sd <- 15
sample_size <- 100
standard_error <-
sample_sd / sqrt(sample_size)
critical_value <- qt(
0.975,
df = sample_size - 1
)
margin_of_error <-
critical_value * standard_error
confidence_interval <- c(
lower =
sample_mean - margin_of_error,
estimate =
sample_mean,
upper =
sample_mean + margin_of_error
)
round(
confidence_interval,
3
)결과는 다음과 같다.
lower estimate upper
127.024 130.000 132.976실제 원자료가 있을 때
환자별 혈압값이 blood_pressure라는 벡터에 저장되어 있다면 다음처럼 계산할 수 있다.
t.test(
blood_pressure,
conf.level = 0.95
)t.test()는 모집단 표준편차를 모르는 상황에서 t분포를 이용한 평균의 신뢰구간을 제공한다.
결측값이 있다면 분석 전에 결측 원인과 처리방식을 확인해야 한다. 단순히 결측값을 제거하는 것이 항상 적절한 것은 아니다.
신뢰수준에 따른 구간 폭 비교하기
같은 데이터에서 90%, 95%와 99% 신뢰구간을 비교해 보자.
mean_ci <- function(
mean_value,
sd_value,
n,
conf_level = 0.95
) {
if (n < 2) {
stop(
"표본크기는 2 이상이어야 합니다."
)
}
alpha <- 1 - conf_level
critical_value <- qt(
1 - alpha / 2,
df = n - 1
)
standard_error <-
sd_value / sqrt(n)
margin <-
critical_value * standard_error
c(
lower = mean_value - margin,
estimate = mean_value,
upper = mean_value + margin
)
}각 신뢰수준에 적용한다.
ci_90 <- mean_ci(
mean_value = 130,
sd_value = 15,
n = 100,
conf_level = 0.90
)
ci_95 <- mean_ci(
mean_value = 130,
sd_value = 15,
n = 100,
conf_level = 0.95
)
ci_99 <- mean_ci(
mean_value = 130,
sd_value = 15,
n = 100,
conf_level = 0.99
)
round(
rbind(
CI_90 = ci_90,
CI_95 = ci_95,
CI_99 = ci_99
),
3
)신뢰수준이 높아질수록 구간이 넓어지는 것을 확인할 수 있다.
표본크기와 오차한계의 관계 확인하기
표준편차를 15로 고정하고 표본크기를 25, 100과 400으로 바꾸어 보자.
margin_of_error <- function(
n,
sd_value = 15,
conf_level = 0.95
) {
alpha <- 1 - conf_level
qt(
1 - alpha / 2,
df = n - 1
) *
sd_value /
sqrt(n)
}
sample_sizes <- c(
25,
100,
400
)
margins <- vapply(
sample_sizes,
margin_of_error,
numeric(1)
)
data.frame(
sample_size = sample_sizes,
margin_of_error = round(
margins,
3
)
)표본크기를 100에서 400으로 네 배 늘리면 오차한계는 대략 절반으로 줄어든다.
표본크기를 무조건 크게 만드는 것보다 연구에서 필요한 정밀도를 먼저 정하고 그에 맞게 표본을 설계하는 것이 좋다.
R로 비율의 신뢰구간 계산하기
1,000명 가운데 420명이 후보 A를 지지했다고 하자.
supporters <- 420
respondents <- 1000
support_rate <-
supporters / respondents
support_rateprop.test()를 사용하면 점수검정에 기반한 비율의 신뢰구간을 계산할 수 있다.
prop.test(
x = supporters,
n = respondents,
conf.level = 0.95,
correct = FALSE
)결과는 약 39.0%에서 45.1%의 구간을 제공한다.
표본크기가 작거나 사건이 드문 경우에는 binom.test()를 사용할 수도 있다.
binom.test(
x = supporters,
n = respondents,
conf.level = 0.95
)두 함수는 서로 다른 방법으로 구간을 계산하므로 결과가 약간 다를 수 있다.
보고서에는 사용한 방법을 함께 밝혀야 한다.
R로 두 집단 평균 차이의 신뢰구간 계산하기
두 교육방법의 점수를 비교하는 가상자료를 만들어보자.
score_data <- data.frame(
group = rep(
c("기존", "신규"),
each = 12
),
score = c(
71, 75, 78, 74, 77, 73,
80, 76, 72, 79, 75, 74,
77, 81, 83, 79, 82, 80,
85, 78, 81, 84, 79, 83
)
)Welch t검정과 평균 차이의 신뢰구간을 계산한다.
mean_difference_result <- t.test(
score ~ group,
data = score_data,
var.equal = FALSE,
conf.level = 0.95
)
mean_difference_resultR의 t.test()는 독립표본 비교에서 기본적으로 두 집단의 분산이 같다고 강제하지 않는 Welch 방법을 사용한다.
결과를 해석할 때는 다음을 함께 확인해야 한다.
- 집단별 표본평균
- 평균 차이
- 신뢰구간
- 검정방향
- p값
- 표본크기
- 분포와 이상값
p값만 보고 결과를 정리해서는 안 된다.
R로 부트스트랩 중앙값 신뢰구간 계산하기
오른쪽으로 치우친 구매금액 자료가 있다고 하자.
purchase_amount <- c(
12000, 15000, 16000, 18000,
19000, 21000, 22000, 23000,
25000, 28000, 30000, 35000,
42000, 55000, 120000
)중앙값을 확인한다.
median(
purchase_amount
)부트스트랩으로 중앙값을 반복 계산한다.
set.seed(2026)
bootstrap_medians <- replicate(
5000,
median(
sample(
purchase_amount,
size = length(
purchase_amount
),
replace = TRUE
)
)
)백분위수 방식의 95% 신뢰구간을 계산한다.
quantile(
bootstrap_medians,
probs = c(
0.025,
0.975
),
na.rm = TRUE
)이 코드는 교육용 기본 예제다.
실제 연구에서는 표본크기, 동점, 군집구조와 부트스트랩 구간의 종류를 검토해야 한다. 단순 백분위수 구간이 항상 가장 적절한 것은 아니다.
신뢰구간을 보고할 때 포함해야 할 내용
다음처럼 보고하면 정보가 부족하다.
평균은 130이었다.
다음 표현은 조금 더 낫지만 여전히 계산방법을 알기 어렵다.
평균은 130이었고 95% 신뢰구간은 127에서 133이었다.
보다 투명한 보고는 다음과 같다.
환자 100명의 평균 수축기혈압은 130.0mmHg였고 표준편차는 15.0mmHg였다. 모집단 평균에 대한 t분포 기반 95% 신뢰구간은 127.0mmHg에서 133.0mmHg였다.
두 집단 비교라면 다음처럼 작성할 수 있다.
신규 교육집단의 평균점수는 기존 교육집단보다 4.2점 높았으며, Welch 방법으로 계산한 평균 차이의 95% 신뢰구간은 1.1점에서 7.3점이었다.
비율이라면 다음처럼 작성할 수 있다.
후보 A의 지지율은 42.0%였고, Wilson 방식의 95% 신뢰구간은 39.0%에서 45.1%였다.
다음 정보가 포함되어야 한다.
- 추정대상
- 점추정치
- 신뢰수준
- 신뢰구간의 하한과 상한
- 계산방법
- 표본크기
- 자료의 변동성
- 분석모형과 주요 가정
- 효과의 실제 단위
- 실질적으로 중요한 기준과의 비교
신뢰구간에서 자주 발생하는 오류
모수가 구간 안에 있을 확률이 95%라고 말한다
고전적인 빈도주의 신뢰구간에서 95%는 반복적인 구간생성 절차의 포괄률이다. 개별 구간에 대한 사후확률은 아니다.
관측값의 95%가 신뢰구간 안에 있다고 생각한다
평균의 신뢰구간은 개별 관측값의 분포를 나타내지 않는다. 개인값을 예측하려면 예측구간이 필요하다.
신뢰구간 안의 모든 값이 똑같이 가능하다고 생각한다
신뢰구간은 각 모수값의 확률을 균등하게 부여하지 않는다. 구간만으로 내부 값들의 상대적 증거를 완전히 알 수 없다.
0을 포함하면 효과가 없다고 말한다
0을 포함한다는 것은 현재 자료가 0을 포함한 여러 효과와 양립한다는 뜻이다. 효과가 없다는 증거가 되려면 구간이 충분히 좁아야 하거나 등가성 분석이 필요하다.
0을 포함하지 않으면 효과가 중요하다고 생각한다
통계적으로 유의한 효과도 현실적으로 매우 작을 수 있다. 실질적으로 중요한 최소효과와 비교해야 한다.
두 신뢰구간이 겹치면 집단 차이가 없다고 생각한다
개별 집단의 신뢰구간 겹침은 두 집단 차이의 직접적인 신뢰구간과 같지 않다.
두 신뢰구간이 겹치지 않으면 언제나 유의하다고 생각한다
독립성, 신뢰수준과 추정치 사이의 상관에 따라 관계가 달라진다. 차이 자체의 신뢰구간을 계산해야 한다.
표본이 크면 신뢰구간이 항상 정확하다고 생각한다
큰 표본은 무작위 표본오차를 줄이지만 선택편향과 측정편향을 제거하지 않는다.
어떤 방법으로 계산해도 같은 구간이 나온다고 생각한다
비율, 오즈비, 중앙값과 복잡한 효과에는 여러 구간계산 방법이 있으며 실제 포괄률과 폭이 다를 수 있다.
신뢰구간이 넓으면 효과가 없다고 생각한다
넓은 구간은 정보가 부족하다는 뜻이다. 큰 효과와 작은 효과가 모두 가능할 수 있다.
분석 전에 확인할 질문
- 무엇의 신뢰구간을 계산하려는가?
- 평균, 비율, 차이, 비율효과 또는 회귀계수 가운데 무엇인가?
- 점추정치는 무엇인가?
- 표준오차 계산방법이 연구설계에 적합한가?
- 관측값은 독립적인가?
- 군집이나 반복측정 구조가 있는가?
- 표본이 목표모집단을 대표하는가?
- 분포가 심하게 비대칭이거나 극단값이 많은가?
- 신뢰구간 계산방법은 자료에 적합한가?
- 신뢰수준은 사전에 정했는가?
- 여러 구간을 동시에 보고하는가?
- 다중비교를 고려해야 하는가?
- 차이 없음의 기준은 0인가 1인가?
- 실질적으로 중요한 최소효과는 얼마인가?
- 평균의 신뢰구간과 개인의 예측구간을 혼동하지 않았는가?
- 효과크기와 원래 단위를 함께 보고했는가?
- 구간의 폭이 의사결정에 충분히 좁은가?
- 표본오차 이외의 편향 가능성을 설명했는가?
신뢰구간은 계산이 끝난 뒤 보고서에 덧붙이는 장식이 아니다. 어느 정도 정밀도로 효과를 추정할 것인지 결정하는 연구설계의 기준이기도 하다.
신뢰구간은 확실함이 아니라 불확실성을 보여줍니다
신뢰구간은 모집단의 평균, 비율이나 효과를 하나의 숫자로 단정하지 않고 일정한 범위로 표현한다.
점추정치는 연구자가 관찰한 가장 대표적인 값이다. 신뢰구간은 그 추정치가 표본변동 때문에 어느 정도 달라질 수 있는지를 보여준다.
그러나 신뢰구간을 올바르게 이해하려면 다음을 기억해야 한다.
95% 신뢰구간은 모수가 해당 구간 안에 있을 확률이 95%라는 뜻이 아니다.
같은 방법으로 표본추출과 구간계산을 반복하면 약 95%의 구간이 실제 모수를 포함한다는 뜻이다.
좁은 구간은 높은 정밀도를 뜻하지만 편향이 없다는 보장은 아니다.
신뢰구간이 0을 포함하지 않아도 효과가 현실적으로 중요하다는 뜻은 아니다.
평균의 신뢰구간은 개인의 관측값을 예측하는 구간이 아니다.
비전공자는 다음 세 문장으로 기억할 수 있다.
점추정치는 가장 대표적인 하나의 숫자다.
신뢰구간은 그 숫자 주변의 불확실성을 보여준다.
좋은 해석은 구간이 0을 포함하는지만 보는 것이 아니라 효과의 크기와 정밀도를 함께 판단하는 것이다.
통계학이 신뢰구간을 사용하는 이유는 현실의 값이 여러 개이기 때문이 아니다. 모집단의 실제 값은 하나일 수 있지만 제한된 표본으로는 그 값을 정확히 알 수 없기 때문이다.
신뢰구간은 확신을 과장하지 않는다. 어떤 값들이 현재 자료와 양립하는지, 추정이 얼마나 정밀한지, 그리고 아직 무엇을 알지 못하는지를 함께 보여준다.
하나의 숫자보다 범위가 더 과학적인 이유는 더 모호하기 때문이 아니다. 우리가 가진 정보의 한계를 숨기지 않기 때문이다.
참고문헌
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119–126. https://doi.org/10.1080/00031305.1998.10480550
Altman, D. G., & Bland, J. M. (1995). Absence of evidence is not evidence of absence. BMJ, 311(7003), 485. https://doi.org/10.1136/bmj.311.7003.485
Brown, L. D., Cai, T. T., & DasGupta, A. (2001). Interval estimation for a binomial proportion. Statistical Science, 16(2), 101–133. https://doi.org/10.1214/ss/1009213286
Cumming, G. (2014). The new statistics: Why and how. Psychological Science, 25(1), 7–29. https://doi.org/10.1177/0956797613504966
Cumming, G., & Finch, S. (2005). Inference by eye: Confidence intervals and how to read pictures of data. American Psychologist, 60(2), 170–180. https://doi.org/10.1037/0003-066X.60.2.170
Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. Chapman & Hall/CRC. https://doi.org/10.1201/9780429246593
Gardner, M. J., & Altman, D. G. (1986). Confidence intervals rather than P values: Estimation rather than hypothesis testing. BMJ, 292(6522), 746–750. https://doi.org/10.1136/bmj.292.6522.746
Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31, 337–350. https://doi.org/10.1007/s10654-016-0149-3
Hoekstra, R., Morey, R. D., Rouder, J. N., & Wagenmakers, E.-J. (2014). Robust misinterpretation of confidence intervals. Psychonomic Bulletin & Review, 21, 1157–1164. https://doi.org/10.3758/s13423-013-0572-3
Morey, R. D., Hoekstra, R., Rouder, J. N., Lee, M. D., & Wagenmakers, E.-J. (2016). The fallacy of placing confidence in confidence intervals. Psychonomic Bulletin & Review, 23, 103–123. https://doi.org/10.3758/s13423-015-0947-8
Nakagawa, S., & Cuthill, I. C. (2007). Effect size, confidence interval and statistical significance: A practical guide for biologists. Biological Reviews, 82(4), 591–605. https://doi.org/10.1111/j.1469-185X.2007.00027.x
Neyman, J. (1937). Outline of a theory of statistical estimation based on the classical theory of probability. Philosophical Transactions of the Royal Society of London. Series A, 236(767), 333–380. https://doi.org/10.1098/rsta.1937.0005
Wasserstein, R. L., & Lazar, N. A. (2016). The ASA’s statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
Wilson, E. B. (1927). Probable inference, the law of succession, and statistical inference. Journal of the American Statistical Association, 22(158), 209–212. https://doi.org/10.1080/01621459.1927.10502953
