온라인 쇼핑몰 고객의 구매금액을 살펴보면 대체로 오른쪽으로 길게 치우친 분포가 나타난다. 대부분의 고객은 비교적 적은 금액을 구매하지만, 일부 고객은 매우 큰 금액을 결제하기 때문이다.
어느 날 고객 100명의 구매금액을 조사해 평균을 계산했다고 하자. 다른 날 다시 고객 100명을 뽑으면 평균은 조금 달라질 것이다. 이 과정을 수천 번 반복하면 수천 개의 표본평균을 얻게 된다.
흥미로운 현상은 여기에서 나타난다.
개별 고객의 구매금액은 정규분포와 거리가 멀어도, 고객 100명씩 뽑아 계산한 표본평균들의 분포는 종 모양에 가까워질 수 있다.
이 현상을 설명하는 통계학의 핵심 정리가 중심극한정리다.
중심극한정리는 흔히 다음과 같이 소개된다.
표본크기가 충분히 크면 표본평균은 정규분포를 따른다.
핵심 방향은 맞지만 엄밀하게는 보완이 필요하다. 표본평균 하나는 하나의 숫자이므로 분포를 따른다고 말하기 어렵다. 정규분포에 가까워지는 것은 같은 크기의 표본을 반복해서 추출했을 때 만들어지는 표본평균의 표집분포다.
또한 모집단의 모양과 상관없이 언제나 적용되는 것도 아니다. 독립성, 유한한 분산과 같은 조건이 필요하며, 표본크기 30이라는 숫자도 모든 자료에 적용되는 절대적인 기준이 아니다.
중심극한정리를 제대로 이해하려면 다음 세 가지를 구분해야 한다.
- 원래 관측값의 분포
- 한 번 추출한 표본
- 표본평균을 반복해서 계산했을 때의 표집분포
중심극한정리는 원래 데이터를 정규분포로 바꾸는 정리가 아니다. 불규칙한 데이터에서도 평균이라는 통계량이 반복표본에서 어떤 규칙적인 모습을 갖게 되는지를 설명하는 정리다.
중심극한정리는 무엇을 말하는가
확률변수 \(X_1,X_2,\ldots,X_n\)이 동일한 모집단에서 독립적으로 추출되었다고 하자. 모집단의 평균을 \(\mu\), 분산을 \(\sigma^2\)라고 하겠다.
표본평균은 다음과 같다.
\[
\bar{X}_n=\frac{X_1+X_2+\cdots+X_n}{n}
\]
모집단의 분산이 유한하다면 표본크기 \(n\)이 커질수록 다음과 같이 표준화한 값의 분포가 표준정규분포에 가까워진다.
\[
Z_n=\frac{\bar{X}_n-\mu}{\sigma/\sqrt{n}}
\]
표본크기가 충분히 클 때 \(Z_n\)의 분포는 평균 0, 분산 1인 정규분포로 근사할 수 있다.
\[
Z_n\approx N(0,1)
\]
같은 내용을 표본평균 자체의 분포로 표현하면 다음과 같다.
\[
\bar{X}_n\approx N\left(\mu,\frac{\sigma^2}{n}\right)
\]
여기서 중요한 사실은 두 가지다.
첫째, 표본평균들의 중심은 모집단 평균 \(\mu\)에 위치한다.
\[
E(\bar{X}_n)=\mu
\]
둘째, 표본평균의 분산은 모집단 분산을 표본크기로 나눈 값이다.
\[
V(\bar{X}_n)=\frac{\sigma^2}{n}
\]
따라서 표본평균의 표준편차인 표준오차는 다음과 같다.
\[
SE(\bar{X}_n)=\frac{\sigma}{\sqrt{n}}
\]
표본크기가 커지면 표본평균들이 모집단 평균 주변에 더 좁게 모인다. 동시에 일정한 조건 아래에서 그 분포의 모양도 정규분포에 가까워진다.
Kwak과 Kim(2017)은 중심극한정리가 표본평균과 여러 통계량의 근사적 분포를 설명함으로써 현대 통계적 추론의 핵심 기반을 제공한다고 설명한다.
원자료가 정규분포로 변하는 것은 아니다
중심극한정리를 처음 배울 때 가장 많이 발생하는 오해는 표본크기가 커지면 원자료가 정규분포로 변한다고 생각하는 것이다.
소득자료가 오른쪽으로 치우쳐 있다면 1,000명을 조사해도 개인 소득의 분포는 여전히 오른쪽으로 치우칠 수 있다. 대기시간에 긴 꼬리가 존재한다면 표본크기를 늘린다고 각각의 대기시간이 종 모양으로 바뀌지는 않는다.
정규분포에 가까워지는 것은 원자료가 아니라 표본평균들의 분포다.
다음 세 가지를 구분해야 한다.
| 구분 | 의미 | 중심극한정리와의 관계 |
|---|---|---|
| 모집단분포 | 전체 대상의 값이 분포하는 모습 | 정규분포일 필요 없음 |
| 표본분포 | 한 번 뽑은 표본에서 관측된 값들의 분포 | 표본이 커져도 비대칭일 수 있음 |
| 표집분포 | 같은 크기의 표본을 반복 추출해 계산한 통계량의 분포 | 표본평균은 조건 아래에서 정규분포에 가까워짐 |
실제 조사에서는 모집단에서 표본을 무한히 반복해 추출하지 않는다. 그러나 표집분포를 이론적으로 이해하면 한 번 얻은 표본평균의 불확실성을 평가할 수 있다.
중심극한정리가 중요한 이유는 바로 여기에 있다.
표본평균 하나와 표본평균의 분포는 다르다
한 학급 학생 30명의 평균 키가 170cm라고 하자. 이 170cm는 하나의 표본평균이다.
같은 모집단에서 다른 학생 30명을 뽑으면 평균은 168.9cm일 수 있다. 또 다른 30명을 뽑으면 171.2cm가 나올 수 있다.
이처럼 표본을 반복해서 추출하면 매번 다른 표본평균이 나온다.
168.9, 171.2, 169.7, 170.5, 168.8, ...
이 표본평균들을 모아 만든 분포가 표본평균의 표집분포다.
중심극한정리는 단 한 번 계산한 평균 170cm의 모양을 설명하는 것이 아니다. 가능한 모든 반복표본에서 얻어질 평균들이 어떤 모양으로 변동하는지를 설명한다.
표준오차도 같은 관점에서 이해해야 한다.
\[
SE(\bar{X}_n)=\frac{\sigma}{\sqrt{n}}
\]
표준오차는 학생 개인의 키가 얼마나 서로 다른지를 나타내지 않는다. 같은 크기의 표본을 반복해서 뽑았을 때 표본평균들이 얼마나 달라질지를 나타낸다.
주사위 평균에서 종 모양이 나타나는 이유
공정한 주사위를 한 번 굴리면 1부터 6까지의 정수가 같은 확률로 나타난다.
| 눈 | 확률 |
|---|---|
| 1 | 1/6 |
| 2 | 1/6 |
| 3 | 1/6 |
| 4 | 1/6 |
| 5 | 1/6 |
| 6 | 1/6 |
이 분포는 정규분포가 아니다. 막대의 높이가 모두 같은 이산형 균등분포다.
주사위 눈의 모집단 평균은 3.5다.
\[
\mu=\frac{1+2+3+4+5+6}{6}=3.5
\]
주사위를 한 번 굴리면 1, 2, 3, 4, 5 또는 6 가운데 하나만 나온다.
주사위를 두 번 굴려 평균을 계산하면 가능한 평균의 종류가 많아진다. 1.5, 2.0, 2.5, 3.0처럼 중간값도 나타난다.
주사위를 30번씩 굴려 평균을 계산하고 이 과정을 수천 번 반복하면 대부분의 평균은 3.5 주변에 모인다. 1이나 6에 가까운 평균이 나오려면 거의 모든 주사위가 극단적인 눈을 보여야 하므로 가능성이 매우 작다.
서로 다른 조합들이 평균 3.5 근처에서는 매우 많이 존재하고 양쪽 극단으로 갈수록 가능한 조합이 줄어든다. 그 결과 표본평균의 분포가 점차 종 모양에 가까워진다.
표본크기가 커지면 평균의 변동도 줄어든다
공정한 주사위의 분산은 다음과 같다.
\[
\sigma^2=\frac{35}{12}
\]
주사위를 \(n\)번 굴려 계산한 평균의 표준오차는 다음과 같다.
\[
SE(\bar{X}_n)=\sqrt{\frac{35}{12n}}
\]
주사위를 36번 굴린다면 표준오차는 약 0.285다.
\[
SE(\bar{X}_{36})=\sqrt{\frac{35}{12\times36}}\approx0.285
\]
주사위를 더 많이 굴려 평균을 계산할수록 평균은 3.5 주변에 더 좁게 모인다.
중심극한정리는 표본평균의 분포가 정규분포에 가까워지는 현상을 설명하고, 표준오차 공식은 그 분포의 폭이 얼마나 줄어드는지를 설명한다.
큰수의 법칙과 중심극한정리는 다르다
중심극한정리는 큰수의 법칙과 자주 혼동된다. 두 정리는 관련되어 있지만 답하는 질문이 다르다.
큰수의 법칙은 표본크기가 커질수록 표본평균이 모집단 평균에 가까워진다는 내용이다.
\[
\bar{X}_n\to\mu
\]
이는 평균의 안정성에 관한 정리다.
중심극한정리는 표본평균이 모집단 평균 주변에서 어떤 형태로 흔들리는지를 설명한다. 표본평균과 모집단 평균의 차이를 표준오차로 나누면 그 분포가 정규분포에 가까워진다는 내용이다.
| 구분 | 큰수의 법칙 | 중심극한정리 |
|---|---|---|
| 핵심 질문 | 평균은 어디로 가는가? | 평균은 어떤 모양으로 변동하는가? |
| 주요 결론 | 표본평균이 모집단 평균에 가까워짐 | 표준화한 표본평균이 정규분포에 가까워짐 |
| 관심 대상 | 일치성과 안정성 | 표집분포의 형태와 불확실성 |
| 실무 연결 | 큰 표본에서 평균이 안정됨 | 신뢰구간과 가설검정의 근사 |
큰수의 법칙만으로는 표본평균의 오차가 어느 정도인지 알 수 없다. 중심극한정리는 그 오차의 분포를 근사해 신뢰구간과 검정통계량을 계산할 수 있게 한다(DasGupta, 2008; Wasserman, 2004).
정규모집단에서는 중심극한정리를 기다릴 필요가 없다
모집단 자체가 정규분포를 따른다면 표본평균도 표본크기와 관계없이 정확한 정규분포를 따른다.
모집단이 다음과 같다고 하자.
\[
X\sim N(\mu,\sigma^2)
\]
독립적인 관측값 \(n\)개의 표본평균은 다음 분포를 정확히 따른다.
\[
\bar{X}_n\sim N(\mu,\sigma^2/n)
\]
이 결과는 근사가 아니다. 표본크기가 2이든 10이든 정확하게 성립한다.
중심극한정리가 특히 필요한 상황은 모집단이 정규분포가 아닐 때다. 모집단이 비대칭이거나 이산형이어도 일정한 조건에서 표본크기가 커지면 표본평균의 표집분포를 정규분포로 근사할 수 있다.
따라서 “표본크기가 커야 표본평균이 정규분포를 따른다”는 말도 모집단이 정규분포인 경우에는 맞지 않는다.
표본크기 30은 보편적인 기준이 아니다
통계 입문서에서는 흔히 다음과 같은 설명을 볼 수 있다.
표본크기가 30 이상이면 중심극한정리를 적용할 수 있다.
30은 편리한 경험적 기준일 수 있지만 수학적 경계선은 아니다. 표본크기 29에서는 적용되지 않고 30부터 갑자기 정규근사가 정확해지는 것이 아니다.
필요한 표본크기는 모집단분포의 모양에 따라 달라진다.
대칭적이고 꼬리가 가벼운 분포
모집단이 대칭적이고 극단값이 드물다면 비교적 작은 표본에서도 표본평균의 분포가 정규분포에 가까워질 수 있다.
정규모집단이라면 모든 표본크기에서 정확한 정규분포가 성립한다.
약간 치우친 분포
모집단이 어느 정도 비대칭이어도 표본크기가 커지면 표본평균의 분포는 정규분포에 가까워진다.
그러나 \(n=30\)에서 근사가 충분한지는 분석목적과 꼬리의 두께에 따라 달라진다.
심하게 치우치거나 꼬리가 두꺼운 분포
소득, 손실액, 입원기간이나 극단적 금융수익처럼 매우 큰 값이 드물게 나타나는 자료에서는 \(n=30\)으로 부족할 수 있다.
평균 주변의 근사는 어느 정도 가능해도 95% 또는 99% 신뢰구간처럼 분포의 꼬리를 이용하는 계산에서는 오차가 남을 수 있다.
Berry(1941)의 결과는 모집단의 비대칭성과 꼬리 특성이 정규근사의 수렴속도에 영향을 준다는 사실을 수학적으로 보여준다. 표본크기만 보는 것보다 분포의 형태와 극단값을 함께 확인해야 한다.
희귀한 사건의 비율
발생확률이 1%인 사건을 30명에게서 조사한다면 예상되는 사건 수는 0.3명에 불과하다.
\[
30\times0.01=0.3
\]
표본크기가 30이라고 해서 사건 비율의 표집분포를 정규분포로 잘 근사할 수 있는 것은 아니다.
이 경우에는 표본크기 자체보다 예상 성공 수와 예상 실패 수가 충분한지 확인해야 한다. 이항비율의 구간추정에서는 단순한 정규근사가 좋지 않을 수 있으며, Wilson 구간 같은 대안이 더 적절할 수 있다(Agresti & Coull, 1998).
따라서 다음 문장이 더 정확하다.
표본크기가 클수록 정규근사가 좋아지는 경향이 있지만, 충분한 크기는 모집단의 비대칭성, 꼬리, 이산성 및 분석목적에 따라 달라진다.
중심극한정리가 성립하려면 조건이 필요하다
중심극한정리는 매우 넓은 범위에서 적용되지만 아무 자료에나 자동으로 적용되지는 않는다.
관측값이 독립적이어야 한다
고전적인 중심극한정리는 관측값들이 서로 독립이라고 가정한다.
한 학생의 점수가 다른 학생의 점수에 직접적인 영향을 주지 않는 단순무작위표본을 생각할 수 있다.
그러나 현실에는 독립적이지 않은 자료가 많다.
- 같은 학급 학생들의 점수
- 같은 가구 구성원의 소득
- 같은 병원 환자의 치료결과
- 한 사람을 반복 측정한 자료
- 시간 순서에 따라 측정한 주가와 매출
- 같은 지역 주민의 건강자료
같은 집단의 관측값들은 환경과 특성을 공유하므로 서로 비슷할 수 있다.
독립성이 없다고 모든 형태의 중심극한정리가 사라지는 것은 아니다. 약한 의존성을 가진 시계열이나 군집자료에도 별도의 중심극한정리가 존재한다. 그러나 분산과 표준오차 계산이 달라진다(Bradley, 2005).
단순한 표준오차 공식만 적용하면 불확실성을 과소평가할 수 있다.
모집단 평균과 분산이 유한해야 한다
고전적인 중심극한정리에서는 모집단 평균과 분산이 유한해야 한다.
대부분의 현실자료는 이 조건을 실용적으로 만족하지만, 수학적으로는 예외가 존재한다.
대표적인 예가 코시분포다. 코시분포는 평균과 분산이 정의되지 않는다. 코시분포에서 표본을 아무리 많이 뽑아 평균을 계산해도 그 표본평균은 정규분포에 가까워지지 않는다.
오히려 표준 코시분포에서는 표본평균도 원래와 같은 코시분포를 따른다.
큰 관측값 하나가 표본평균을 계속 크게 흔들 수 있기 때문이다.
파레토분포처럼 평균은 존재하지만 분산이 무한할 수 있는 분포에서도 고전적인 형태의 중심극한정리는 적용되지 않을 수 있다.
“모든 모집단에서 표본평균은 결국 정규분포가 된다”는 표현이 정확하지 않은 이유다.
동일한 분포에서 추출한다는 가정이 필요하다
기본적인 중심극한정리는 관측값들이 동일한 분포에서 추출되었다고 가정한다.
하지만 실제 조사에서는 관측값의 분포가 서로 다를 수 있다.
- 지역마다 소득분포가 다르다.
- 환자마다 측정오차가 다르다.
- 시간에 따라 매출의 평균과 분산이 변한다.
- 집단마다 처치효과가 다르다.
서로 동일한 분포가 아니더라도 일정한 조건에서 적용되는 확장된 중심극한정리가 존재한다. 그러나 단순한 입문형 정리를 그대로 적용할 수 있는지 검토해야 한다(DasGupta, 2008).
표본추출 방식도 고려해야 한다
유한한 모집단에서 복원 없이 표본을 추출하면 엄밀하게는 관측값들이 독립적이지 않다. 한 사람이 선택되면 다른 사람이 선택될 확률이 조금 달라지기 때문이다.
표본이 모집단에서 차지하는 비율이 작으면 독립추출로 근사하는 경우가 많다. 표본추출 비율이 크면 유한모집단수정을 적용할 수 있다.
유한모집단수정계수는 다음과 같다.
\[
FPC=\sqrt{\frac{N-n}{N-1}}
\]
여기서 \(N\)은 모집단 크기이고 \(n\)은 표본크기다.
표본평균의 표준오차는 다음처럼 조정할 수 있다.
\[
SE(\bar{X})=\frac{\sigma}{\sqrt{n}}\sqrt{\frac{N-n}{N-1}}
\]
복원 없는 표본추출에도 별도의 확률이론과 근사결과가 존재한다(Serfling, 1974).
표본평균은 왜 정규분포에 가까워질까
중심극한정리의 엄밀한 증명에는 특성함수와 같은 수학적 도구가 필요하다. 그러나 직관은 비교적 간단하다.
표본평균은 여러 독립적인 관측값의 작은 기여를 합한 결과다.
\[
\bar{X}_n=\frac{X_1}{n}+\frac{X_2}{n}+\cdots+\frac{X_n}{n}
\]
각 관측값은 평균에 영향을 주지만 표본크기가 커질수록 한 관측값이 차지하는 비중은 작아진다.
\[
\frac{1}{n}
\]
어떤 관측값은 모집단 평균보다 크고 다른 관측값은 작다. 여러 독립적인 차이가 합쳐지면서 한쪽으로 치우친 영향들이 부분적으로 상쇄된다.
표본평균이 모집단 평균에서 크게 벗어나려면 많은 관측값이 동시에 같은 방향으로 움직여야 한다. 이런 조합은 평균 근처의 조합보다 적기 때문에 표본평균의 분포는 중심에서 높고 양쪽으로 갈수록 낮아지는 모양을 갖게 된다.
이 직관이 모든 경우의 수학적 증명을 대신하지는 않지만, 평균이 반복과 합산을 통해 안정되는 이유를 이해하는 데 도움이 된다.
중심극한정리는 신뢰구간을 가능하게 한다
모집단 평균 \(\mu\)를 알고 싶지만 실제로는 표본평균 \(\bar{x}\)만 관찰할 수 있다고 하자.
모집단 표준편차를 알고 있고 표본평균의 정규근사가 적절하다면 약 95% 신뢰구간은 다음과 같이 계산할 수 있다.
\[
\bar{x}\pm1.96\frac{\sigma}{\sqrt{n}}
\]
현실에서는 모집단 표준편차 \(\sigma\)를 모르는 경우가 많다. 이때 표본 표준편차 (s)를 사용한다.
\[
SE(\bar{x})=\frac{s}{\sqrt{n}}
\]
표본크기가 작고 모집단이 정규분포라는 조건에서는 t분포를 이용한다. 평균의 95% 신뢰구간은 다음과 같다.
\[
\bar{x}\pm t\frac{s}{\sqrt{n}}
\]
여기서 \(t\)는 자유도에 따라 결정되는 t분포의 임계값이다.
Student(1908)의 연구는 모집단 분산을 모를 때 표본평균을 추론하기 위한 t분포의 기초를 마련했다.
표본크기가 커지면 t분포는 표준정규분포에 가까워진다. 또한 원자료가 완벽한 정규분포가 아니더라도 일정한 조건에서 표본평균의 근사적 정규성을 이용할 수 있다.
다만 신뢰구간의 타당성은 중심극한정리 하나에만 의존하지 않는다. 표본의 대표성, 독립성, 측정오차와 표준오차 계산방법도 적절해야 한다.
표본비율도 평균으로 볼 수 있다
설문 응답자가 어떤 정책에 찬성했으면 1, 반대했으면 0으로 기록한다고 하자.
각 응답을 \(X_i\)라고 하면 표본비율은 다음과 같다.
\[
\hat{p}=\frac{X_1+X_2+\cdots+X_n}{n}
\]
0과 1로 코딩한 자료의 평균이 바로 표본비율이다.
따라서 중심극한정리는 평균뿐 아니라 비율의 근사분포를 이해하는 데도 활용된다.
표본비율의 표준오차는 단순무작위표본에서 다음과 같다.
\[
SE(\hat{p})=\sqrt{\frac{p(1-p)}{n}}
\]
실제로는 모집단 비율 \(p\)를 모르므로 표본비율 \(\hat{p}\)를 사용해 추정한다.
\[
SE(\hat{p})=\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}
\]
그러나 사건이 매우 드물거나 매우 흔하면 정규근사가 좋지 않을 수 있다. 표본크기가 크더라도 관찰된 성공 또는 실패의 수가 너무 적으면 단순한 정규근사 신뢰구간이 부적절할 수 있다.
비율에서는 “표본크기 30”보다 사건 수와 비사건 수를 함께 확인해야 한다.
회귀분석과 t검정도 무조건 안전해지는 것은 아니다
중심극한정리는 평균, 합계와 여러 추정량의 대규모 표본분포를 이해하는 데 중요한 역할을 한다. 그러나 다음과 같이 말하면 지나친 단순화다.
표본크기가 30보다 크므로 t검정과 회귀분석을 안심하고 사용할 수 있다.
통계기법마다 필요한 조건이 다르다.
t검정
독립표본 t검정에서는 두 집단의 독립성, 표본추출 방식과 분산구조를 고려해야 한다.
자료가 심하게 치우치고 집단별 표본크기가 작거나 불균형하며 분산까지 크게 다르면 t검정의 근사가 좋지 않을 수 있다.
두 집단의 분산이 다를 가능성이 있다면 등분산을 강제하는 고전적인 t검정보다 Welch t검정이 더 적절할 수 있다.
회귀분석
선형회귀에서 원자료나 독립변수 자체가 정규분포를 따를 필요는 없다.
중요한 것은 연구목적에 따라 다음 조건을 검토하는 것이다.
- 관측값의 독립성
- 평균구조의 적절성
- 오차의 분산
- 극단값과 영향점
- 표준오차 계산방법
- 모형의 함수 형태
표본이 크면 회귀계수의 분포가 정규분포에 가까워질 수 있지만, 군집구조나 시계열 의존성을 무시하면 표본크기가 커도 표준오차가 잘못될 수 있다.
이분산성이 있다면 이분산성에 강건한 표준오차를 고려할 수 있고, 군집자료에는 군집구조를 반영한 표준오차나 다층모형이 필요할 수 있다.
분산분석
분산분석도 단순히 전체 표본크기가 30을 넘는다는 이유만으로 모든 문제가 해결되지 않는다.
집단별 표본크기, 분산의 차이, 이상값과 관측값의 독립성을 함께 확인해야 한다.
Lumley 등(2002)은 큰 표본에서 정규성 위반이 평균 관련 추론에 미치는 영향을 논의하면서, 정규성만이 아니라 표본설계와 극단적인 꼬리의 영향을 함께 고려해야 한다고 설명한다.
정규성 검정만으로 판단하면 안 된다
중심극한정리를 적용할 수 있는지 판단하기 위해 Shapiro–Wilk 검정 같은 정규성 검정을 사용하는 경우가 있다.
그러나 정규성 검정은 원자료가 정규분포와 일치하는지를 검토한다. 중심극한정리의 관심 대상은 원자료 자체가 아니라 표본평균이나 추정량의 표집분포다.
또한 표본크기가 크면 실질적으로 중요하지 않은 작은 비정규성도 통계적으로 유의하게 검출될 수 있다. 반대로 표본이 작으면 심한 비정규성이 있어도 검정력이 부족해 발견하지 못할 수 있다(Ghasemi & Zahediasl, 2012).
따라서 다음 내용을 함께 확인해야 한다.
- 히스토그램과 상자그림
- 극단값
- 왜도와 꼬리의 두께
- 표본크기
- 집단별 표본크기
- 분석하려는 통계량
- 관측값의 독립성
- 모의실험이나 강건성 분석
정규성 검정의 p값 하나만으로 중심극한정리의 적용 여부를 결정하는 것은 적절하지 않다.
중심극한정리가 해결하지 못하는 문제
중심극한정리는 표본평균의 무작위 변동을 설명한다. 하지만 데이터 수집과 연구설계에서 발생하는 모든 오류를 해결하지는 않는다.
편향된 표본
온라인 설문에 자발적으로 참여한 사람만 조사했다면 표본평균이 매우 정밀하게 계산되더라도 모집단 평균과 다를 수 있다.
중심극한정리는 편향된 표본을 대표적인 표본으로 바꾸지 않는다.
Meng(2018)은 매우 큰 표본에서도 선택편향이 존재하면 오차가 줄어들지 않을 수 있으며, 오히려 잘못된 결과를 매우 정밀하게 제시하는 상황이 생길 수 있음을 설명한다.
측정오차
체중계가 항상 실제보다 3kg 높게 측정한다면 여러 사람의 평균을 구해도 측정편향은 남는다.
표본크기를 늘리면 무작위 측정오차의 일부는 평균화될 수 있지만 체계적인 측정오차는 사라지지 않는다.
잘못된 연구설계
운동한 사람과 운동하지 않은 사람의 건강상태를 비교하면서 연령과 기존 건강상태를 고려하지 않았다면 교란편향이 발생할 수 있다.
중심극한정리는 인과관계를 만들어주는 정리가 아니다.
잘못된 표준오차
군집자료, 반복측정자료와 시계열자료를 독립자료처럼 분석하면 표준오차가 잘못될 수 있다.
추정량의 근사적 정규성이 성립하더라도 분산을 틀리게 계산하면 신뢰구간과 p값도 잘못된다.
R로 주사위의 중심극한정리 확인하기
R을 이용하면 표본크기에 따라 표본평균의 분포가 어떻게 변하는지 직접 확인할 수 있다.
다음 함수는 공정한 주사위를 \(n\)번 굴려 평균을 계산하는 과정을 여러 번 반복한다.
simulate_die_means <- function(n, repetitions = 10000L) {
if (n < 1L) {
stop("n은 1 이상의 정수여야 합니다.")
}
replicate(
repetitions,
mean(
sample.int(
6L,
size = n,
replace = TRUE
)
)
)
}표본크기가 1, 5, 30과 100일 때의 표본평균을 만들어보자.
set.seed(2026)
means_n1 <- simulate_die_means(1L)
means_n5 <- simulate_die_means(5L)
means_n30 <- simulate_die_means(30L)
means_n100 <- simulate_die_means(100L)히스토그램을 그리면 표본크기에 따른 변화를 확인할 수 있다.
par(mfrow = c(2, 2))
hist(
means_n1,
breaks = seq(0.5, 6.5, by = 1),
main = "n = 1",
xlab = "표본평균"
)
hist(
means_n5,
breaks = 30,
main = "n = 5",
xlab = "표본평균"
)
hist(
means_n30,
breaks = 30,
main = "n = 30",
xlab = "표본평균"
)
hist(
means_n100,
breaks = 30,
main = "n = 100",
xlab = "표본평균"
)
par(mfrow = c(1, 1))n = 1에서는 원래 주사위 분포가 그대로 나타난다. n = 5에서는 평균 3.5 주변이 높아지기 시작한다. n = 30과 n = 100에서는 분포가 점점 종 모양에 가까워지고 폭도 좁아진다.
표본평균의 평균과 표준편차도 확인할 수 있다.
result_die <- data.frame(
n = c(1, 5, 30, 100),
mean_of_means = c(
mean(means_n1),
mean(means_n5),
mean(means_n30),
mean(means_n100)
),
sd_of_means = c(
sd(means_n1),
sd(means_n5),
sd(means_n30),
sd(means_n100)
)
)
result_die$theoretical_se <-
sqrt(35 / (12 * result_die$n))
round(result_die, 4)표본평균들의 평균은 3.5에 가까워지고, 표준편차는 이론적인 표준오차에 가까운 값을 보인다.
치우친 지수분포에서도 확인하기
지수분포는 오른쪽으로 길게 치우친 분포다. 평균이 1이고 표준편차도 1인 지수분포에서 표본평균을 반복해서 계산해 보자.
simulate_exp_means <- function(
n,
repetitions = 10000L,
rate = 1
) {
if (n < 1L) {
stop("n은 1 이상의 정수여야 합니다.")
}
replicate(
repetitions,
mean(
rexp(
n,
rate = rate
)
)
)
}서로 다른 표본크기에서 표본평균을 생성한다.
set.seed(2026)
exp_n1 <- simulate_exp_means(1L)
exp_n5 <- simulate_exp_means(5L)
exp_n30 <- simulate_exp_means(30L)
exp_n100 <- simulate_exp_means(100L)히스토그램을 그려보자.
par(mfrow = c(2, 2))
hist(
exp_n1,
breaks = 40,
main = "지수분포, n = 1",
xlab = "표본평균"
)
hist(
exp_n5,
breaks = 40,
main = "지수분포, n = 5",
xlab = "표본평균"
)
hist(
exp_n30,
breaks = 40,
main = "지수분포, n = 30",
xlab = "표본평균"
)
hist(
exp_n100,
breaks = 40,
main = "지수분포, n = 100",
xlab = "표본평균"
)
par(mfrow = c(1, 1))n = 1에서는 오른쪽으로 길게 치우친 원래 분포가 나타난다. 표본크기가 증가하면 표본평균의 분포는 점차 대칭적인 종 모양에 가까워진다.
표준오차가 줄어드는지 확인하기
지수분포의 평균과 표준편차가 모두 1이므로 표본평균의 이론적인 표준오차는 다음과 같다.
\[
SE(\bar{X}_n)=\frac{1}{\sqrt{n}}
\]
R에서 경험적인 표준편차와 이론값을 비교할 수 있다.
sample_sizes <- c(1L, 5L, 30L, 100L)
set.seed(2026)
exp_result <- do.call(
rbind,
lapply(
sample_sizes,
function(n) {
sample_means <- simulate_exp_means(n)
data.frame(
n = n,
empirical_mean = mean(sample_means),
empirical_sd = sd(sample_means),
theoretical_se = 1 / sqrt(n)
)
}
)
)
round(exp_result, 4)표본크기가 증가하면 표본평균의 경험적 표준편차가 \(1/\sqrt{n}\)에 가까워지는 것을 확인할 수 있다.
코시분포에서는 무엇이 달라지는가
코시분포는 중심극한정리의 조건이 왜 중요한지 보여주는 대표적인 반례다.
표준 코시분포에는 평균과 분산이 존재하지 않는다. 따라서 표본을 크게 뽑는다고 표본평균이 모집단 평균 주변에 안정되지 않는다.
다음 코드로 확인할 수 있다.
simulate_cauchy_means <- function(
n,
repetitions = 10000L
) {
if (n < 1L) {
stop("n은 1 이상의 정수여야 합니다.")
}
replicate(
repetitions,
mean(
rcauchy(n)
)
)
}
표본크기 1, 10과 100의 표본평균을 생성한다.
set.seed(2026)
cauchy_n1 <- simulate_cauchy_means(1L)
cauchy_n10 <- simulate_cauchy_means(10L)
cauchy_n100 <- simulate_cauchy_means(100L)중앙부의 분위수를 비교해 보자.
cauchy_result <- cbind(
n1 = quantile(
cauchy_n1,
probs = c(0.10, 0.50, 0.90)
),
n10 = quantile(
cauchy_n10,
probs = c(0.10, 0.50, 0.90)
),
n100 = quantile(
cauchy_n100,
probs = c(0.10, 0.50, 0.90)
)
)
round(cauchy_result, 3)표본크기를 늘려도 표본평균의 분포 폭이 주사위나 지수분포처럼 체계적으로 줄어들지 않는다.
이 결과는 “평균을 많이 내면 언제나 안정된다”는 설명이 보편적인 법칙이 아니라는 점을 보여준다.
R로 평균의 신뢰구간 계산하기
평균이 1인 지수분포에서 표본 100개를 추출했다고 하자.
set.seed(2026)
x <- rexp(
n = 100,
rate = 1
)표본평균과 표준오차를 계산한다.
n <- length(x)
sample_mean <- mean(x)
sample_sd <- sd(x)
standard_error <- sample_sd / sqrt(n)t분포의 임계값을 이용해 95% 신뢰구간을 계산할 수 있다.
critical_value <- qt(
0.975,
df = n - 1
)
confidence_interval <-
sample_mean +
c(-1, 1) *
critical_value *
standard_error
c(
sample_mean = sample_mean,
lower = confidence_interval[1],
upper = confidence_interval[2]
)원자료는 오른쪽으로 치우쳐 있지만 표본크기 100에서 표본평균의 분포가 충분히 정규분포에 가까운지 중심극한정리를 이용해 판단할 수 있다.
다만 실제 분석에서는 데이터의 꼬리, 이상값과 독립성을 함께 확인해야 한다.
부트스트랩은 중심극한정리의 대안이 될 수 있는가
표집분포를 이론적으로 구하기 어렵거나 정규근사가 불안할 때 부트스트랩을 사용할 수 있다.
부트스트랩은 관찰된 표본에서 복원추출을 반복해 통계량의 분포를 근사하는 방법이다(Efron & Tibshirani, 1993).
평균의 부트스트랩 분포는 다음처럼 계산할 수 있다.
set.seed(2026)
bootstrap_means <- replicate(
5000L,
mean(
sample(
x,
size = length(x),
replace = TRUE
)
)
)
quantile(
bootstrap_means,
probs = c(0.025, 0.975)
)그러나 부트스트랩도 만능은 아니다.
- 원래 표본이 모집단을 대표해야 한다.
- 관측값의 의존구조를 반영해야 한다.
- 극단적으로 두꺼운 꼬리에서는 불안정할 수 있다.
- 군집자료에는 군집단위 부트스트랩이 필요하다.
- 시계열자료에는 블록 부트스트랩 같은 방법이 필요하다.
편향된 편의표본에서 부트스트랩을 수천 번 반복해도 모집단 대표성이 생기지는 않는다.
중심극한정리를 적용하기 전에 확인할 사항
중심극한정리를 이용해 평균이나 비율의 정규근사를 사용하려면 다음 질문을 검토하는 것이 좋다.
- 분석하려는 통계량은 평균이나 합과 관련되어 있는가?
- 관측값들은 서로 독립적인가?
- 군집, 반복측정 또는 시계열 의존성이 존재하는가?
- 모집단의 분산이 유한하다고 볼 수 있는가?
- 분포가 심하게 치우쳐 있지는 않은가?
- 매우 큰 극단값이 존재하는가?
- 표본크기가 분포의 비대칭성에 비해 충분한가?
- 비율자료라면 사건 수와 비사건 수가 충분한가?
- 표본이 목표모집단을 적절하게 대표하는가?
- 복합표본설계나 가중치를 표준오차에 반영했는가?
- 정규근사와 다른 방법의 결과가 크게 다르지 않은가?
- 모의실험이나 부트스트랩으로 근사의 안정성을 확인했는가?
“표본크기가 30을 넘는다”는 확인만으로 이 질문들을 대신할 수는 없다.
중심극한정리에서 자주 발생하는 오류
표본크기가 커지면 원자료가 정규분포가 된다고 생각한다
정규분포에 가까워지는 것은 원자료가 아니라 표본평균의 표집분포다.
소득자료는 표본크기가 커져도 여전히 오른쪽으로 치우칠 수 있다.
표본평균 하나가 정규분포를 따른다고 표현한다
한 번 계산한 표본평균은 하나의 숫자다. 정규분포에 가까워지는 것은 반복표본에서 만들어지는 표본평균들의 분포다.
표본크기 30을 절대적인 기준으로 사용한다
30은 보편적인 경계가 아니다. 모집단의 비대칭성, 꼬리와 사건확률에 따라 더 작거나 훨씬 큰 표본이 필요할 수 있다.
독립성을 확인하지 않는다
같은 학교, 병원, 가구 또는 시점의 관측값은 서로 관련될 수 있다. 의존성을 무시하면 표준오차가 잘못된다.
표본이 크면 편향도 사라진다고 생각한다
표본크기는 무작위 표본오차를 줄일 수 있지만 선택편향, 측정편향과 교란편향을 제거하지 않는다.
모든 평균에 고전적 중심극한정리가 적용된다고 생각한다
코시분포나 무한분산을 가진 일부 분포에서는 고전적인 중심극한정리가 성립하지 않는다.
원자료의 정규성 검정만 확인한다
원자료가 정규분포인지와 표본평균의 표집분포를 정규분포로 근사할 수 있는지는 서로 다른 질문이다.
중심극한정리가 인과관계를 보장한다고 생각한다
중심극한정리는 추정량의 분포에 관한 정리다. 연구설계의 교란이나 역인과 문제를 해결하지 않는다.
무질서 속에서 나타나는 질서는 조건부입니다
중심극한정리는 불규칙한 현실자료에서도 평균이라는 통계량이 반복표본에서 규칙적인 분포를 가질 수 있음을 보여준다.
원자료가 균등분포이거나 오른쪽으로 치우쳐 있어도, 독립적으로 추출된 관측값의 평균과 분산이 존재한다면 표본크기가 커질수록 표준화한 표본평균의 분포는 정규분포에 가까워진다.
비전공자는 다음 네 문장을 기억하면 된다.
중심극한정리는 원자료가 정규분포로 바뀐다는 뜻이 아니다.
정규분포에 가까워지는 것은 반복해서 계산한 표본평균의 분포다.
표본크기가 커지면 표본평균의 변동은 일반적으로 작아진다.
표본크기 30은 절대적인 규칙이 아니며 독립성, 분산과 분포의 꼬리를 함께 확인해야 한다.
중심극한정리는 통계분석을 무조건 정당화하는 안전보증서가 아니다. 조건이 충족되는 상황에서 복잡한 표집분포를 정규분포로 근사할 수 있게 해주는 정교한 이론이다.
통계학이 현실의 불확실성을 다룰 수 있는 이유는 모든 데이터가 질서정연하기 때문이 아니다. 무질서한 관측값들이 합쳐질 때 어떤 조건에서 질서가 나타나는지를 수학적으로 설명할 수 있기 때문이다.
참고문헌
Agresti, A., & Coull, B. A. (1998). Approximate is better than “exact” for interval estimation of binomial proportions. The American Statistician, 52(2), 119–126. https://doi.org/10.1080/00031305.1998.10480550
Berry, A. C. (1941). The accuracy of the Gaussian approximation to the sum of independent variates. Transactions of the American Mathematical Society, 49(1), 122–136. https://doi.org/10.1090/S0002-9947-1941-0003498-3
Bradley, R. C. (2005). Basic properties of strong mixing conditions: A survey and some open questions. Probability Surveys, 2, 107–144. https://doi.org/10.1214/154957805100000104
DasGupta, A. (2008). Asymptotic theory of statistics and probability. Springer. https://doi.org/10.1007/978-0-387-75971-5
Efron, B., & Tibshirani, R. J. (1993). An introduction to the bootstrap. Chapman & Hall/CRC. https://doi.org/10.1201/9780429246593
Ghasemi, A., & Zahediasl, S. (2012). Normality tests for statistical analysis: A guide for non-statisticians. International Journal of Endocrinology and Metabolism, 10(2), 486–489. https://doi.org/10.5812/ijem.3505
Kwak, S. G., & Kim, J. H. (2017). Central limit theorem: The cornerstone of modern statistics. Korean Journal of Anesthesiology, 70(2), 144–156. https://doi.org/10.4097/kjae.2017.70.2.144
Lumley, T., Diehr, P., Emerson, S., & Chen, L. (2002). The importance of the normality assumption in large public health data sets. Annual Review of Public Health, 23, 151–169. https://doi.org/10.1146/annurev.publhealth.23.100901.140546
Meng, X.-L. (2018). Statistical paradises and paradoxes in big data (I): Law of large populations, big data paradox, and the 2016 US presidential election. The Annals of Applied Statistics, 12(2), 685–726. https://doi.org/10.1214/18-AOAS1161SF
Serfling, R. J. (1974). Probability inequalities for the sum in sampling without replacement. The Annals of Statistics, 2(1), 39–48. https://doi.org/10.1214/aos/1176342611
Student. (1908). The probable error of a mean. Biometrika, 6(1), 1–25. https://doi.org/10.1093/biomet/6.1.1
Wasserman, L. (2004). All of statistics: A concise course in statistical inference. Springer. https://doi.org/10.1007/978-0-387-21736-9
