통계분석에서 표본 수가 많다는 것은 대체로 장점으로 받아들여진다.
조사대상이 많아지면 평균과 비율이 표본마다 흔들리는 정도가 줄어들고, 신뢰구간은 좁아지며, 실제로 존재하는 작은 차이도 발견하기 쉬워진다. 논문과 보고서에서도 “대규모 표본을 사용했다”는 문장은 연구의 강점을 설명할 때 자주 등장한다.
그렇다면 응답자가 100만 명인 온라인 설문은 확률표집으로 뽑은 2,000명의 조사보다 언제나 신뢰할 수 있을까?
반드시 그렇지는 않다.
특정 플랫폼 이용자만 포함된 100만 명의 자료는 목표 모집단을 제대로 대표하지 못할 수 있다. 측정도구가 모든 값을 체계적으로 높게 기록한다면 수백만 번 측정해도 잘못된 값을 정밀하게 얻을 뿐이다. 중요한 교란변수가 빠진 관찰연구에서는 표본 수가 커질수록 편향된 관계를 더욱 확신 있게 보고할 수도 있다.
표본 수가 주로 해결하는 문제는 무작위 표본변동이다.
반면 다음 문제는 표본 수만 늘린다고 자동으로 해결되지 않는다.
- 표본선정 편향
- 과소포함과 무응답
- 체계적인 측정오류
- 교란과 역인과관계
- 잘못된 통계모형
- 반복측정과 군집구조
- 비무작위 결측
- 데이터 누출
- 다른 모집단으로의 일반화
- 실질적으로 의미 없는 작은 효과
표본 수가 많다는 것은 연구의 품질에 대한 최종 결론이 아니다.
큰 표본은 좋은 연구를 더 정밀하게 만들 수 있지만, 잘못된 연구를 좋은 연구로 바꾸지는 못한다.
표본 수가 증가하면 실제로 무엇이 좋아지는가
표본 수 증가의 가장 분명한 장점은 추정값의 표본 간 변동이 감소한다는 것이다.
모집단에서 30명을 뽑아 계산한 평균과 다른 30명을 뽑아 계산한 평균은 서로 다를 수 있다. 표본 수가 작을수록 어떤 사람이 우연히 포함되었는지에 따라 결과가 크게 달라진다.
독립적이고 동일한 분포에서 표본을 추출한다는 기본 조건 아래 표본평균의 표준오차는 다음과 같다.
\[
SE(\bar{x})=\frac{\sigma}{\sqrt{n}}
\]
모집단 표준편차 \(\sigma\)를 알 수 없다면 표본표준편차 \(s\)를 사용해 다음처럼 추정한다.
\[
\widehat{SE}(\bar{x})=\frac{s}{\sqrt{n}}
\]
분모에 표본 수의 제곱근이 들어가므로 표본 수가 증가하면 표준오차가 작아진다.
모집단 표준편차가 10이라고 가정해 보자.
| 표본 수 | 평균의 표준오차 |
|---|---|
| 25명 | 2.00 |
| 100명 | 1.00 |
| 400명 | 0.50 |
| 1,600명 | 0.25 |
표본 수가 25명에서 100명으로 네 배 증가하면 표준오차는 절반이 된다. 100명에서 400명으로 다시 네 배 늘리면 표준오차는 1에서 0.5로 줄어든다.
따라서 표준오차를 절반으로 줄이려면 표본 수를 두 배가 아니라 네 배로 늘려야 한다.
표본 수가 증가하면 일반적으로 다음과 같은 장점이 생긴다.
| 개선되는 항목 | 의미 |
|---|---|
| 표준오차 감소 | 추정값의 표본 간 변동이 줄어듦 |
| 신뢰구간 축소 | 모집단 값의 가능한 범위를 더 정밀하게 제시 |
| 검정력 증가 | 실제 효과를 발견할 가능성이 높아짐 |
| 희귀사건 분석 | 드물게 발생하는 결과를 관찰할 가능성이 증가 |
| 하위집단 분석 | 특정 집단의 효과를 별도로 분석할 가능성이 증가 |
| 복잡한 관계 추정 | 비선형성이나 상호작용을 분석할 여지가 커짐 |
이러한 장점은 중요하다. 표본 수가 너무 작으면 효과의 방향과 크기를 안정적으로 추정하기 어렵고, 신뢰구간도 지나치게 넓어질 수 있다(Button et al., 2013).
문제는 이러한 장점을 “표본이 크면 연구의 다른 약점도 사라진다”는 주장으로 확대할 때 발생한다.
표본 수는 정확도보다 정밀도를 높인다
정확도와 정밀도는 같은 개념이 아니다.
정확도는 추정값이 실제 모집단의 값에 얼마나 가까운지를 의미한다.
정밀도는 표본추출을 반복했을 때 추정값들이 서로 얼마나 가깝게 모이는지를 의미한다.
다트판을 생각하면 이해하기 쉽다.
| 화살의 모양 | 정확도 | 정밀도 |
|---|---|---|
| 과녁 중심에 모임 | 높음 | 높음 |
| 중심에서 벗어난 한곳에 모임 | 낮음 | 높음 |
| 중심 주변에 넓게 흩어짐 | 평균적으로 높을 수 있음 | 낮음 |
| 중심에서 벗어나 넓게 흩어짐 | 낮음 | 낮음 |
표본 수를 늘리는 것은 주로 화살들이 서로 가까이 모이게 한다.
하지만 조준 방향이 처음부터 잘못되어 있다면 화살을 더 많이 던져도 중심으로 이동하지 않는다.
추정량의 평균제곱오차는 다음과 같이 편향과 분산으로 나눌 수 있다.
\[
MSE(\hat{\theta})=Var(\hat{\theta})+Bias(\hat{\theta})^2
\]
편향은 다음과 같다.
\[
Bias(\hat{\theta})=E(\hat{\theta})-\theta
\]
표본 수가 증가하면 분산은 일반적으로 감소한다. 그러나 표본선정이나 측정과정에서 발생한 체계적인 편향은 자동으로 줄어들지 않는다.
따라서 큰 표본에서는 다음 상황이 가능하다.
추정값은 거의 흔들리지 않지만 실제 값에서는 체계적으로 벗어나 있다.
이것이 “정밀하지만 부정확한 결과”다.
잘못된 값을 더 정확하게 추정할 수 있다
실제 모집단 평균이 50이고 표준편차가 10이라고 하자.
측정장비가 모든 값을 평균적으로 3만큼 높게 측정한다면 관찰되는 값의 평균은 53에 가까워진다.
표본 수가 25명일 때는 평균이 51이나 55처럼 비교적 넓게 흔들릴 수 있다.
표본 수를 10,000명으로 늘리면 표본평균은 거의 53 주변에 모인다.
이때 표준오차는 다음과 같다.
\[
SE=\frac{10}{\sqrt{10000}}=0.1
\]
정규근사를 이용한 95% 신뢰구간은 다음과 같다.
\[
53\pm1.96\times0.1
\]
따라서 신뢰구간은 약 52.804에서 53.196이다.
\[
52.804\leq\mu\leq53.196
\]
신뢰구간은 매우 좁지만 실제 평균 50을 포함하지 않는다.
표본 수가 증가하면서 측정편향이 사라진 것이 아니다. 잘못된 값 53을 더욱 정밀하게 추정하게 된 것이다.
일반적인 신뢰구간은 표본추출로 인한 무작위 변동을 반영한다. 측정장비의 체계적인 오류, 선택편향과 잘못된 연구설계를 자동으로 보정하지는 않는다(Fuller, 1987).
좁은 신뢰구간은 모형과 자료수집 가정 아래에서 정밀하다는 뜻이지, 연구 전체가 정확하다는 보증서가 아니다.
대표성이 없는 큰 표본은 모집단을 설명하지 못한다
전국 성인의 평균소득을 추정한다고 하자.
첫 번째 조사는 전국 성인 중 확률표집으로 2,000명을 추출했다.
두 번째 조사는 고급 금융서비스 이용자 100만 명의 자료를 확보했다.
두 번째 자료의 관측 수는 압도적으로 많다. 그러나 고급 금융서비스 이용자는 전체 성인보다 소득이 높을 가능성이 있다.
100만 명을 분석해도 특정 고소득 집단에 편중되어 있다면 전국 성인의 평균소득을 제대로 추정하기 어렵다.
표본 수와 대표성은 서로 다른 속성이다.
| 질문 | 표본 수가 알려주는 것 | 표본설계가 알려주는 것 |
|---|---|---|
| 몇 명을 조사했는가? | 자료의 양 | 직접적인 답이 아님 |
| 누가 포함되었는가? | 직접적인 답이 아님 | 표본의 구성 |
| 모집단을 대표하는가? | 보장하지 않음 | 추출과 응답 과정으로 판단 |
| 표본오차가 작은가? | 대체로 작아짐 | 군집과 가중치에 따라 달라짐 |
| 선택편향이 있는가? | 해결하지 못함 | 포함확률과 선택과정으로 판단 |
온라인 자발적 조사에서는 인터넷 이용 여부, 특정 플랫폼 가입 여부와 응답자의 자기선택이 대표성에 영향을 줄 수 있다(Bethlehem, 2010; Keiding & Louis, 2018).
같은 모집경로에서 응답자를 계속 추가하는 것만으로는 포함되지 않은 집단이 새롭게 들어오지 않는다.
예를 들어 특정 모바일 앱 이용자만 조사한다면 표본을 1만 명에서 100만 명으로 늘려도 앱을 사용하지 않는 사람은 계속 빠져 있다.
빅데이터 역설은 왜 발생하는가
대규모 데이터에서는 전통적인 표준오차가 매우 작게 계산되는 경우가 많다.
그러나 표본에 포함될 가능성과 관심변수가 조금이라도 관련되어 있다면 표본 수가 커져도 선택편향은 남는다.
Meng(2018)은 이러한 현상을 빅데이터 역설로 설명했다.
핵심은 다음과 같다.
- 자료의 양이 많아질수록 표본추출에 의한 무작위 변동은 작아진다.
- 표본선정 과정의 작은 체계적 오류는 그대로 남을 수 있다.
- 일반적인 표준오차는 작아지므로 연구자는 결과를 매우 정밀하다고 판단한다.
- 실제 모집단 값과의 차이는 여전히 클 수 있다.
즉, 데이터가 많을수록 반드시 진실에 가까워지는 것이 아니다.
오히려 자료의 품질을 통제하지 못하면 잘못된 결과를 더 강하게 확신할 수 있다.
빅데이터의 가장 큰 위험은 틀릴 수 있다는 점만이 아니라, 틀린 결과를 매우 확신하게 만들 수 있다는 점이다.
과소포함은 표본의 크기로 해결되지 않는다
과소포함은 목표 모집단의 특정 구성원이 표본에 포함될 기회를 충분히 갖지 못하는 문제다.
다음과 같은 사례가 있다.
- 온라인 조사에서 디지털 접근성이 낮은 고령층이 빠진다.
- 대학 만족도 조사에서 중도탈락 학생에게 연락하지 못한다.
- 병원자료에서 의료기관을 이용하지 못한 사람이 제외된다.
- 쇼핑 앱 자료에서 오프라인 구매 고객이 빠진다.
- 전자의무기록 연구에서 특정 병원으로 오지 않은 환자가 제외된다.
응답자가 10만 명이어도 빠진 집단의 특성이 응답자와 다르면 전체 결과는 편향될 수 있다.
중요한 것은 빠진 사람의 수만이 아니다.
빠진 사람들의 결과가 포함된 사람들과 얼마나 다른지가 중요하다.
불만이 큰 고객일수록 설문을 무시한다면 관찰된 만족도 평균은 실제보다 높아질 수 있다. 상태가 악화된 환자일수록 추적조사에서 탈락한다면 치료결과가 실제보다 긍정적으로 보일 수 있다.
표본을 늘리려면 같은 유형의 응답자를 반복해서 모집하는 것이 아니라, 빠진 집단이 포함될 수 있도록 표집틀과 모집방법을 개선해야 한다.
응답자가 많아도 무응답편향은 남을 수 있다
100만 명에게 설문 초대장을 보내 10만 명이 응답했다고 하자.
10만 명은 매우 큰 표본이다. 하지만 왜 90만 명이 응답하지 않았는지 모른다면 표본 수만으로 결과의 타당성을 판단하기 어렵다.
무응답이 항상 편향을 만드는 것은 아니다.
응답 여부가 조사결과와 무관하거나, 관찰된 보조변수로 충분히 설명된다면 가중치나 통계모형으로 일부 보정할 수 있다.
하지만 다음 상황에서는 문제가 커질 수 있다.
- 서비스에 불만이 큰 고객이 설문을 피한다.
- 건강상태가 나쁜 환자가 장기추적에서 이탈한다.
- 고소득자가 소득문항에 응답하지 않는다.
- 업무가 바쁜 근로자가 조직조사에 참여하지 않는다.
확인해야 할 질문은 다음과 같다.
- 누구에게 조사 참여 기회가 제공되었는가?
- 실제로 누가 응답했는가?
- 응답자와 무응답자는 관찰된 특성에서 다른가?
- 응답 여부가 관심변수와 관련되어 있는가?
- 모집단 보정에 사용할 외부정보가 있는가?
- 다른 무응답 가정에서도 결론이 유지되는가?
응답률이 낮다는 사실만으로 편향이 확정되는 것은 아니다. 반대로 응답률이 높다고 편향이 없다고 단정할 수도 없다.
표본의 크기는 응답자의 수를 나타내지만, 무응답편향은 응답한 사람과 빠진 사람의 체계적인 차이에서 발생한다.
측정오류는 많은 관측으로 자동 소멸하지 않는다
표본을 아무리 많이 모아도 연구개념을 잘못 측정했다면 결과의 타당성이 낮을 수 있다.
고객 충성도를 최근 구매횟수 하나로 측정한다고 하자.
구매횟수는 충성도와 관련될 수 있지만 다음 요인의 영향도 받는다.
- 가격 할인
- 재고 확보
- 가구원 수
- 구매주기
- 경쟁사 품절
- 일시적인 프로모션
구매횟수가 많다는 사실이 브랜드에 대한 심리적 충성도를 정확하게 의미하지는 않는다.
측정오류는 크게 두 종류로 생각할 수 있다.
| 오류 유형 | 특징 | 표본 수 증가의 영향 |
|---|---|---|
| 무작위 측정오류 | 측정값이 여러 방향으로 흔들림 | 일부 영향이 평균화될 수 있음 |
| 체계적 측정오류 | 일정한 방향으로 값이 왜곡됨 | 자동으로 사라지지 않음 |
체중계가 측정할 때마다 무작위로 조금씩 흔들린다면 반복측정이나 표본 증가가 평균의 안정성을 높일 수 있다.
그러나 체중계가 모든 사람에게 2kg씩 높게 표시한다면 표본 수를 늘려도 평균은 계속 2kg 높게 추정된다.
설명변수의 측정오류는 회귀계수 자체를 왜곡할 수 있다. 고전적인 조건에서는 설명변수의 무작위 측정오류가 회귀계수를 0에 가까운 방향으로 약화시키는 현상이 나타날 수 있다(Fuller, 1987).
표본을 늘리는 것보다 먼저 확인해야 할 질문은 다음과 같다.
우리가 측정한 숫자가 연구하려는 개념을 실제로 반영하는가?
설문 문항이 잘못되면 응답자 수는 구해주지 못한다
다음 문항에 수만 명이 응답했다고 하자.
최근 크게 개선된 우리 대학의 교육서비스에 얼마나 만족하십니까?
이 문항에는 여러 문제가 있다.
“크게 개선된”이라는 표현이 긍정적인 응답을 유도할 수 있다. 교육서비스가 수업, 행정, 시설, 진로지원 가운데 무엇을 의미하는지도 불분명하다.
응답자마다 서로 다른 대상을 떠올리면 같은 4점도 서로 다른 의미를 갖는다.
다음 문제 역시 표본 수로 해결되지 않는다.
- 한 문항에 여러 개념을 동시에 질문
- 유도적인 표현
- 부정문과 이중부정
- 불균형한 응답범주
- 모호한 조사기간
- 응답자가 알 수 없는 내용을 질문
- 집단마다 다르게 이해되는 번역문항
이러한 문항을 100만 명에게 제시하면 좋은 측정이 되는 것이 아니다. 잘못된 측정을 100만 번 반복하게 된다.
대규모 조사일수록 예비조사, 인지면접, 척도 타당화와 측정불변성 검토가 중요하다.
교란은 표본 수가 커져도 사라지지 않는다
광고비와 매출 사이의 관계를 분석한다고 하자.
규모가 큰 기업은 광고비를 많이 지출한다. 동시에 매장 수, 제품 수와 고객 기반도 크기 때문에 매출도 높을 가능성이 있다.
기업 규모는 광고비와 매출 모두에 영향을 줄 수 있다.
\[
S\rightarrow A
\]
\[
S\rightarrow Y
\]
여기서 \(S\)는 기업 규모, \(A\)는 광고비, \(Y\)는 매출이다.
기업 규모를 고려하지 않고 광고비와 매출을 분석하면 광고효과와 기업 규모의 영향이 섞일 수 있다.
표본 수가 100개 기업일 때는 관계가 불안정하게 추정될 수 있다. 표본 수를 100만 개 기업으로 늘리면 관계는 매우 정밀해진다.
그러나 교란을 해결하지 않았다면 정밀하게 추정된 값은 광고비의 순수한 효과가 아니다. 광고비와 기업 규모가 섞인 관계다.
인과효과를 추정하려면 연구질문에 맞는 비교가 필요하다.
- 무작위실험
- 적절한 회귀조정
- 매칭
- 성향점수 가중
- 자연실험
- 도구변수
- 차이의 차이
- g-방법
이러한 방법도 큰 표본이라는 이유만으로 자동으로 타당해지는 것은 아니다. 필요한 가정, 측정되지 않은 교란과 변수의 인과적 역할을 검토해야 한다(Austin, 2011; Hernán & Robins, 2020).
큰 표본은 상관관계를 인과관계로 바꾸지 않는다
수백만 명의 스마트기기 자료에서 운동시간과 건강점수 사이에 강한 관계가 발견되었다고 하자.
p값은 매우 작고 신뢰구간도 좁을 수 있다.
하지만 다음 가능성은 남아 있다.
- 건강한 사람이 운동을 더 많이 한다.
- 소득이 운동과 건강 모두에 영향을 준다.
- 식습관이 측정되지 않았다.
- 건강관리에 관심이 많은 사람만 기기를 사용한다.
- 기기 사용을 중단한 사람의 자료가 빠졌다.
표본 수가 크다는 사실은 역인과관계, 교란과 선택편향을 제거하지 않는다.
큰 표본은 관찰된 관계를 정밀하게 추정할 수 있다. 그러나 그 관계가 왜 발생했는지에 대한 인과적 질문은 연구설계와 가정에 의해 답해야 한다(Hernán & Robins, 2020).
관찰연구에서는 다음처럼 표현하는 것이 안전하다.
운동시간은 건강점수와 양의 관련성을 보였다.
다음 표현은 별도의 인과적 근거가 필요하다.
운동시간 증가가 건강점수를 향상시켰다.
표본이 크면 사소한 차이도 유의해진다
검정통계량은 일반적으로 효과 추정값을 표준오차로 나눈 형태를 갖는다.
\[
T=\frac{\hat{\theta}}{SE(\hat{\theta})}
\]
표본 수가 커지면 표준오차가 작아진다. 효과크기가 매우 작더라도 검정통계량의 절댓값이 커지고 p값은 작아질 수 있다.
온라인 서비스 화면 A와 B의 평균 만족도가 다음과 같다고 하자.
| 화면 | 평균 만족도 |
|---|---|
| 기존 화면 | 4.200점 |
| 새 화면 | 4.205점 |
차이는 5점 척도에서 0.005점이다.
집단별 표본 수가 100명이라면 통계적으로 유의하지 않을 가능성이 크다. 집단별 표본 수가 수백만 명이라면 p값은 매우 작게 나타날 수 있다.
그러나 다음 질문은 별개다.
- 사용자가 0.005점 차이를 체감하는가?
- 화면을 변경할 비용보다 가치가 큰가?
- 만족도 차이가 구매나 유지율로 연결되는가?
- 측정도구의 오차보다 큰 차이인가?
- 다른 표본에서도 유지되는가?
통계적 유의성은 효과가 정확히 0이라는 가설과 자료의 양립 정도를 평가한다. 효과의 크기나 실무적 중요성을 자동으로 알려주지는 않는다(Greenland et al., 2016; Wasserstein & Lazar, 2016).
대규모 표본에서는 다음을 함께 제시해야 한다.
- 효과크기
- 95% 신뢰구간
- 원래 측정단위의 차이
- 최소 중요 차이
- 비용과 편익
- 의사결정에 미치는 영향
p값이 작다는 사실과 효과가 중요하다는 사실은 같은 말이 아니다.
작은 표본의 문제도 분명히 존재한다
표본 수가 모든 문제를 해결하지 못한다는 설명이 표본 수는 중요하지 않다는 뜻은 아니다.
표본이 지나치게 작으면 다음 문제가 발생할 수 있다.
- 표준오차가 크다.
- 신뢰구간이 넓다.
- 실제 효과를 발견할 검정력이 낮다.
- 이상치 몇 개가 결과를 좌우한다.
- 모형이 수렴하지 않을 수 있다.
- 하위집단과 상호작용을 분석하기 어렵다.
- 유의하게 나온 효과가 과대추정될 수 있다.
낮은 검정력의 연구에서는 실제 효과를 발견하기 어렵다. 우연히 큰 효과가 관측된 연구만 유의성 기준을 통과하면서 보고된 효과가 실제보다 커지는 현상도 나타날 수 있다(Button et al., 2013).
따라서 필요한 것은 작은 표본과 큰 표본 가운데 하나를 선택하는 것이 아니다.
좋은 설계와 충분한 표본을 함께 확보하는 것이다.
| 지나치게 작은 표본 | 잘못 설계된 큰 표본 |
|---|---|
| 표준오차가 큼 | 편향된 값을 정밀하게 추정 |
| 검정력이 낮음 | 사소한 효과도 유의하게 나타남 |
| 효과크기가 불안정 | 체계적 오류에 과도한 확신 |
| 신뢰구간이 넓음 | 잘못된 모형에서 지나치게 좁은 신뢰구간 |
| 이상치 영향이 큼 | 대표성 문제가 큰 숫자에 가려질 수 있음 |
데이터 행 수와 독립적인 표본 수는 다르다
데이터 파일에 100만 개의 행이 있다고 해서 독립적인 정보가 100만 개 있다는 뜻은 아니다.
100명의 사용자가 각각 10,000번씩 클릭했다면 데이터 행은 100만 개다.
하지만 사람 사이의 차이에 관심이 있다면 독립적인 대상자는 100명뿐이다. 같은 사람의 클릭은 개인의 성향, 기기와 사용환경을 공유한다.
다음 자료에서도 비슷한 문제가 생긴다.
- 같은 환자의 반복진료 기록
- 같은 학생의 여러 시험점수
- 같은 매장의 일별 매출
- 같은 기업의 연도별 재무자료
- 같은 학교에 속한 학생
- 같은 병원에 속한 환자
- 같은 가구의 구성원
같은 군집에 속한 관측값은 서로 유사할 수 있다.
이를 무시하고 모든 행을 독립적인 자료처럼 분석하면 표준오차가 지나치게 작아지고 p값도 과도하게 작아질 수 있다.
유효 표본 수는 명목 표본 수보다 작을 수 있다
군집당 평균 관측 수를 \(m\), 군집내상관계수를 \(\rho\)라고 할 때 단순한 설계효과는 다음과 같이 근사할 수 있다(Kish, 1965).
\[
DEFF=1+(m-1)\rho
\]
유효 표본 수는 다음과 같이 계산할 수 있다.
\[
n_{\mathrm{eff}}=\frac{n}{DEFF}
\]
100개 학교에서 학교당 100명씩 조사했다고 하자.
전체 학생 수는 10,000명이다.
학교 내 학생들의 군집내상관계수가 0.10이라면 설계효과는 다음과 같다.
\[
DEFF=1+(100-1)\times0.10=10.9
\]
유효 표본 수는 다음과 같다.
\[
n_{\mathrm{eff}}=\frac{10000}{10.9}\approx917
\]
자료에는 10,000명이 있지만 단순무작위로 뽑은 독립적인 10,000명과 같은 정밀도를 갖지는 않는다.
이 계산은 단순한 근사다. 실제 복합표본에서는 다음 요소에 따라 설계효과가 달라질 수 있다.
- 군집 크기의 차이
- 층화
- 가중치
- 추정하려는 통계량
- 집단별 군집내상관
- 다단계 표본설계
군집자료는 다층모형, 군집 강건 표준오차 또는 조사설계를 반영한 분석방법으로 처리해야 한다.
가중치가 크게 다르면 유효 표본 수가 줄어든다
조사 가중치가 서로 크게 다르면 일부 응답자가 모집단 추정에 매우 큰 영향을 미치게 된다.
가중치에 따른 단순한 유효 표본 수는 다음과 같이 근사할 수 있다.
\[
n_{\mathrm{eff}}=\frac{(\sum_{i=1}^{n}w_i)^2}{\sum_{i=1}^{n}w_i^2}
\]
모든 가중치가 같다면 유효 표본 수는 실제 표본 수와 같다.
일부 사람의 가중치가 매우 크다면 유효 표본 수는 줄어든다.
가중치는 대표성 문제를 완화할 수 있지만 정보량을 공짜로 만들어내는 것은 아니다. 가중치를 적용한 추정에서는 조사설계를 반영한 표준오차가 필요하다.
시계열에서는 관측기간보다 의존구조가 중요하다
한 기업의 일별 매출을 10년 동안 수집하면 수천 개의 관측값이 생긴다.
하지만 오늘의 매출은 어제의 매출과 관련될 가능성이 높다.
다음 요인도 반복적으로 영향을 준다.
- 요일
- 계절
- 공휴일
- 장기 추세
- 경기변동
- 가격정책
- 마케팅 캠페인
- 외부 충격
시계열 자료를 독립적인 관측값 수천 개처럼 분석하면 표준오차가 잘못 계산될 수 있다.
시간에 따라 함께 증가하는 두 변수는 직접적인 관계가 없어도 높은 상관을 보일 수 있다.
시계열 분석에서는 다음을 검토해야 한다.
- 자기상관
- 추세
- 계절성
- 정상성
- 구조적 변화
- 지연효과
- 개입시점
- 시간에 따라 달라지는 분산
관측기간이 길어지는 것은 유용하지만 시간적 구조를 무시한 분석을 타당하게 만들어주지는 않는다.
전체 표본이 커도 관심 하위집단은 작을 수 있다
전체 표본이 100만 명이라고 해도 모든 분석에서 충분한 표본을 가진 것은 아니다.
100만 명 가운데 희귀질환 환자가 100명뿐이라면 해당 질환의 분석은 실질적으로 100명의 정보에 의존한다.
여러 변수를 조합해 하위집단을 만들면 표본 수는 더욱 빠르게 줄어든다.
예를 들어 다음 변수를 동시에 나눈다고 하자.
- 성별 2개 범주
- 연령대 5개 범주
- 지역 10개 범주
- 고객등급 4개 범주
- 구매유형 3개 범주
가능한 조합 수는 다음과 같다.
\[
2\times5\times10\times4\times3=1200
\]
전체 표본이 커도 일부 조합에는 관측값이 거의 없을 수 있다.
하위집단 효과를 분석할 때는 전체 표본 수가 아니라 다음을 확인해야 한다.
- 하위집단별 실제 사례 수
- 사건 수와 비사건 수
- 비교집단 간 중첩
- 추정치의 신뢰구간
- 다중검정
- 사전에 계획한 분석인지 여부
불균형 자료에서는 큰 정확도가 착시를 만들 수 있다
사기거래가 전체 거래의 0.1%라고 하자.
100만 건의 거래자료에는 사기거래가 약 1,000건 존재한다.
모든 거래를 정상으로 예측하는 모형도 전체 정확도가 99.9%다.
그러나 사기거래를 한 건도 발견하지 못한다.
전체 표본 수가 크고 정확도가 높아도 실무적으로 쓸모없는 모형일 수 있다.
희귀사건 분류에서는 다음 지표를 함께 평가해야 한다.
- 민감도 또는 재현율
- 특이도
- 정밀도
- 음성예측도
- ROC 곡선
- 정밀도-재현율 곡선
- 보정
- 오류비용
- 의사결정 기준값
전체 정확도는 다수 범주의 성능에 지배될 수 있다. 큰 표본이라는 사실보다 결과범주의 구성과 실제 목적을 확인해야 한다.
결측값이 많으면 실제 정보량이 줄어든다
연구에 10만 명이 참여했더라도 핵심 변수에 결측값이 많으면 실제 분석표본은 훨씬 작아질 수 있다.
더 중요한 문제는 결측이 어떤 방식으로 발생했는가이다.
| 결측 유형 | 의미 |
|---|---|
| 완전무작위 결측 | 결측 여부가 관측값과 미관측값 모두와 관련되지 않음 |
| 무작위 결측 | 관측된 변수를 고려하면 결측 여부가 미관측값과 관련되지 않음 |
| 비무작위 결측 | 관측된 변수를 고려한 뒤에도 결측 여부가 미관측값과 관련됨 |
소득이 높은 사람이 소득문항에 응답하지 않거나 상태가 악화된 환자가 추적조사에서 탈락하면 완전사례 분석은 편향될 수 있다.
남은 표본이 5만 명이므로 충분히 크다고 판단해서는 안 된다.
확인해야 할 것은 다음과 같다.
- 어떤 변수에서 결측이 발생했는가?
- 집단별 결측률이 다른가?
- 누가 빠졌는가?
- 왜 빠졌는가?
- 결측과 결과변수는 관련되어 있는가?
- 다중대체나 혼합모형이 적절한가?
- 비무작위 결측에 대한 민감도 분석을 했는가?
표본 수가 매우 커도 비무작위 결측에 따른 편향은 남을 수 있다(Little & Rubin, 2019).
잘못된 통계모형은 큰 표본에서도 잘못된다
실제 관계가 곡선형인데 직선모형을 적합했다고 하자.
표본이 작을 때는 관계의 형태가 불분명할 수 있다.
표본을 크게 늘리면 직선의 기울기는 매우 정밀하게 추정될 것이다. 하지만 직선 자체가 실제 관계를 잘 설명하지 못한다면 작은 표준오차는 큰 의미가 없다.
표본 수로 해결되지 않는 대표적인 모형 문제는 다음과 같다.
- 중요한 비선형관계 누락
- 상호작용 누락
- 결과분포의 잘못된 지정
- 관측값의 독립성 위반
- 이분산성 무시
- 시계열 자기상관 무시
- 중요한 변수 누락
- 불필요한 변수의 과도한 투입
- 범주형 변수의 잘못된 수치화
- 매개변수와 충돌변수의 부적절한 조정
표본 수가 증가하면 추정량은 안정된 값으로 수렴할 수 있다.
하지만 모형이 잘못되었다면 연구자가 원하는 참값이 아니라 잘못 지정된 모형에서 가장 잘 맞는 값으로 수렴할 수 있다.
큰 표본에서는 잔차그래프, 비선형성, 예측성능, 대안모형과 민감도 분석이 더욱 중요하다(Harrell, 2015).
큰 표본에서는 가정검정이 지나치게 민감할 수 있다
표본 수가 매우 크면 Shapiro–Wilk 검정 같은 정규성 검정은 정규분포와의 사소한 차이도 유의하게 발견할 수 있다.
수십만 개의 실제 관측값이 완벽한 정규분포를 따를 가능성은 높지 않다.
이때 p값이 0.001보다 작다는 이유만으로 분석을 포기하거나 무조건 비모수 검정으로 바꾸는 것은 적절하지 않을 수 있다.
더 중요한 질문은 다음과 같다.
- 비정규성이 분석결과에 실질적인 영향을 주는가?
- 극단값이 결과를 좌우하는가?
- 표본분포 근사가 충분한가?
- 잔차의 형태는 어떠한가?
- 강건한 표준오차나 부트스트랩 결과와 일치하는가?
- 평균보다 중앙값이 더 적절한가?
큰 표본에서는 가정이 정확히 성립하는지보다 가정의 위반이 결과를 얼마나 바꾸는지를 판단해야 한다.
한 개의 이상치와 체계적인 데이터 오염은 다르다
표본 수가 커지면 이상치 한 개가 평균에 미치는 영향은 작아질 수 있다.
10명 중 한 명의 잘못된 값은 전체 자료의 10%지만, 100만 명 중 한 개의 오류는 영향이 작다.
그러나 오류가 일정한 비율로 반복되면 문제가 달라진다.
다음과 같은 데이터 오염이 있을 수 있다.
- 센서의 5%가 잘못 보정됨
- 특정 매장의 매출이 중복 기록됨
- 통화 단위가 혼합됨
- 시간대 변환이 잘못됨
- 범주코드의 의미가 중간에 변경됨
- 시스템 업데이트 전후 변수 정의가 달라짐
- 봇 접속이 고객 행동으로 기록됨
- 같은 사용자가 여러 계정으로 나타남
- 병합과정에서 관측값이 중복됨
자동화된 데이터 수집에서는 동일한 오류가 수백만 건에 복제될 수 있다.
큰 데이터에서는 모든 행을 사람이 직접 확인할 수 없다. 데이터 생성과정, 코드북, 시스템 변경 이력과 자동화된 품질점검이 필요하다.
다중검정은 큰 표본에서 더 많은 유의성을 만든다
변수 1,000개와 결과변수의 관계를 각각 검정하면 실제 관계가 없는 경우에도 우연히 작은 p값이 나타날 수 있다.
유의수준을 5%로 설정하고 검정들이 독립적이라고 단순 가정하면 귀무가설이 모두 참일 때 평균적으로 약 50개의 검정이 0.05보다 작은 p값을 보일 수 있다.
\[
1000\times0.05=50
\]
표본 수가 커지면 매우 작은 관계까지 유의해지므로 데이터 탐색 과정에서 유의한 변수는 더욱 많이 발견될 수 있다.
분석자가 다음 선택을 결과를 본 뒤 자유롭게 바꾸면 거짓양성 가능성이 커진다.
- 결과변수 선택
- 통제변수 선택
- 이상치 제외기준
- 하위집단
- 변환방법
- 분석시점
- 모형 종류
- 상호작용항
표본 수가 크더라도 분석의 유연성과 선택적 보고는 해결되지 않는다(Simmons et al., 2011).
다음 방법이 필요하다.
- 연구가설 사전 정의
- 분석계획 사전등록
- 주요 결과와 탐색 결과 구분
- 다중검정 보정
- 검증용 독립표본
- 전체 분석결과의 투명한 공개
데이터 누출은 큰 학습자료로도 해결되지 않는다
머신러닝에서 미래 정보나 결과 이후에 생성된 정보가 설명변수에 포함되는 현상을 데이터 누출이라고 한다.
고객이 이탈할지를 예측하면서 계정폐쇄일을 설명변수로 사용하면 정확도가 매우 높게 나타날 수 있다.
하지만 계정폐쇄일은 이탈이 발생한 뒤에 생성된다. 실제 예측시점에는 사용할 수 없다.
다음 상황도 데이터 누출을 만들 수 있다.
- 같은 고객의 일부 기록이 학습자료와 검증자료에 모두 포함
- 전체 자료로 표준화한 뒤 자료를 분할
- 전체 자료로 결측대체 후 교차검증
- 결과변수를 이용해 변수를 먼저 선택
- 미래 시점 자료로 과거를 예측
- 검증자료를 반복해서 보며 모형을 수정
수백만 건의 자료가 있어도 검증설계가 잘못되면 성능은 과대평가된다.
시간순 분할, 고객 단위 분할, 외부 검증과 교차검증 안에서의 전처리가 필요하다.
큰 표본은 다른 모집단으로의 일반화를 보장하지 않는다
한 플랫폼 이용자 1,000만 명을 분석했다고 하자.
결과는 해당 플랫폼 이용자에게 매우 정밀할 수 있다.
그러나 다음 대상에도 같은 관계가 나타난다는 보장은 없다.
- 플랫폼을 사용하지 않는 사람
- 다른 국가의 소비자
- 다른 연령대
- 다른 시기의 고객
- 가격체계가 다른 시장
- 경쟁환경이 다른 산업
외적 타당도는 표본 수가 아니라 목표 모집단과 연구표본의 관계에 달려 있다.
다음 차이가 일반화를 어렵게 만들 수 있다.
- 연령과 소득 구성
- 문화와 제도
- 기초 위험도
- 참여동기
- 기술환경
- 제품가격
- 처치 실행방식
- 조사시점
특정 대학 학생 10만 명의 자료가 전국 대학생 전체를 대표하는지, 한 국가 고객 100만 명의 행동이 다른 국가에서도 재현되는지는 별도로 검토해야 한다.
모집단의 큰 비율을 조사하면 전수조사와 같아질까
모집단이 \(N\)명이고 그중 \(n\)명을 비복원 추출했다면 유한모집단 수정계수를 사용할 수 있다.
\[
FPC=\sqrt{\frac{N-n}{N-1}}
\]
표본이 모집단의 아주 작은 비율이면 수정효과는 거의 없다. 모집단의 상당 부분을 조사하면 표본추출에 따른 변동은 줄어든다.
하지만 유한모집단 수정은 확률표집을 전제로 한다.
모집단의 80%가 응답했더라도 빠진 20%가 결과변수에서 체계적으로 다르면 편향이 발생할 수 있다.
또한 자료가 특정 기록 모집단 전체를 포함한다고 해도 목표 모집단과 같다는 보장은 없다.
- 모든 취업자 자료에는 실업자가 포함되지 않는다.
- 모든 내원환자 자료에는 병원을 방문하지 않은 사람이 포함되지 않는다.
- 쇼핑몰의 모든 구매기록에는 경쟁사 구매가 포함되지 않는다.
- 학교의 모든 재학생 자료에는 중도탈락자가 포함되지 않는다.
전수자료에서도 측정오류, 자료정의, 누락과 인과추론 문제는 남는다.
많은 변수도 모든 문제를 해결하지 않는다
표본 수뿐 아니라 변수 수가 많으면 누락변수 문제가 해결된 것처럼 보일 수 있다.
고객의 클릭, 위치, 검색, 구매와 소셜미디어 반응을 모두 확보했더라도 구매동기나 경쟁사 프로모션 같은 중요한 변수는 빠져 있을 수 있다.
반대로 다음 변수를 무조건 통제하면 새로운 편향이 생길 수 있다.
- 원인과 결과 사이의 매개변수
- 두 변수의 공통 결과인 충돌변수
- 측정오류가 큰 대리변수
- 결과 발생 이후 측정된 변수
많은 변수를 모형에 넣는 것은 인과추론의 대안이 아니다.
변수의 수보다 각 변수가 연구질문에서 어떤 역할을 하는지가 중요하다(Hernán & Robins, 2020).
표본 수는 연구질문에 맞게 계획해야 한다
“표본은 많을수록 좋다”는 원칙만으로 모집인원을 정해서는 안 된다.
표본 수 계획에서는 먼저 연구가 무엇을 추정하려는지 정해야 한다.
- 평균
- 비율
- 평균차이
- 위험비
- 오즈비
- 상관계수
- 회귀계수
- 비열등성 차이
- 예측모형의 성능
그다음 다음 요소를 고려한다.
| 요소 | 확인할 내용 |
|---|---|
| 최소 중요 효과 | 의사결정을 바꿀 만큼 중요한 차이 |
| 목표 정밀도 | 허용할 신뢰구간의 폭 |
| 유의수준 | 거짓양성 위험의 기준 |
| 검정력 | 목표 효과를 발견할 확률 |
| 변동성 | 표준편차 또는 사건률 |
| 연구설계 | 독립집단, 대응설계, 군집설계 |
| 반복측정 | 개인 내 상관 |
| 탈락과 결측 | 최종 결과를 확보하지 못할 비율 |
| 하위집단 | 별도 분석에 필요한 사례 수 |
| 다중검정 | 주요 결과의 수 |
| 비용과 윤리 | 모집에 필요한 자원과 참여자 부담 |
이전의 작은 연구에서 관찰된 큰 효과를 그대로 사용하면 필요한 표본 수를 과소평가할 수 있다. 작은 연구에서 통계적으로 유의한 결과는 효과가 과대추정되었을 가능성이 있기 때문이다(Button et al., 2013).
표본 수 계획은 다음 질문에서 시작해야 한다.
어느 정도의 차이가 실제 의사결정을 바꿀 만큼 중요한가?
표본 수를 늘리는 것과 연구 품질에 투자하는 것
연구자에게 사용할 수 있는 예산과 시간은 제한되어 있다.
표본 수에만 자원을 집중하면 다음 항목에 투자할 여력이 줄어들 수 있다.
- 측정도구 개발
- 조사원 교육
- 표본설계
- 무응답 추적
- 장비 교정
- 자료 품질관리
- 추적관찰
- 외부 검증
- 분석계획 수립
대표성이 높고 측정이 정확한 30명의 표본도 복잡한 모집단을 정밀하게 추정하기에는 부족할 수 있다.
반대로 대표성이 낮고 측정이 잘못된 100만 명의 표본도 올바른 결론을 보장하지 않는다.
좋은 연구에는 다음 네 요소가 함께 필요하다.
| 요소 | 의미 |
|---|---|
| 적절한 연구설계 | 질문에 맞는 비교와 자료수집 |
| 타당한 측정 | 연구개념을 정확하게 반영하는 변수 |
| 충분한 표본 수 | 필요한 효과와 정밀도에 맞는 정보량 |
| 적절한 분석 | 표본설계와 자료구조를 반영한 모형 |
어느 하나가 심각하게 부족하면 다른 요소만으로 완전히 보완하기 어렵다.
R로 표본 수와 표준오차의 관계 확인하기
표본 수가 증가할 때 평균의 표준오차가 어떻게 달라지는지 계산할 수 있다.
sample_size <- c(
25,
100,
400,
1600
)
standard_deviation <- 10
standard_error <- (
standard_deviation /
sqrt(
sample_size
)
)
data.frame(
sample_size,
standard_error
)결과는 다음과 같은 구조를 갖는다.
| 표본 수 | 표준오차 |
|---|---|
| 25 | 2.00 |
| 100 | 1.00 |
| 400 | 0.50 |
| 1,600 | 0.25 |
표준오차를 절반으로 줄이기 위해 표본 수가 네 배 필요하다는 사실을 확인할 수 있다.
R로 체계적 측정편향 확인하기
실제 평균은 50이지만 측정도구가 모든 값에 3을 더한다고 가정해 보자.
set.seed(2026)
sample_sizes <- c(
25,
100,
1000,
10000
)
results <- lapply(
sample_sizes,
function(n) {
true_values <- rnorm(
n,
mean = 50,
sd = 10
)
measured_values <- (
true_values + 3
)
data.frame(
n = n,
measured_mean = mean(
measured_values
),
standard_error = sd(
measured_values
) /
sqrt(n)
)
}
)
do.call(
rbind,
results
)표본 수가 증가할수록 표준오차는 작아진다.
그러나 측정평균은 실제 값 50이 아니라 편향된 값 53에 가까워진다.
표본 수는 무작위 변동을 줄였지만 체계적 측정오류를 제거하지 못했다.
R로 편향된 대규모 표본 만들기
값이 높은 사람일수록 표본에 포함될 가능성이 높도록 설정해 보자.
set.seed(2026)
population_size <- 1000000L
population <- rnorm(
population_size,
mean = 50,
sd = 10
)
selection_probability <- plogis(
-2 +
0.08 *
(
population - 50
)
)
selected <- runif(
population_size
) < selection_probability
biased_sample <- population[
selected
]
c(
population_mean = mean(
population
),
sample_size = length(
biased_sample
),
biased_sample_mean = mean(
biased_sample
)
)표본은 매우 클 수 있다.
하지만 값이 높은 사람이 포함될 가능성이 더 크기 때문에 표본평균은 모집단평균보다 높게 나타난다.
일반적인 표준오차를 계산하면 매우 작은 값이 나올 수 있다.
biased_standard_error <- (
sd(
biased_sample
) /
sqrt(
length(
biased_sample
)
)
)
biased_standard_error이 표준오차는 선택된 표본 안에서 평균이 정밀하게 계산되었다는 뜻이다.
해당 표본이 모집단을 대표한다는 뜻은 아니다.
R로 유효 표본 수 계산하기
전체 표본이 10,000명이고 군집당 평균 100명, 군집내상관계수가 0.10이라고 하자.
total_sample_size <- 10000
average_cluster_size <- 100
intraclass_correlation <- 0.10
design_effect <- (
1 +
(
average_cluster_size - 1
) *
intraclass_correlation
)
effective_sample_size <- (
total_sample_size /
design_effect
)
c(
design_effect = design_effect,
effective_sample_size =
effective_sample_size
)설계효과는 10.9이고 유효 표본 수는 약 917명이다.
실제 복합표본에서는 분석방법과 추정량에 맞는 설계효과를 사용해야 한다.
R로 작은 효과와 큰 표본의 관계 확인하기
두 집단의 평균 차이가 0.05이고 표준편차가 1이라고 하자.
평균 차이는 그대로 유지하면서 집단별 표본 수만 늘려볼 수 있다.
mean_difference <- 0.05
standard_deviation <- 1
sample_sizes <- c(
100,
1000,
10000,
100000
)
calculate_test <- function(n) {
standard_error <- sqrt(
standard_deviation^2 / n +
standard_deviation^2 / n
)
t_value <- (
mean_difference /
standard_error
)
degrees_of_freedom <- (
2 * n - 2
)
p_value <- 2 * pt(
-abs(
t_value
),
df = degrees_of_freedom
)
data.frame(
n_per_group = n,
mean_difference =
mean_difference,
standard_error =
standard_error,
t_value = t_value,
p_value = p_value
)
}
results <- do.call(
rbind,
lapply(
sample_sizes,
calculate_test
)
)
results모든 분석에서 평균 차이는 0.05로 같다.
표본 수가 증가하면서 표준오차가 작아지고 p값도 감소한다.
효과가 커진 것이 아니라 같은 작은 효과를 더 정밀하게 추정한 것이다.
대규모 표본 연구를 읽을 때 확인할 질문
목표 모집단은 누구인가
연구결과를 적용하려는 사람, 기관, 지역과 시기를 확인해야 한다.
표본은 어떻게 추출되었는가
확률표집인지, 자발적 참여인지, 특정 플랫폼의 편의표본인지 확인해야 한다.
누가 빠졌는가
과소포함, 무응답, 추적탈락과 결측을 살펴봐야 한다.
독립적인 분석단위는 무엇인가
데이터 행의 수가 아니라 사람, 병원, 학교, 기업과 같은 독립적인 단위를 확인해야 한다.
변수는 타당하게 측정되었는가
측정도구, 문항, 대리변수와 장비의 품질을 확인해야 한다.
연구질문에 맞는 모형을 사용했는가
비선형성, 상호작용, 군집, 시간구조와 결과분포를 고려했는지 확인해야 한다.
효과는 실질적으로 중요한가
p값보다 효과크기, 신뢰구간과 최소 중요 차이를 확인해야 한다.
인과적 해석이 가능한 설계인가
관찰된 관련성과 인과효과를 구분해야 한다.
결과가 다른 모집단에서도 유지되는가
내부검증, 외부검증과 독립적인 반복연구가 있는지 확인해야 한다.
분석 선택이 투명한가
사전등록, 다중검정, 제외기준과 전체 결과보고를 확인해야 한다.
큰 표본의 장점을 제대로 활용하는 방법
큰 표본은 분명히 강력한 자원이다.
희귀한 사건을 관찰할 수 있고, 작은 효과를 정밀하게 추정할 수 있으며, 중요한 하위집단과 비선형관계를 분석할 기회를 제공한다.
이 장점을 살리려면 다음 조건이 함께 필요하다.
- 목표 모집단을 명확히 정의한다.
- 표본이 포함되는 과정을 문서화한다.
- 빠진 집단과 무응답을 조사한다.
- 측정도구를 사전에 검증한다.
- 독립적인 분석단위를 확인한다.
- 반복측정과 군집을 분석에 반영한다.
- 효과크기와 신뢰구간을 보고한다.
- 최소 중요 효과를 사전에 정한다.
- 결측자료와 선택편향에 대한 민감도 분석을 수행한다.
- 새로운 표본과 환경에서 결과를 검증한다.
큰 표본은 연구의 약점을 감추는 장식이 아니다.
적절한 설계, 타당한 측정과 투명한 분석에 결합될 때 비로소 강력한 증거가 된다.
표본 수가 많다는 사실만으로는 충분하지 않습니다
표본 수가 증가하면 표준오차는 작아지고 신뢰구간은 좁아지며 검정력은 높아진다.
이는 매우 중요한 장점이다.
그러나 표본 수가 주로 줄이는 것은 무작위 변동이다.
비전공자는 다음 다섯 문장으로 기억할 수 있다.
큰 표본은 추정값을 더 정밀하게 만든다.
정밀한 결과가 반드시 정확한 결과인 것은 아니다.
대표성, 측정오류와 교란은 표본 수만으로 해결되지 않는다.
큰 표본에서는 실질적으로 작은 효과도 통계적으로 유의해질 수 있다.
데이터 행 수보다 독립적인 정보량과 자료가 생성된 과정을 확인해야 한다.
표본 수가 100만이라는 숫자는 인상적이다.
하지만 연구결과를 평가할 때는 그 숫자보다 먼저 물어야 한다.
누가 포함되었는가? 누가 빠졌는가? 무엇을 측정했는가? 독립적인 단위는 몇 개인가? 이 자료와 설계가 연구질문에 실제로 답할 수 있는가?
큰 표본은 좋은 연구를 더 정밀하게 만든다.
하지만 잘못 선택된 사람을 잘못된 도구로 측정하고 잘못된 모형으로 분석한다면, 표본 수가 증가할수록 잘못된 결론만 더 선명해질 수 있다.
통계에서 중요한 것은 단순히 더 많은 데이터를 모으는 것이 아니다.
올바른 대상에게서 올바른 변수를 올바른 방식으로 측정하고, 연구질문에 맞는 분석을 수행하는 것이다.
참고문헌
Austin, P. C. (2011). An introduction to propensity score methods for reducing the effects of confounding in observational studies. Multivariate Behavioral Research, 46(3), 399–424. https://doi.org/10.1080/00273171.2011.568786
Bethlehem, J. (2010). Selection bias in web surveys. International Statistical Review, 78(2), 161–188. https://doi.org/10.1111/j.1751-5823.2010.00112.x
Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., & Munafò, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365–376. https://doi.org/10.1038/nrn3475
Fuller, W. A. (1987). Measurement error models. Wiley. https://books.google.com/books?id=Nalc0DkAJRYC
Greenland, S., Senn, S. J., Rothman, K. J., Carlin, J. B., Poole, C., Goodman, S. N., & Altman, D. G. (2016). Statistical tests, P values, confidence intervals, and power: A guide to misinterpretations. European Journal of Epidemiology, 31(4), 337–350. https://doi.org/10.1007/s10654-016-0149-3
Harrell, F. E., Jr. (2015). Regression modeling strategies: With applications to linear models, logistic and ordinal regression, and survival analysis (2nd ed.). Springer. https://doi.org/10.1007/978-3-319-19425-7
Hernán, M. A., & Robins, J. M. (2020). Causal inference: What if. Chapman & Hall/CRC. https://www.hsph.harvard.edu/miguel-hernan/causal-inference-book/
Ioannidis, J. P. A. (2005). Why most published research findings are false. PLOS Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124
Keiding, N., & Louis, T. A. (2018). Web-based enrollment and other types of self-selection in surveys and studies: Consequences for generalizability. Annual Review of Statistics and Its Application, 5, 25–47. https://doi.org/10.1146/annurev-statistics-031017-100127
Kish, L. (1965). Survey sampling. Wiley. https://books.google.com/books?id=xiZmAAAAIAAJ
Little, R. J. A., & Rubin, D. B. (2019). Statistical analysis with missing data (3rd ed.). Wiley. https://doi.org/10.1002/9781119482260
Meng, X.-L. (2018). Statistical paradises and paradoxes in big data (I): Law of large populations, big data paradox, and the 2016 US presidential election. The Annals of Applied Statistics, 12(2), 685–726. https://doi.org/10.1214/18-AOAS1161SF
Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. https://doi.org/10.1177/0956797611417632
Spiess, M., & Jordan, P. (2023). In models we trust: Preregistration, large samples, and replication may not suffice. Frontiers in Psychology, 14, 1266447. https://doi.org/10.3389/fpsyg.2023.1266447
Wasserstein, R. L., & Lazar, N. A. (2016). The ASA statement on p-values: Context, process, and purpose. The American Statistician, 70(2), 129–133. https://doi.org/10.1080/00031305.2016.1154108
