단순한 연관이 아닌 ‘왜’를 묻는 통계 – 인과추론의 세계

여름이 되면 아이스크림 판매량이 늘어난다. 같은 시기 익사 사고도 증가한다.

두 변수의 상관관계를 계산하면 상당히 강한 양의 관계가 나타날 수 있다. 그렇다면 아이스크림을 많이 먹는 것이 익사 사고를 일으키는 원인일까?

그렇지 않다.

아이스크림 판매와 익사 사고를 함께 증가시키는 공통 원인이 있기 때문이다.

• 기온이 높아지면 아이스크림 소비가 증가한다.
• 기온이 높아지면 물놀이를 하는 사람이 증가한다.
• 물놀이 인구가 늘면 익사 사고도 증가할 수 있다.

여기서 기온은 아이스크림 판매와 익사 사고에 모두 영향을 주는 제3의 변수다.

두 변수의 움직임을 화살표로 표현하면 다음과 같다.

기온 상승 → 아이스크림 판매 증가

기온 상승 → 물놀이 증가 → 익사 사고 증가

아이스크림과 익사 사고가 함께 증가한다는 관찰은 사실이다. 그러나 그 관찰만으로 아이스크림이 익사 사고의 원인이라고 말할 수는 없다.

이처럼 통계적 연관성과 인과관계를 구분하고, 특정한 개입이 결과를 실제로 얼마나 변화시키는지 추정하려는 연구체계가 인과추론이다.

인과추론은 상관계수보다 복잡한 통계량을 계산하는 기술이 아니다.

같은 대상이 처치를 받았을 때와 받지 않았을 때 결과가 어떻게 달라졌을지를 비교하려는 연구설계와 분석의 체계다.

다만 인과추론 방법을 사용했다고 인과관계가 자동으로 증명되는 것은 아니다. 모든 인과추론은 자료, 연구설계와 식별가정에 의존한다(Rubin, 1974; Pearl, 2009; Hernán & Robins, 2020).

상관관계는 무엇을 알려주는가

상관관계는 두 변수가 함께 변하는 정도를 나타낸다.

피어슨 상관계수는 다음 범위를 가진다.

[
-1\leq r\leq1
]

상관계수의 부호는 선형관계의 방향을 나타낸다.

• (r>0): 한 변수가 커질수록 다른 변수도 커지는 경향
• (r<0): 한 변수가 커질수록 다른 변수는 작아지는 경향
• (r)이 0에 가까움: 선형관계가 약함

그러나 상관관계는 그 관계가 왜 나타났는지를 알려주지 않는다.

두 변수 (X)와 (Y) 사이에 연관성이 나타나는 이유는 여러 가지일 수 있다.

예를 들어 독서시간과 시험성적 사이에 양의 상관관계가 나타났다고 하자.

독서가 성적을 높였을 가능성이 있다. 그러나 학업동기가 높은 학생이 독서도 많이 하고 시험준비도 충실히 했을 수 있다. 부모의 교육수준, 사교육, 이전 성적과 학습환경도 두 변수에 영향을 줄 수 있다.

상관계수는 연관성의 방향과 크기를 보여주지만 이러한 구조를 구분하지 않는다.

인과질문은 개입을 포함한다

인과관계를 묻는 질문은 단순히 “두 변수가 관련되어 있는가?”가 아니다.

인과질문은 일반적으로 다음과 같은 형태를 가진다.

다른 조건이 같을 때 (A)를 변화시키면 (Y)가 얼마나 달라지는가?

예를 들어 다음 두 질문은 비슷해 보이지만 다르다.

온라인 교육을 수강한 학생과 수강하지 않은 학생의 성적은 다른가?

학생들에게 온라인 교육을 제공하면 성적이 얼마나 달라지는가?

첫 번째는 관찰된 집단의 차이를 묻는다.

두 번째는 개입의 효과를 묻는다.

온라인 교육을 스스로 선택한 학생은 그렇지 않은 학생보다 학습동기, 시간적 여유와 인터넷 접근성이 높을 수 있다. 관찰된 성적 차이는 교육효과와 선택효과가 섞인 값일 수 있다.

좋은 인과질문은 최소한 다음 요소를 명확히 해야 한다.

“교육이 좋은가?”는 너무 넓다.

다음 질문은 더 구체적이다.

고등학교 1학년 학생에게 12주간 주 2회의 온라인 수학수업을 제공하는 것이 기존 자율학습과 비교해 12주 후 수학점수를 평균적으로 얼마나 변화시키는가?

인과추론은 분석방법보다 질문의 명료성에서 시작된다.

인과효과는 두 개의 잠재결과 차이다

학생 (i)가 온라인 교육을 받았을 때의 시험점수를 다음과 같이 나타내자.

[
Y_i(1)
]

같은 학생이 온라인 교육을 받지 않았을 때의 점수는 다음과 같다.

[
Y_i(0)
]

학생 (i)에 대한 개별 인과효과는 두 잠재결과의 차이다.

[
\tau_i=Y_i(1)-Y_i(0)
]

문제는 같은 학생에게 같은 시점에 두 결과를 모두 관찰할 수 없다는 점이다.

온라인 교육을 받은 학생에게서는 (Y_i(1))만 관찰할 수 있다. 교육을 받지 않았다면 얻었을 (Y_i(0))은 관찰할 수 없다.

반대로 교육을 받지 않은 학생에게서는 (Y_i(0))만 관찰할 수 있다.

이를 인과추론의 근본적인 문제라고 한다(Rubin, 1974).

연구자가 실제로 관찰하는 결과는 다음 가운데 하나다.

[
Y_i=A_iY_i(1)+(1-A_i)Y_i(0)
]

여기서 (A_i=1)은 처치를 받은 경우이고 (A_i=0)은 처치를 받지 않은 경우다.

인과추론의 목적은 관찰되지 않은 반사실을 합리적인 비교집단과 연구설계를 통해 추정하는 것이다.

평균처치효과는 누구의 평균인가

개별 인과효과는 직접 관찰할 수 없으므로 보통 집단 평균효과를 추정한다.

전체 모집단의 평균처치효과는 다음과 같다.

[
ATE=E[Y(1)-Y(0)]
]

이는 모집단의 모든 사람이 처치를 받았을 때와 아무도 받지 않았을 때 평균결과가 얼마나 다른지를 나타낸다.

처치를 실제로 받은 집단에 대한 평균효과는 다음과 같다.

[
ATT=E[Y(1)-Y(0)\mid A=1]
]

ATE와 ATT는 같지 않을 수 있다.

예를 들어 온라인 교육을 자발적으로 신청한 학생이 그 교육으로 더 큰 도움을 받는 집단이라면 실제 수강자에 대한 ATT가 전체 학생에 대한 ATE보다 클 수 있다.

다음과 같은 효과도 정의할 수 있다.

효과를 추정했다고 말하기 전에 누구에 대한 어떤 효과인지 밝혀야 한다.

관찰된 평균차이는 인과효과와 다르다

처치집단과 비처치집단의 관찰된 평균차이는 다음과 같다.

[
E[Y\mid A=1]-E[Y\mid A=0]
]

이 값이 ATE와 같으려면 두 집단이 처치 여부를 제외하고 인과적으로 비교 가능한 상태여야 한다.

관찰연구에서는 처치집단과 비처치집단이 처음부터 다를 수 있다.

온라인 교육 사례에서 처치집단은 다음 특성을 가질 수 있다.

• 이전 성적이 높다.
• 학습동기가 높다.
• 부모의 지원이 많다.
• 인터넷 환경이 좋다.
• 학습시간이 많다.
• 교사의 추천을 받았다.

따라서 관찰된 차이는 개념적으로 다음 요소가 섞인 결과다.

관찰된 차이 = 교육의 인과효과 + 집단의 기존 차이 + 측정·선택오류

표본을 크게 늘리면 관찰된 차이를 매우 정밀하게 추정할 수 있다. 그러나 기존 집단차이가 제거되는 것은 아니다.

편향된 추정치를 높은 정밀도로 계산할 수 있을 뿐이다.

교란변수는 처치와 결과의 공통 원인이다

교란변수는 처치와 결과 모두에 영향을 주어 두 변수 사이의 관계를 왜곡하는 변수다.

온라인 교육 여부를 (A), 시험성적을 (Y), 학습동기를 (C)라고 하자.

인과구조를 단순하게 나타내면 다음과 같다.

학습동기 → 온라인 교육 수강

학습동기 → 시험성적

온라인 교육 → 시험성적

학습동기를 고려하지 않으면 온라인 교육의 효과와 학습동기의 효과가 섞일 수 있다.

아이스크림 사례에서도 기온은 교란변수다.

기온 → 아이스크림 판매

기온 → 익사 사고

교란을 통제한다는 것은 단순히 회귀식에 변수를 많이 넣는 일이 아니다. 처치와 결과 사이의 비인과적 경로를 차단할 수 있는 적절한 사전변수를 선택하는 일이다.

인과관계를 도식으로 그리는 이유

방향성 비순환 그래프는 변수 사이의 인과적 가정을 화살표로 표현하는 도구다. 일반적으로 DAG라고 부른다(Greenland et al., 1999; Pearl, 2009).

DAG의 목적은 데이터가 화살표를 자동으로 찾아주게 하는 것이 아니다.

연구자가 가진 인과적 가정을 명시하고 다음을 판단하는 데 있다.

• 어떤 변수가 교란변수인가?
• 어떤 변수를 조정해야 하는가?
• 어떤 변수를 조정하면 안 되는가?
• 어떤 경로로 선택편향이 생길 수 있는가?
• 어떤 인과효과를 추정하려는가?

DAG는 화살표의 존재와 방향에 관한 가정이 틀리면 잘못된 조정집합을 제안할 수 있다. 따라서 도메인 지식, 시간순서와 선행연구를 바탕으로 작성해야 한다.

통제변수를 많이 넣는다고 좋은 것은 아니다

회귀모형에 가능한 모든 변수를 넣으면 교란이 해결된다고 생각하기 쉽다.

그러나 변수의 인과적 역할을 구분하지 않고 조정하면 오히려 편향이 생길 수 있다.

교란변수

처치와 결과의 공통 원인이다.

온라인 교육 이전에 측정한 학습동기가 교육선택과 최종성적에 모두 영향을 준다면 일반적으로 조정을 고려한다.

매개변수

처치가 결과에 영향을 미치는 경로 중간에 있는 변수다.

온라인 교육 → 학습시간 증가 → 시험성적 향상

학습시간은 매개변수일 수 있다.

온라인 교육의 전체효과를 추정하면서 교육 후 학습시간을 통제하면 교육효과의 일부를 제거하게 된다.

이때 추정되는 값은 전체효과가 아니라 학습시간 경로를 제외한 직접효과에 가까워질 수 있다.

충돌변수

두 변수의 공통 결과를 충돌변수라고 한다.

다음 구조를 생각해 보자.

온라인 교육 → 과정 수료

학습동기 → 과정 수료

온라인 교육과 학습동기가 모두 수료 여부에 영향을 준다.

전체 모집단에서는 두 변수가 독립적일 수 있어도 수료자만 분석하거나 수료 여부를 조정하면 두 변수 사이에 인위적인 관계가 생길 수 있다.

이를 충돌변수 편향이라고 한다.

병원자료에서도 자주 발생한다.

질병의 중증도와 의료접근성이 모두 입원에 영향을 줄 때 입원환자만 분석하면 원래 모집단에는 없던 관계가 만들어질 수 있다.

처치 이후 변수

처치 이후에 측정된 변수는 처치의 영향을 받았을 가능성이 있다.

온라인 교육 이후의 출석률, 만족도와 학습시간을 일반적인 교란변수처럼 통제하면 전체효과를 왜곡할 수 있다.

Westreich와 Greenland(2013)은 회귀표에 포함된 모든 계수를 인과효과처럼 해석하는 오류를 ‘Table 2 오류’라고 설명했다. 변수마다 인과적 역할과 추정대상이 다르기 때문이다.

인과추론의 핵심 가정

관찰자료에서 인과효과를 식별하려면 여러 가정이 필요하다.

일관성

한 사람이 실제로 받은 처치가 (A=1)이라면 관찰된 결과가 그 사람의 잠재결과 (Y(1))과 일치해야 한다.

그러려면 처치가 충분히 구체적으로 정의되어야 한다.

‘운동’이라는 처치는 매우 모호하다.

• 걷기인가 달리기인가?
• 하루 몇 분인가?
• 일주일에 몇 회인가?
• 감독을 받는가?
• 몇 주간 지속하는가?

서로 다른 형태의 처치를 하나의 값으로 묶으면 (Y(1))의 의미가 불분명해진다.

조건부 교환가능성

관찰된 공변량 (X)를 고려한 뒤에는 처치집단과 비처치집단의 잠재결과가 비교 가능해야 한다.

이를 간단히 다음과 같이 표현할 수 있다.

[
Y(1),Y(0)\perp A\mid X
]

이는 실질적으로 다음을 요구한다.

중요한 교란변수가 모두 측정되고 적절하게 조정되었다.

관찰할 수 없는 동기, 건강상태와 사회경제적 조건이 남아 있다면 이 가정이 깨질 수 있다.

통계프로그램은 이 가정이 맞는지 확인해 주지 않는다.

양의 확률

모든 중요한 공변량 조합에서 처치를 받을 가능성과 받지 않을 가능성이 모두 존재해야 한다.

[
0<P(A=1\mid X)<1
]

예를 들어 중증 환자는 모두 신약을 받고 경증 환자는 모두 기존 치료를 받았다면 같은 중증도에서 두 치료를 비교할 수 없다.

관찰되지 않은 비교집단을 모형이 만들어낼 수는 없다.

성향점수가 0이나 1에 가까우면 가중치가 매우 커지고 추정이 불안정해질 수 있다.

간섭 없음

한 사람의 처치가 다른 사람의 결과에 영향을 주지 않는다고 가정하는 경우가 많다.

그러나 현실에서는 간섭이 발생할 수 있다.

• 백신접종이 다른 사람의 감염위험을 낮춘다.
• 교육 프로그램 참가자가 친구에게 학습내용을 전달한다.
• 한 지역의 정책이 인접지역 경제에 영향을 준다.
• 광고노출이 가족 구성원의 구매에 영향을 준다.

간섭이 존재하면 개인별 처치효과만으로 현상을 설명하기 어렵다.

측정과 모형의 타당성

교란변수가 측정되었더라도 부정확하게 측정되면 잔여교란이 남을 수 있다.

연령을 조정했다고 해서 건강상태, 사회경제적 배경과 의료접근성이 모두 조정되는 것은 아니다.

비선형관계를 직선으로 모형화하거나 중요한 상호작용을 누락해도 편향이 생길 수 있다.

무작위 실험은 왜 강력한가

무작위 대조실험에서는 연구대상자를 처치집단과 통제집단에 무작위로 배정한다.

무작위배정이 적절히 이루어지면 처치 전의 관찰변수와 관찰되지 않은 변수들이 평균적으로 균형을 이루게 된다.

따라서 처치 여부가 잠재결과와 독립적으로 배정된다.

[
Y(1),Y(0)\perp A
]

이 때문에 무작위 실험은 인과효과 추정의 강력한 설계다.

온라인 교육 사례에서는 학생을 무작위로 두 집단에 배정할 수 있다.

• 실험집단: 온라인 교육 제공
• 통제집단: 기존 자율학습
• 결과: 12주 후 시험점수

두 집단의 평균차이는 무작위배정이 유지되었다는 조건에서 교육 제공의 인과효과를 추정할 수 있다.

무작위 실험도 완벽하지 않다

다음 문제가 발생할 수 있다.

• 배정 은폐 실패
• 높은 추적탈락
• 처치 미준수
• 집단 간 오염
• 결과 선택보고
• 표본크기 부족
• 측정오류
• 비현실적인 실험환경
• 제한된 외적 타당성

처치를 배정받았지만 실제로 수강하지 않은 학생이 있을 수 있다. 통제집단 학생이 외부 온라인 강의를 들을 수도 있다.

무작위배정의 효과와 실제 수강의 효과는 다른 추정대상이다.

일반적으로 배정받은 집단을 기준으로 분석하는 의도한 처치분석은 무작위배정의 장점을 보존한다. 실제 수강자만 비교하면 순응도에 따른 선택편향이 다시 생길 수 있다.

관찰자료에서 회귀조정은 어떻게 작동하는가

관찰자료에서는 처치와 결과의 공통 원인을 회귀모형에 포함할 수 있다.

[
Y_i=\beta_0+\beta_1A_i+\beta_2X_i+\varepsilon_i
]

여기서 (\beta_1)을 처치효과로 해석하려면 다음 조건이 필요하다.

• 중요한 교란변수가 (X)에 포함되어 있다.
• 함수형태가 적절하다.
• 처치집단과 비처치집단에 충분한 공통영역이 있다.
• 처치 이후 변수를 잘못 조정하지 않았다.
• 측정오류가 심하지 않다.

회귀모형에 변수를 넣었다는 사실만으로 교란이 제거되지는 않는다.

연령의 효과가 비선형인데 직선항 하나만 넣으면 연령에 의한 교란이 충분히 조정되지 않을 수 있다.

처치효과가 성별이나 이전 성적에 따라 다르면 상호작용을 고려해야 할 수 있다.

성향점수는 처치받을 가능성을 요약한다

성향점수는 관찰된 공변량이 주어졌을 때 처치를 받을 확률이다(Rosenbaum & Rubin, 1983).

[
e(X)=P(A=1\mid X)
]

온라인 교육 사례에서는 이전 성적, 학습동기, 성별, 출석률과 가정환경을 이용해 온라인 교육을 선택할 확률을 추정할 수 있다.

성향점수를 활용하는 대표적인 방법은 다음과 같다.

• 성향점수 매칭
• 성향점수 층화
• 역확률가중
• 성향점수 회귀조정
• 중첩가중치

성향점수 매칭

처치집단 학생과 비슷한 성향점수를 가진 비처치집단 학생을 짝짓는다.

목표는 처치 전 공변량 분포가 비슷한 비교집단을 만드는 것이다.

매칭 후에는 p값보다 표준화 평균차이와 분포를 이용해 균형을 점검하는 것이 좋다(Austin, 2011).

역확률가중

ATE를 추정하기 위한 기본적인 가중치는 다음과 같다.

[
w_i=\frac{A_i}{e(X_i)}+\frac{1-A_i}{1-e(X_i)}
]

처치를 받을 가능성이 낮았지만 실제로 처치를 받은 사람과, 처치를 받을 가능성이 높았지만 실제로 받지 않은 사람에게 큰 가중치가 부여된다.

이를 통해 공변량 분포가 균형을 이루는 가상 모집단을 만들려 한다(Cole & Hernán, 2008).

성향점수가 해결하지 못하는 문제

성향점수는 관찰된 교란변수만 조정할 수 있다.

학습동기가 측정되지 않았다면 성향점수 매칭도 학습동기에 의한 교란을 제거하지 못한다.

또한 성향점수 모형의 예측력이 높다고 좋은 인과모형인 것은 아니다.

인과분석에서 중요한 것은 누가 처치를 받았는지를 정확히 분류하는 것보다 처치 후 공변량 균형을 만드는 것이다.

성향점수가 0이나 1에 가까운 사례가 많으면 공통지원영역이 부족하다는 뜻일 수 있다.

도구변수는 처치의 외생적 변화를 이용한다

도구변수는 처치에는 영향을 주지만 결과에는 처치를 통하지 않고 직접 영향을 주지 않는 변수를 이용한다.

온라인 교육 사례에서 수강희망자가 너무 많아 자리를 추첨으로 배정했다고 하자.

추첨당첨 여부가 실제 수강가능성에 영향을 주고, 추첨 자체는 성적에 직접 영향을 주지 않는다면 도구변수로 활용할 수 있다.

도구변수 (Z)에는 일반적으로 다음 조건이 필요하다.

1. (Z)가 처치 (A)에 영향을 준다.
2. (Z)가 결과 (Y)에 직접 영향을 주지 않는다.
3. (Z)가 결과의 미측정 원인과 독립적이다.
4. 도구에 반대로 반응하는 사람이 없다는 단조성 가정이 필요할 수 있다.

도구변수 추정치는 일반적으로 전체 모집단의 ATE가 아니다.

도구 때문에 처치 여부가 달라지는 사람들에 대한 국소평균처치효과를 추정할 수 있다(Angrist et al., 1996).

적절한 도구변수를 찾는 것은 어렵다. 도구와 결과 사이의 직접경로나 공통 원인이 있으면 인과해석이 깨질 수 있다.

회귀불연속설계는 경계 전후를 비교한다

장학금을 시험점수 80점 이상인 학생에게만 지급한다고 하자.

79.9점 학생과 80.1점 학생은 매우 비슷하지만 장학금 수혜 여부는 다르다.

점수 경계 주변에서 다른 조건들이 연속적으로 변한다면 경계 직전과 직후의 결과 차이를 장학금의 국소적 효과로 해석할 수 있다.

이것이 회귀불연속설계다(Imbens & Lemieux, 2008).

주요 조건은 다음과 같다.

• 처치 기준이 명확하다.
• 경계 주변에서 대상자가 점수를 정밀하게 조작할 수 없다.
• 다른 변수들이 경계에서 갑자기 변하지 않는다.
• 결과와 배정변수의 관계를 적절하게 모형화한다.
• 경계 주변에 충분한 관측값이 있다.

회귀불연속설계의 효과는 경계 근처 대상자에 대한 국소효과다. 80점 경계에서 추정한 결과를 매우 낮거나 높은 점수의 학생에게 그대로 일반화해서는 안 된다.

이중차이법은 변화량의 차이를 비교한다

어느 지역에서만 온라인 교육지원 정책이 시행되었다고 하자.

정책 시행지역과 미시행지역의 시행 전후 점수변화를 비교할 수 있다.

[
DID=(Y_{T,1}-Y_{T,0})-(Y_{C,1}-Y_{C,0})
]

이중차이법은 집단의 고정된 차이와 공통 시간변화를 제거할 수 있다.

하지만 정책이 없었더라도 두 집단의 추세가 비슷했을 것이라는 평행추세 가정이 필요하다.

다음 문제도 확인해야 한다.

• 정책의 사전예고 효과
• 다른 정책의 동시 시행
• 통제집단으로의 파급효과
• 표본구성 변화
• 단계적 정책도입
• 처치효과의 시간적 이질성

정책 도입시점이 집단마다 다를 때 전통적인 양방향 고정효과 모형을 기계적으로 사용하면 왜곡이 생길 수 있다(Callaway & Sant’Anna, 2021).

목표실험 모방은 관찰연구를 실험처럼 설계한다

의료기록이나 행정자료를 분석할 때는 연구자가 실제로 시행하고 싶은 무작위 실험을 먼저 명시할 수 있다.

이를 목표실험이라고 한다(Hernán & Robins, 2016).

목표실험의 주요 요소는 다음과 같다.

1. 연구대상 선정기준
2. 비교할 처치전략
3. 처치배정 방식
4. 추적 시작시점
5. 결과변수
6. 추적기간
7. 인과대조
8. 분석계획

관찰자료에서는 이 실험을 최대한 모방한다.

목표실험 접근은 다음 오류를 줄이는 데 도움이 된다.

• 처치시점과 추적시점의 불일치
• 생존해야 처치집단에 포함되는 불멸시간편향
• 자격기준의 사후 적용
• 비교조건의 불명확성
• 선택적인 분석시작점

관찰자료가 크다는 사실보다 연구 시작시점, 처치전략과 비교조건을 명확하게 정하는 것이 중요하다.

인과추론 방법은 서로 다른 가정을 사용한다

한 방법이 다른 모든 방법보다 항상 우수한 것은 아니다.

연구질문과 자료생성과정에 가장 적합한 식별전략을 선택해야 한다.

온라인 교육 효과를 여러 설계로 분석하면

온라인 교육을 받은 학생이 받지 않은 학생보다 평균점수가 8점 높았다고 하자.

단순 비교

[
\bar{Y}{교육}-\bar{Y}{비교육}=8
]

이 결과에는 교육효과와 자기선택이 섞여 있을 수 있다.

동기가 높은 학생이 교육을 더 많이 선택했다면 8점은 실제 인과효과보다 클 수 있다.

무작위 실험

학생들을 무작위로 교육 제공집단과 통제집단에 배정한다.

무작위배정이 유지되면 평균차이를 교육 제공의 인과효과로 해석할 수 있다.

회귀 또는 성향점수 분석

이전 성적, 학습동기, 출석, 가정환경과 인터넷 접근성을 조정한다.

관찰된 교란변수가 충분하다는 조건에서 인과효과를 추정할 수 있다.

도구변수

교육기회가 추첨으로 배정되었다면 추첨결과를 도구로 사용할 수 있다.

이 경우 추첨 때문에 수강 여부가 달라지는 학생들에 대한 효과를 추정할 수 있다.

회귀불연속

이전 성적 70점 이상인 학생에게만 교육이 제공되었다면 70점 경계 전후 학생을 비교할 수 있다.

추정결과는 경계 근처 학생들에 대한 국소효과다.

이중차이

일부 학교에서만 특정 연도부터 교육정책이 시행되었다면 시행학교와 미시행학교의 전후 변화를 비교할 수 있다.

평행추세 가정이 필요하다.

같은 연구질문이라도 설계에 따라 추정대상과 필요한 가정이 달라진다.

R로 교란이 만드는 차이 확인하기

학습동기가 온라인 교육 선택과 시험성적에 모두 영향을 주는 가상자료를 만들어보자.

실제 온라인 교육효과는 5점으로 설정한다.

set.seed(2026)

sample_size <- 2000L

motivation <- rnorm(
  sample_size,
  mean = 0,
  sd = 1
)

prior_score <- rnorm(
  sample_size,
  mean = 70,
  sd = 10
)

treatment_probability <- plogis(
  -0.5 +
    0.9 * motivation +
    0.03 * (prior_score - 70)
)

online <- rbinom(
  sample_size,
  size = 1,
  prob = treatment_probability
)

final_score <- 40 +
  0.6 * prior_score +
  4 * motivation +
  5 * online +
  rnorm(
    sample_size,
    mean = 0,
    sd = 8
  )

education <- data.frame(
  final_score = final_score,
  online = online,
  motivation = motivation,
  prior_score = prior_score
)

교육집단과 비교육집단의 단순 평균을 비교한다.

aggregate(
  final_score ~ online,
  data = education,
  FUN = mean
)

학습동기가 높은 학생이 온라인 교육을 더 많이 선택하도록 자료를 생성했기 때문에 단순 평균차이는 실제 교육효과 5점보다 크게 나타날 수 있다.

조정하지 않은 회귀와 조정한 회귀 비교하기

온라인 교육만 설명변수로 사용한다.

naive_model <- lm(
  final_score ~ online,
  data = education
)

summary(
  naive_model
)

이전 성적과 학습동기를 함께 조정한다.

adjusted_model <- lm(
  final_score ~
    online +
    prior_score +
    motivation,
  data = education
)

summary(
  adjusted_model
)

두 모형의 온라인 교육 계수를 비교한다.

c(
  naive = coef(
    naive_model
  )["online"],
  adjusted = coef(
    adjusted_model
  )["online"]
)

가상자료의 실제 교육효과는 5점이므로 교란변수를 적절하게 조정한 모형의 추정치는 대체로 5에 가까워진다.

그러나 실제 연구에서는 학습동기를 정확히 측정했는지, 중요한 교란변수를 모두 포함했는지 알기 어렵다.

시뮬레이션에서 참값을 알고 있다는 사실과 현실자료에서 참값을 안다는 사실은 다르다.

R로 성향점수 가중치 계산하기

온라인 교육을 받을 확률을 로지스틱 회귀로 추정한다.

propensity_model <- glm(
  online ~
    prior_score +
    motivation,
  family = binomial,
  data = education
)

education$propensity_score <- predict(
  propensity_model,
  type = "response"
)

성향점수 범위를 확인한다.

tapply(
  education$propensity_score,
  education$online,
  summary
)

ATE 역확률가중치를 계산한다.

education$weight <- ifelse(
  education$online == 1,
  1 / education$propensity_score,
  1 / (1 - education$propensity_score)
)

가중치 분포를 확인한다.

quantile(
  education$weight,
  probs = c(
    0.50,
    0.90,
    0.95,
    0.99,
    1.00
  )
)

가중회귀를 실행한다.

weighted_model <- lm(
  final_score ~ online,
  data = education,
  weights = weight
)

coef(
  weighted_model
)

가중분석에서는 계수 하나만 확인해서는 안 된다.

다음 내용을 점검해야 한다.

• 처치집단과 비처치집단의 성향점수 중첩
• 가중 전후 공변량 균형
• 극단적인 가중치
• 양의 확률 위반
• 성향점수 모형의 함수형태
• 적절한 표준오차

이 예제의 일반 회귀 표준오차는 성향점수가 추정되었다는 불확실성을 완전히 반영하지 않을 수 있다. 실제 연구에서는 인과가중치 전용 패키지, 강건한 분산추정이나 부트스트랩을 연구설계에 맞게 사용해야 한다.

공변량 균형을 확인해야 한다

성향점수 방법의 목적은 처치 여부를 잘 예측하는 것이 아니라 처치 전 공변량의 분포를 균형 있게 만드는 것이다.

가중평균을 계산하는 함수를 만든다.

weighted_mean <- function(x, w) {
  sum(
    x * w
  ) /
    sum(w)
}

학습동기의 가중 전후 평균을 비교한다.

unweighted_motivation <- tapply(
  education$motivation,
  education$online,
  mean
)

weighted_motivation <- c(
  control = weighted_mean(
    education$motivation[
      education$online == 0
    ],
    education$weight[
      education$online == 0
    ]
  ),
  treated = weighted_mean(
    education$motivation[
      education$online == 1
    ],
    education$weight[
      education$online == 1
    ]
  )
)

unweighted_motivation
weighted_motivation

가중 후 두 집단의 학습동기 평균이 가까워지는지 확인할 수 있다.

실제 분석에서는 평균뿐 아니라 다음을 확인하는 것이 좋다.

• 표준화 평균차이
• 분산비
• 분포의 중첩
• 연속형 변수의 분위수
• 범주형 변수의 비율
• 상호작용과 비선형항의 균형

성향점수 모형의 분류정확도나 AUC가 높다고 공변량 균형이 좋은 것은 아니다.

큰 표본은 인과적 편향을 해결하지 않는다

온라인 플랫폼의 사용자 1억 명을 분석했다고 하자.

표본이 매우 크므로 평균차이와 회귀계수의 표준오차는 작을 수 있다. 하지만 온라인 교육을 선택한 사람과 선택하지 않은 사람이 근본적으로 다르면 결과는 여전히 편향될 수 있다.

표본크기를 늘리면 주로 무작위오차가 줄어든다.

다음 문제는 자동으로 해결되지 않는다.

• 미측정 교란
• 선택편향
• 측정오류
• 역인과관계
• 잘못된 비교집단
• 처치 이후 변수 조정
• 잘못된 함수형태
• 파급효과
• 잘못 정의된 처치

대규모 자료는 작은 편향을 매우 정밀하게 추정할 수도 있다.

인과추론에서 자료의 양보다 설계의 질이 중요한 이유다.

p값이 작아도 인과관계가 되는 것은 아니다

회귀분석에서 광고비 계수의 p값이 0.001이라고 하자.

이는 설정한 모형과 귀무가설 아래에서 관찰된 계수가 얼마나 이례적인지를 보여준다.

다음을 증명하지는 않는다.

• 광고가 매출을 증가시켰다.
• 중요한 교란이 모두 제거되었다.
• 역인과관계가 없다.
• 광고비 측정이 정확하다.
• 모형이 올바르게 설정되었다.
• 효과가 모든 기업에 동일하다.

매출이 증가할 것으로 예상된 기업이 광고비를 늘렸다면 매출전망이 광고비와 매출의 공통 원인일 수 있다.

p값은 인과적 식별가정을 평가하지 않는다.

통계적 유의성과 인과적 타당성은 서로 다른 문제다.

미측정 교란은 민감도 분석으로 평가한다

관찰연구에서는 모든 교란변수를 측정했다고 확신하기 어렵다.

따라서 미측정 교란이 어느 정도 강해야 현재 결론을 설명할 수 있는지 평가할 수 있다.

대표적인 접근은 다음과 같다.

• 정량적 편향분석
• 음성대조 결과
• 음성대조 노출
• 위약검정
• Rosenbaum 경계
• E-value
• 다양한 교란 시나리오
• 대안 분석설계 비교

E-value는 관찰된 효과와 결과의 관계를 완전히 설명하려면 미측정 교란변수가 처치 및 결과와 위험비 척도에서 최소 어느 정도 관련되어야 하는지를 요약한다(VanderWeele & Ding, 2017).

그러나 E-value 하나가 교란이 없음을 증명하지는 않는다.

민감도 분석의 목적은 결론이 완벽하다고 선언하는 것이 아니라 다음 질문에 답하는 것이다.

현실적으로 가능한 교란이 현재 결론을 바꿀 수 있는가?

음성대조는 숨은 오류의 단서를 찾는다

음성대조 결과는 처치가 영향을 주지 않아야 하는 결과다.

예를 들어 성인의 온라인 교육이 이미 태어나기 전에 결정된 출생체중을 변화시킬 수는 없다.

온라인 교육과 출생체중 사이에 연관성이 나타난다면 사회경제적 배경이나 선택요인이 제대로 통제되지 않았을 가능성을 의심할 수 있다.

음성대조 노출은 결과에 영향을 주지 않아야 하는 노출이다.

적절한 음성대조를 찾기는 어렵지만 관찰연구의 숨은 편향을 확인하는 데 도움을 줄 수 있다.

음성대조에서 관계가 없다고 원래 인과효과가 증명되는 것은 아니다. 특정한 편향 가능성을 점검하는 보조근거다.

서로 다른 방법의 결과를 비교하는 삼각측량

회귀조정, 성향점수, 도구변수와 이중차이법은 서로 다른 가정을 사용한다.

여러 방법에서 비슷한 결과가 나타나면 하나의 방법에만 의존하는 것보다 설득력이 높아질 수 있다.

이를 증거의 삼각측량이라고 볼 수 있다.

예를 들어 온라인 교육효과를 다음 방법으로 분석할 수 있다.

• 무작위 배정이 가능한 소규모 실험
• 대규모 관찰자료의 성향점수 가중
• 수강권 추첨을 이용한 도구변수 분석
• 정책 시행 전후의 이중차이 분석
• 성적 경계를 이용한 회귀불연속 분석

각 방법은 서로 다른 모집단과 효과를 추정할 수 있으므로 숫자가 완전히 같아야 하는 것은 아니다.

중요한 것은 다음을 비교하는 것이다.

• 효과의 방향
• 효과의 크기
• 추정대상
• 분석기간
• 필요한 가정
• 편향이 발생할 가능성

서로 다른 약점을 가진 연구들이 일관된 결론을 제시하면 인과적 해석의 신뢰도가 높아질 수 있다.

평균효과는 모든 사람의 효과가 아니다

ATE가 5점이라고 해서 모든 학생의 점수가 정확히 5점 향상된 것은 아니다.

실제 효과는 다음처럼 다를 수 있다.

• 이전 성적이 낮은 학생에게 더 효과적이다.
• 자기조절 능력이 높은 학생에게만 효과가 있다.
• 일부 학생에게는 효과가 없다.
• 디지털 접근성이 낮은 학생에게는 오히려 불리하다.
• 초반에는 효과가 있지만 장기적으로 사라진다.

조건부 평균처치효과를 통해 하위집단별 효과를 분석할 수 있다.

하지만 결과를 본 뒤 많은 하위집단을 탐색하면 우연한 차이를 발견할 위험이 커진다.

효과이질성 분석은 가능한 한 다음 조건을 갖추어야 한다.

• 사전 가설
• 충분한 표본
• 상호작용 검정
• 다중비교 고려
• 외부자료 재현
• 정책적·임상적 근거

집단별로 한쪽은 유의하고 다른 쪽은 유의하지 않다는 사실만으로 두 집단의 효과가 다르다고 말할 수 없다. 효과 차이 자체의 상호작용을 검정해야 한다.

내적 타당성과 외적 타당성은 다르다

연구 안에서 인과효과가 타당하게 추정되었다고 해도 다른 모집단에 그대로 적용된다는 보장은 없다.

온라인 교육실험이 다음 조건에서 이루어졌다고 하자.

• 자발적으로 참여한 학생
• 고속 인터넷을 보유한 가정
• 특정 도시의 상위권 학교
• 짧은 12주 프로그램

이 결과를 인터넷 접근성이 낮은 농촌지역, 성인학습자 또는 장기교육에 그대로 일반화하기는 어렵다.

외적 타당성은 다음 차이에 영향을 받는다.

• 대상자의 기초위험
• 처치효과를 바꾸는 특성
• 시행환경
• 처치순응도
• 결과 측정방식
• 시간과 지역
• 정책의 규모

“이 연구에서 효과가 있었는가?”와 “우리 대상에게 적용해도 효과가 있을 것인가?”는 다른 질문이다.

인과추론에서 자주 발생하는 오류

상관계수가 높으면 인과관계라고 생각한다

강한 상관도 교란, 역인과와 선택편향으로 만들어질 수 있다.

시간적으로 먼저 발생하면 원인이라고 생각한다

원인이 결과보다 먼저 발생해야 하지만 시간적 선행만으로 인과성이 충분하지는 않다.

회귀모형에 변수를 많이 넣으면 교란이 사라진다고 생각한다

미측정 교란은 남으며 매개변수와 충돌변수를 잘못 조정하면 새로운 편향이 생길 수 있다.

성향점수 매칭을 하면 무작위 실험과 같아진다고 생각한다

성향점수는 관찰된 변수의 균형만 개선한다. 관찰되지 않은 동기와 건강상태는 조정하지 못한다.

표본이 크면 인과관계가 확실하다고 생각한다

큰 표본은 정밀도를 높이지만 체계적 편향을 제거하지 않는다.

p값이 작으면 인과효과가 입증되었다고 생각한다

p값은 인과적 식별가정이 맞는지 알려주지 않는다.

처치 이후 변수를 일반 교란변수처럼 통제한다

매개효과를 제거하거나 충돌변수 편향을 만들 수 있다.

도구변수와 결과가 관련되어 있으면 좋은 도구라고 생각한다

도구는 처치에 영향을 주어야 하며 결과에는 처치를 통해서만 영향을 주어야 한다.

평행추세 검정이 비유의하면 DID가 타당하다고 생각한다

비유의 사전추세는 평행추세를 증명하지 않는다.

한 연구의 효과를 모든 사람에게 일반화한다

효과는 대상, 시점과 환경에 따라 달라질 수 있다.

인과분석 전에 확인할 질문

1. 인과적으로 알고 싶은 처치는 무엇인가?
2. 비교조건은 무엇인가?
3. 결과변수와 추적기간은 무엇인가?
4. 추정하려는 효과는 ATE, ATT 또는 다른 효과인가?
5. 처치 시작과 추적 시작이 일치하는가?
6. 관찰되지 않은 반사실을 어떤 집단으로 추정하는가?
7. 처치와 결과의 공통 원인은 무엇인가?
8. 중요한 교란변수가 모두 측정되었는가?
9. 처치 이후 변수를 조정하고 있지 않은가?
10. 충돌변수를 조건화하고 있지 않은가?
11. 두 처치집단에 공통지원영역이 있는가?
12. 다른 사람의 처치가 내 결과에 영향을 주는가?
13. 선택과 탈락이 결과와 관련되어 있는가?
14. 측정오류가 교란조정을 약화하지 않는가?
15. 분석모형의 함수형태가 적절한가?
16. 식별가정을 자료와 제도적 배경으로 설명할 수 있는가?
17. 미측정 교란에 대한 민감도 분석을 했는가?
18. 다른 방법에서도 비슷한 결과가 나타나는가?
19. 효과를 적용할 수 있는 모집단은 누구인가?
20. 인과적 한계를 결과와 함께 투명하게 보고했는가?

인과추론 결과는 어떻게 보고해야 하는가

다음과 같은 문장은 충분하지 않다.

회귀분석 결과 온라인 교육이 성적에 유의한 영향을 미쳤다.

보다 투명한 보고는 다음과 같다.

온라인 교육의 12주 후 시험점수에 대한 평균처치효과를 추정하였다. 처치 이전에 측정된 이전 성적, 학습동기, 출석률과 가정의 인터넷 접근성을 교란변수로 정의하고 성향점수 가중에 사용하였다. 가중 후 공변량의 표준화 평균차이는 모두 사전에 정한 기준 아래로 감소했다. 온라인 교육의 추정효과는 평균 4.8점이었으며 95% 신뢰구간은 2.1점에서 7.5점이었다. 다만 측정되지 않은 자기조절 능력에 의한 잔여교란 가능성이 있어 민감도 분석을 함께 제시하였다.

보고서에는 다음 내용을 포함해야 한다.

• 명확한 인과질문
• 대상 모집단
• 처치와 비교조건
• 추정대상
• 인과도식 또는 변수선정 근거
• 식별가정
• 사용한 분석방법
• 공통지원영역
• 공변량 균형
• 효과추정치와 신뢰구간
• 민감도 분석
• 일반화 가능성
• 한계와 대안설명

인과추론은 ‘왜’를 증명하는 마법이 아닙니다

인과추론은 단순한 연관성을 넘어 개입이 결과를 얼마나 변화시키는지 묻는 통계적 연구체계다.

그러나 어떤 분석방법도 가정 없이 인과관계를 자동으로 만들어주지 않는다.

비전공자는 다음 다섯 문장으로 기억하면 된다.

상관관계는 두 변수가 함께 움직인다는 사실을 보여준다.

인과효과는 같은 대상이 처치를 받았을 때와 받지 않았을 때의 반사실적 차이다.

관찰연구의 핵심은 적절한 비교집단을 만드는 것이다.

통제변수를 많이 넣는 것보다 어떤 변수를 왜 조정하는지가 중요하다.

인과적 결론은 통계량 하나가 아니라 연구설계와 가정의 타당성에서 나온다.

아이스크림 판매와 익사 사고가 함께 증가한다는 사실은 틀리지 않았다. 다만 그 관계를 설명하는 인과구조가 아이스크림에서 익사 사고로 직접 이어지는 것은 아니다.

광고와 매출, 백신과 감염, 교육과 성적도 마찬가지다.

데이터는 관찰된 차이를 보여준다. 인과추론은 그 차이가 어떤 비교에서 만들어졌는지, 어떤 조건에서 개입의 효과로 해석할 수 있는지를 묻는다.

좋은 연구자는 “두 값이 관련되어 있다”에서 멈추지 않는다.

다음 질문을 이어간다.

원인보다 먼저 존재한 차이는 무엇인가?

누가 처치를 선택했는가?

관찰되지 않은 비교결과를 무엇으로 대신했는가?

다른 설명을 얼마나 배제할 수 있는가?

인과추론의 핵심은 확신을 과장하는 데 있지 않다.

관찰된 자료가 말할 수 있는 범위와 말할 수 없는 범위를 구분하고, 인과적 주장을 가능하게 하는 가정을 공개하는 데 있다.

숫자가 스스로 원인을 말하는 것이 아니다. 연구자가 설계, 비교와 가정에 책임을 질 때 숫자는 비로소 원인에 관한 증거가 된다.

참고문헌

Angrist, J. D., Imbens, G. W., & Rubin, D. B. (1996). Identification of causal effects using instrumental variables. Journal of the American Statistical Association, 91(434), 444–455. https://doi.org/10.1080/01621459.1996.10476902

Austin, P. C. (2011). An introduction to propensity score methods for reducing the effects of confounding in observational studies. Multivariate Behavioral Research, 46(3), 399–424. https://doi.org/10.1080/00273171.2011.568786

Callaway, B., & Sant’Anna, P. H. C. (2021). Difference-in-differences with multiple time periods. Journal of Econometrics, 225(2), 200–230. https://doi.org/10.1016/j.jeconom.2020.12.001

Cole, S. R., & Hernán, M. A. (2008). Constructing inverse probability weights for marginal structural models. American Journal of Epidemiology, 168(6), 656–664. https://doi.org/10.1093/aje/kwn164

Greenland, S., Pearl, J., & Robins, J. M. (1999). Causal diagrams for epidemiologic research. Epidemiology, 10(1), 37–48. https://doi.org/10.1097/00001648-199901000-00008

Hernán, M. A., & Robins, J. M. (2016). Using big data to emulate a target trial when a randomized trial is not available. American Journal of Epidemiology, 183(8), 758–764. https://doi.org/10.1093/aje/kwv254

Hernán, M. A., & Robins, J. M. (2020). Causal inference: What if. Chapman & Hall/CRC. https://www.hsph.harvard.edu/miguel-hernan/causal-inference-book/

Imbens, G. W., & Lemieux, T. (2008). Regression discontinuity designs: A guide to practice. Journal of Econometrics, 142(2), 615–635. https://doi.org/10.1016/j.jeconom.2007.05.001

Imbens, G. W., & Rubin, D. B. (2015). Causal inference for statistics, social, and biomedical sciences: An introduction. Cambridge University Press. https://doi.org/10.1017/CBO9781139025751

Pearl, J. (2009). Causality: Models, reasoning, and inference (2nd ed.). Cambridge University Press. https://doi.org/10.1017/CBO9780511803161

Robins, J. M., Hernán, M. A., & Brumback, B. (2000). Marginal structural models and causal inference in epidemiology. Epidemiology, 11(5), 550–560. https://doi.org/10.1097/00001648-200009000-00011

Rosenbaum, P. R., & Rubin, D. B. (1983). The central role of the propensity score in observational studies for causal effects. Biometrika, 70(1), 41–55. https://doi.org/10.1093/biomet/70.1.41

Rubin, D. B. (1974). Estimating causal effects of treatments in randomized and nonrandomized studies. Journal of Educational Psychology, 66(5), 688–701. https://doi.org/10.1037/h0037350

VanderWeele, T. J., & Ding, P. (2017). Sensitivity analysis in observational research: Introducing the E-value. Annals of Internal Medicine, 167(4), 268–274. https://doi.org/10.7326/M16-2607

Westreich, D., & Greenland, S. (2013). The Table 2 fallacy: Presenting and interpreting confounder and modifier coefficients. American Journal of Epidemiology, 177(4), 292–298. https://doi.org/10.1093/aje/kws412