연구는 설계에서 시작된다, 표본 수 산출의 원리와 실제

신약이 기존 치료보다 수축기혈압을 평균 5mmHg 더 낮추는지 확인한다고 하자.

연구자가 각 집단에 10명만 모집했다면 실제로 5mmHg의 차이가 있어도 표본변동 때문에 통계적으로 발견하지 못할 가능성이 크다. 반대로 각 집단에 수만 명을 모집하면 임상적으로 거의 의미가 없는 작은 차이도 매우 작은 p값을 만들 수 있다.

그렇다면 몇 명을 모집해야 할까?

정답은 “많을수록 좋다”가 아니다.

표본 수는 연구자가 발견하고 싶은 효과, 결과의 변동성, 허용할 오류, 분석방법과 연구설계를 바탕으로 정해야 한다. 특히 사람을 대상으로 하는 연구에서는 지나치게 작은 연구가 참여자를 위험에 노출시키고도 유용한 지식을 만들지 못할 수 있다. 반대로 필요 이상으로 큰 연구는 자원과 시간을 낭비하고 불필요한 참여 부담을 증가시킬 수 있다(Emanuel et al., 2000; Schulz & Grimes, 2005).

표본 수 산출은 단순히 연구계획서에 숫자 하나를 적는 절차가 아니다.

어떤 효과를 중요하다고 볼 것인가?

그 효과를 어느 정도의 확률로 발견할 것인가?

결과를 어느 정도 정밀하게 추정할 것인가?

이 질문에 연구 시작 전에 답하는 과정이다.

표본 수는 연구의 성공을 보장하지 않는다

충분한 표본을 확보했다고 연구가 자동으로 타당해지는 것은 아니다.

표본 수가 많아도 다음 문제가 있다면 결론은 왜곡될 수 있다.

• 편향된 표본추출
• 잘못된 무작위배정
• 부정확한 측정도구
• 높은 탈락률
• 선택적 결과보고
• 잘못된 통계모형
• 교란변수
• 연구계획 변경
• 데이터 누출

표본 수 산출은 이러한 문제를 해결하지 않는다. 다만 연구질문에 답할 수 있을 정도의 통계적 정보량을 확보하도록 돕는다.

Biau 등(2008)은 표본 수가 연구의 해석 가능성에 직접적인 영향을 주지만, 표본 수가 크다는 사실만으로 연구의 질이 보장되는 것은 아니라고 설명한다.

표본이 너무 적으면 어떤 문제가 생기는가

중요한 효과를 발견하지 못할 수 있다

실제로 효과가 존재하지만 귀무가설을 기각하지 못하는 오류를 2종 오류라고 한다.

2종 오류의 확률을 \(\beta\)라고 하면 검정력은 다음과 같다.

\[
1-\beta
\]

검정력이 0.80이라는 것은 연구에서 가정한 크기의 효과가 실제로 존재할 때, 계획한 검정방법으로 이를 통계적으로 발견할 장기적 확률이 80%라는 뜻이다.

이는 다음을 뜻하지 않는다.

연구결과가 참일 확률이 80%다.

이번 연구에서 효과를 발견할 확률이 정확히 80%다.

검정력은 특정한 효과크기와 통계모형을 전제로 한 반복적 성질이다.

관찰된 효과가 과장될 수 있다

작은 연구에서는 효과추정치의 변동성이 크다. 우연히 매우 큰 효과가 관찰된 연구만 통계적으로 유의해지고 출판될 가능성도 있다.

따라서 작은 연구에서 보고된 유의한 효과는 실제 모집단 효과보다 과장될 수 있다(Button et al., 2013).

표본 수가 작으면 단순히 유의한 결과를 놓치는 것만이 문제가 아니다. 발견된 효과의 크기 자체도 불안정해질 수 있다.

신뢰구간이 넓어진다

표본평균의 표준오차는 다음과 같다.

\[
SE(\bar{x})=\frac{s}{\sqrt{n}}
\]

표본크기 \(n\)이 작으면 표준오차가 커지고 신뢰구간도 넓어진다.

결과적으로 다음 가능성을 동시에 배제하지 못할 수 있다.

• 효과가 없다.
• 작은 효과가 있다.
• 큰 효과가 있다.
• 반대 방향의 효과가 있다.

비유의 결과가 “효과 없음”이 아니라 “정보 부족”을 뜻할 수 있는 이유다.

표본이 지나치게 많으면 왜 문제가 되는가

큰 표본 자체가 잘못된 것은 아니다.

작지만 중요한 효과를 정밀하게 추정하거나 드문 부작용을 발견하려면 매우 큰 표본이 필요할 수 있다. 국가 단위 정책이나 대규모 서비스에서는 0.1%포인트의 변화도 중요한 의미를 가질 수 있다.

문제는 연구목적과 무관하게 큰 표본을 사용하고, 작은 p값을 효과의 중요성으로 오해하는 것이다.

표본크기가 커지면 표준오차가 작아진다. 따라서 실제 차이가 매우 작더라도 p값은 작아질 수 있다.

예를 들어 평균 혈압 차이가 0.5mmHg인데 수십만 명을 조사하면 통계적으로 유의할 수 있다. 그러나 그 차이가 환자의 건강을 실질적으로 개선하는지는 별도의 판단이 필요하다.

지나치게 큰 연구에서 발생할 수 있는 문제는 다음과 같다.

• 임상적으로 사소한 차이를 과장한다.
• 불필요한 참여자를 연구에 노출한다.
• 시간과 연구비를 낭비한다.
• 작은 편향까지 높은 정밀도로 추정한다.
• 통계적 유의성과 실질적 중요성을 혼동한다.

표본 수는 p값을 작게 만들기 위해 정하는 숫자가 아니다. 연구에서 중요한 효과를 필요한 정밀도와 오류수준으로 평가하기 위해 정하는 숫자다.

표본 수 산출은 주결과변수에서 시작한다

표본 수를 계산하기 전에 가장 먼저 정해야 할 것은 주결과변수다.

임상시험이라면 다음처럼 구체적으로 정의해야 한다.

치료 12주 후 수축기혈압의 기저치 대비 변화량.

다음 표현은 충분하지 않다.

건강상태를 비교한다.

치료효과를 분석한다.

여러 검사결과를 확인한다.

주결과변수가 달라지면 필요한 표본 수도 달라진다.

예를 들어 같은 연구에서도 다음 결과는 서로 다른 계산이 필요하다.

• 평균 혈압
• 고혈압 조절 성공 여부
• 심혈관 사건 발생까지의 시간
• 삶의 질 점수
• 부작용 발생률

주결과변수가 여러 개라면 어떤 결과를 기준으로 연구 성공을 판단할지 정해야 한다. 여러 주가설을 동시에 검정하면 유의수준 조정도 필요할 수 있다.

표본 수를 계산한 뒤 분석방법을 정하는 것이 아니라, 주결과와 주분석방법을 먼저 정한 뒤 이에 맞춰 표본 수를 산출해야 한다.

표본 수 산출에 필요한 핵심 요소

대부분의 검정력 기반 표본 수 계산에는 다음 정보가 필요하다.

이 정보가 없으면 표본 수 결과를 재현하거나 평가하기 어렵다.

G*Power로 계산한 결과 128명이 필요했다.

이 문장만으로는 어떤 효과, 검정, 유의수준과 검정력을 사용했는지 알 수 없다.

가장 중요한 입력값은 목표차이다

표본 수 산출에서 가장 논쟁적인 값은 효과크기다.

많은 연구자가 선행연구에서 보고된 효과를 그대로 입력한다. 하지만 선행연구의 효과가 과대추정되었거나 연구대상과 측정조건이 다르면 필요한 표본 수를 지나치게 작게 계산할 수 있다.

더 중요한 질문은 다음과 같다.

어느 정도의 차이라면 발견할 가치가 있는가?

이를 목표차이, 최소임상중요차이 또는 최소관심효과라고 부를 수 있다.

임상연구에서는 환자의 증상이나 예후를 실제로 바꿀 만큼 중요한 차이를 정해야 한다. 마케팅 연구에서는 실행비용을 상쇄할 수 있는 최소 전환율 증가를 정할 수 있다. 교육연구에서는 정책적으로 의미 있는 최소 점수 향상을 정할 수 있다.

Cook 등(2018)의 DELTA2 지침은 무작위 임상시험의 표본 수 산출에서 목표차이를 임상적 중요성, 선행근거, 전문가 판단과 경제적 고려를 바탕으로 명시할 것을 권고한다.

기대효과와 최소중요효과는 다르다

선행연구에서 평균 8mmHg의 혈압 감소가 보고되었다고 하자.

연구자가 기대하는 효과는 8mmHg일 수 있다. 그러나 임상적으로 5mmHg 이상의 차이를 놓치고 싶지 않다면 표본 수는 5mmHg를 기준으로 계산하는 편이 타당할 수 있다.

큰 기대효과를 입력하면 필요한 표본 수는 작아진다. 하지만 실제 효과가 그보다 작으면 연구는 충분한 검정력을 갖지 못한다.

표본 수 계산에 사용할 효과는 가장 낙관적인 예상값보다 연구에서 놓치고 싶지 않은 효과에 가까워야 한다.

원 단위의 효과를 먼저 정한다

두 집단의 평균을 비교한다면 먼저 원래 단위의 차이를 정하는 것이 좋다.

혈압 연구에서는 다음과 같이 설정할 수 있다.

\[
\Delta=5
\]

여기서 \(\Delta\)는 발견하고 싶은 평균 차이 5mmHg다.

표준편차가 10mmHg라면 표준화 효과크기 Cohen의 (d)는 다음과 같다.

\[
d=\frac{\Delta}{\sigma}
\]

\[
d=\frac{5}{10}=0.5
\]

G*Power의 독립표본 t검정에서는 일반적으로 이 표준화 효과크기 (d)를 입력한다.

하지만 보고서에는 \(d=0.5\)만 적지 말고 5mmHg라는 원 단위 목표차이와 10mmHg라는 표준편차의 근거를 함께 밝혀야 한다.

Cohen의 기준을 기계적으로 사용하면 안 된다

Cohen(1988)은 \(d=0.2\), \(0.5\), \(0.8\)을 각각 작은 효과, 중간 효과, 큰 효과의 관행적인 참고값으로 제시했다.

이 기준은 분야별 근거가 없을 때 사용할 수 있는 대략적인 기준이지 보편적인 자연법칙이 아니다.

의학에서는 \(d=0.2\)도 중요한 효과일 수 있다. 반대로 중요하지 않은 대리변수에서 \(d=0.8\)이 나타나도 정책적 의미가 없을 수 있다.

“중간 효과이므로 \(d=0.5\)를 입력했다”는 설명만으로는 표본 수의 과학적 근거가 부족하다.

표준편차를 어떻게 정하는가

평균 차이 연구에서 필요한 표본 수는 목표차이뿐 아니라 표준편차에 크게 영향을 받는다.

표준편차는 다음 자료에서 추정할 수 있다.

• 같은 결과변수를 사용한 선행연구
• 유사한 모집단의 코호트자료
• 체계적 문헌고찰 또는 메타분석
• 신뢰할 수 있는 행정자료
• 파일럿 연구
• 측정도구 개발연구

선행연구의 표준편차를 사용할 때는 다음을 확인해야 한다.

• 대상자의 연령과 질병상태가 유사한가?
• 같은 측정도구를 사용했는가?
• 같은 추적기간인가?
• 원점수인가 변화량인가?
• 이상값 처리방식이 같은가?
• 표준편차가 표준오차로 잘못 보고된 것은 아닌가?

표준편차를 지나치게 작게 가정하면 필요한 표본 수가 과소계산된다.

표본 수는 효과크기의 제곱에 민감하다

두 독립집단 평균을 비교하는 단순한 상황에서 집단당 표본 수는 대략 다음 구조를 가진다.

\[
n\approx\frac{2(z_{1-\alpha/2}+z_{1-\beta})^2\sigma^2}{\Delta^2}
\]

정확한 계산에서는 t분포와 비중심 t분포를 사용하지만 이 근사식은 관계를 이해하는 데 유용하다.

표본 수는 목표차이 \(\Delta\)의 제곱에 반비례한다.

효과를 절반으로 줄이면 필요한 표본 수는 대략 네 배가 된다.

같은 양측검정, 유의수준 0.05, 검정력 0.80과 동일 배정 조건에서 대략적인 결과는 다음과 같다.

작은 효과를 안정적으로 발견하려면 큰 표본이 필요한 이유다.

유의수준은 얼마나 엄격하게 볼 것인가

유의수준 \(\alpha\)는 귀무가설이 참인 상황에서 이를 잘못 기각하는 장기적인 오류율을 통제하는 기준이다.

많은 연구에서 다음 값을 사용한다.

\[
\alpha=0.05
\]

그러나 0.05는 절대적인 규칙이 아니다.

거짓양성의 비용이 매우 큰 확증적 연구에서는 더 낮은 유의수준이 필요할 수 있다. 탐색연구에서는 다른 판단체계를 사용할 수도 있다.

여러 주가설을 검정한다면 각각 0.05를 그대로 사용하는 것이 전체 1종 오류를 적절히 통제하지 못할 수 있다.

표본 수 계산에서 유의수준을 정할 때는 다음을 고려해야 한다.

• 단일 주가설인가?
• 여러 주결과변수가 있는가?
• 중간분석을 실시하는가?
• 하위집단 검정이 주요 목적인가?
• 규제기관의 기준이 있는가?
• 거짓양성의 결과가 얼마나 심각한가?

검정력 80%와 90%는 약속이지 법칙이 아니다

많은 연구가 검정력 0.80을 사용한다.

이는 목표효과가 실제로 존재할 때 약 20%의 확률로 이를 발견하지 못하는 설계를 허용한다는 뜻이다.

더 높은 확실성이 필요한 연구에서는 0.90을 사용할 수 있다.

검정력을 높이면 필요한 표본 수가 증가한다.

예를 들어 독립표본 t검정에서 \(d=0.5\), 양측 유의수준 0.05를 사용하면 다음과 같은 차이가 발생한다.

• 검정력 0.80: 총 128명
• 검정력 0.90: 총 약 172명

어떤 검정력이 적절한지는 연구목적과 오류의 결과에 따라 달라진다.

생명에 영향을 주는 확증적 임상시험과 초기 탐색연구가 같은 기준을 사용할 필요는 없다.

단측검정은 표본 수를 줄이는 편법이 아니다

단측검정은 한 방향의 효과만 검정하기 때문에 같은 조건에서 양측검정보다 적은 표본이 필요할 수 있다.

그러나 표본 수를 줄이기 위해 단측검정을 선택해서는 안 된다.

단측검정은 반대 방향의 결과가 나타나더라도 주가설 검정에서 중요한 발견으로 취급하지 않을 논리적 근거가 있을 때 사용한다.

신약이 기존 약보다 효과가 낮거나 부작용이 증가하는 것도 중요한 결과라면 양측검정이 자연스럽다.

검정방향은 자료를 수집하기 전에 결정해야 한다.

G*Power는 어떤 도구인가

G*Power는 t검정, F검정, 상관분석과 여러 회귀모형의 검정력 및 표본 수를 계산할 수 있도록 개발된 프로그램이다(Faul et al., 2007, 2009).

G*Power에는 여러 분석유형이 있지만 연구 설계 단계에서는 주로 다음 유형을 사용한다.

새로운 연구를 설계할 때는 일반적으로 A priori 분석을 사용한다.

현실적으로 모집 가능한 표본 수가 이미 정해져 있다면 Sensitivity 분석을 이용해 어느 정도의 효과까지 발견할 수 있는지 확인할 수 있다.

G*Power 사용의 기본 순서

G*Power에서는 다음 순서로 설정한다.

1. Test family에서 검정계열을 선택한다.
2. Statistical test에서 실제 사용할 검정을 선택한다.
3. Type of power analysis에서 분석목적을 선택한다.
4. 효과크기, 유의수준과 검정력을 입력한다.
5. 집단 수, 배정비율과 검정방향을 입력한다.
6. Calculate를 눌러 필요한 표본 수를 확인한다.
7. 입력값과 결과화면을 연구계획서와 함께 저장한다.

가장 중요한 것은 연구의 주분석과 G*Power에서 선택한 검정이 일치해야 한다는 점이다.

실제 분석은 대응표본 t검정인데 독립표본 t검정으로 표본 수를 계산하거나, 주효과가 아니라 상호작용이 연구목적인데 단순 집단 차이를 기준으로 계산하면 잘못된 설계가 된다.

G*Power 예제 1, 독립표본 t검정

두 약물의 평균 혈압 감소량을 비교한다고 하자.

연구설정은 다음과 같다.

효과크기는 다음과 같다.

\[
d=\frac{5}{10}=0.5
\]

G*Power 입력

다음과 같이 선택한다.

계산결과는 다음과 같다.

• 집단당 64명
• 총 128명

이 값은 분석에 포함되어야 할 최소 표본 수다. 탈락이나 결측을 예상한다면 모집인원을 추가해야 한다.

결과 해석

다음과 같이 해석할 수 있다.

실제 표준화 평균차이가 0.5이고 분석가정이 타당할 때, 각 집단 64명을 분석하면 양측 유의수준 0.05에서 약 80%의 검정력으로 두 집단의 평균 차이를 발견하도록 설계된다.

“128명이면 80% 확률로 연구가 성공한다”는 표현은 정확하지 않다.

G*Power 예제 2, 상관분석

체중과 수면시간의 피어슨 상관계수를 분석한다고 하자.

선행근거와 실질적 판단을 바탕으로 놓치고 싶지 않은 상관을 0.30으로 정했다.

G*Power 입력

필요한 총 표본 수는 84명이다.

이 값도 분석 가능한 완전자료 기준이다. 10% 정도의 결측을 예상하면 모집인원을 늘려야 한다.

상관계수 0.30을 기계적으로 ‘중간 효과’라고 부르기보다 해당 연구분야에서 실제로 중요한 관계인지 설명해야 한다.

또한 측정신뢰도가 낮으면 관찰상관이 약화될 수 있으므로 측정도구의 품질도 표본 수 계획에 영향을 준다.

G*Power 예제 3, 일원분산분석

세 가지 식이요법의 평균 체중감소량을 비교한다고 하자.

G*Power 입력

필요한 총 표본 수는 159명이다.

세 집단에 동일하게 배정하면 집단당 53명이다.

비중심 F분포 계산에서는 총 158명 정도가 검정력 기준을 넘을 수 있지만, 세 집단에 동일한 정수로 배정하려면 159명이 필요하다. 프로그램과 계산방법에 따라 1명 정도 차이가 발생할 수 있는 이유다.

에타제곱에서 f로 변환하기

선행연구에서 \(\eta^2\)가 보고되었다면 다음 관계를 이용할 수 있다.

\[
f=\sqrt{\frac{\eta^2}{1-\eta^2}}
\]

하지만 다른 설계에서 보고된 부분 에타제곱을 일원분산분석의 에타제곱처럼 그대로 변환해서는 안 된다. 효과크기의 정의와 분모가 같은지 확인해야 한다.

자주 사용하는 G*Power 메뉴

메뉴 이름이 비슷하므로 실제 분석계획과 정확히 일치하는 항목을 선택해야 한다.

예를 들어 회귀분석에서 연구목적이 전체 \(R^2\)인지, 특정 변수군을 추가했을 때 증가하는 (R^2)인지에 따라 다른 항목을 선택한다.

G*Power 결과가 분석가능 표본인지 모집 표본인지 구분한다

G*Power가 계산한 표본 수는 일반적으로 최종 분석에 포함되어야 하는 표본 수다.

탈락, 결측 또는 측정실패가 예상되면 모집인원을 늘려야 한다.

분석에 필요한 표본 수를 \(N_A\), 탈락률을 \(r\), 모집 표본 수를 \(N_R\)이라고 하면 다음과 같이 계산한다.

\[
N_R=\frac{N_A}{1-r}
\]

독립표본 t검정 예제에서 분석에 필요한 총 표본은 128명이다.

탈락률을 15%로 예상하면 다음과 같다.

\[
N_R=\frac{128}{1-0.15}\approx150.59
\]

단순히 올림하면 151명이지만 두 집단을 동일하게 배정하려면 집단당 계산하는 편이 좋다.

\[
\frac{64}{0.85}\approx75.30
\]

따라서 집단당 76명, 총 152명을 모집한다.

탈락률을 단순히 더하면 안 된다

다음처럼 계산하면 부족할 수 있다.

[
128\times1.15=147.2
]

147명에서 15%가 탈락하면 분석 가능한 표본은 약 125명으로 128명보다 작다.

탈락률을 반영할 때는 남아 있을 비율로 나누어야 한다.

표본을 늘려도 탈락편향은 해결되지 않는다

탈락률을 반영한 표본 수 증가는 분석 가능한 인원 부족을 예방한다.

하지만 특정 집단이나 중증 환자에게서 탈락이 더 많이 발생하면 단순히 모집인원을 늘리는 것만으로 편향이 해결되지 않는다.

탈락을 줄이는 연구운영과 적절한 결측자료 분석계획이 함께 필요하다.

집단 배정비율도 표본 수에 영향을 준다

두 집단의 분산과 참여자당 비용이 비슷하다면 1대 1 배정이 일반적으로 가장 효율적이다.

같은 \(d=0.5\), 유의수준 0.05와 검정력 0.80 조건에서 1대 1 배정은 총 128명 정도가 필요하다.

2대 1 배정을 사용하면 총 표본은 약 144명 수준으로 증가할 수 있다.

불균형 배정이 필요한 상황도 있다.

• 새로운 치료의 안전성 자료를 더 많이 확보하고 싶다.
• 대조군 모집이 어렵다.
• 집단별 측정비용이 다르다.
• 한 집단의 분산이 훨씬 크다.
• 참여자의 치료 선호가 모집에 영향을 준다.

배정비율을 바꾸면 G*Power의 Allocation ratio N2/N1에 반영해야 한다.

군집연구는 개인 수만 계산하면 안 된다

학교, 병원, 지역이나 기업 단위로 정책을 배정한다면 같은 군집 안의 참여자들이 서로 비슷할 수 있다.

개인 무작위배정으로 계산한 표본 수를 그대로 사용하면 실제 정보량을 과대평가할 수 있다.

평균 군집크기를 \(m\), 군집내상관계수를 \(\rho\)라고 하면 기본적인 설계효과는 다음과 같다.

\[
DE=1+(m-1)\rho
\]

평균 군집크기가 20명이고 군집내상관계수가 0.05라면 다음과 같다.

\[
DE=1+(20-1)\times0.05=1.95
\]

개인 무작위배정 기준으로 128명이 필요했다면 단순 조정값은 다음과 같다.

\[
128\times1.95\approx250
\]

군집당 20명을 모집한다면 완전한 군집 단위로 올림해야 하므로 최소 13개 군집, 총 260명이 된다.

하지만 이 계산만으로 충분하지 않을 수 있다.

• 처치군과 통제군에 충분한 군집 수가 필요한가?
• 군집크기가 서로 다른가?
• 군집 수준 공변량을 사용할 것인가?
• 군집 탈락 가능성이 있는가?
• 소수 군집에 적합한 분석법을 사용할 것인가?

군집무작위시험에서는 개인 수보다 군집 수가 검정력에 더 중요한 경우도 있다(Hemming et al., 2017).

반복측정은 상관구조를 고려해야 한다

같은 사람을 여러 시점에서 측정하면 관측값들은 독립적이지 않다.

반복측정은 개인 간 차이를 제거해 검정력을 높일 수 있지만 다음 정보가 필요하다.

• 측정시점 수
• 반복측정 간 상관
• 시간에 따른 분산
• 구형성 가정
• 비구형성 보정값
• 집단과 시간의 상호작용
• 시점별 탈락률

G*Power의 반복측정 ANOVA에서는 다음과 같은 값을 입력해야 할 수 있다.

• Number of measurements
• Corr among repeated measures
• Nonsphericity correction
• Number of groups

이 값들을 근거 없이 입력하면 표본 수 결과도 신뢰하기 어렵다.

복잡한 종단자료를 혼합효과모형으로 분석할 계획이라면 단순 반복측정 ANOVA 계산보다 시뮬레이션 기반 표본 수 산출이 더 적절할 수 있다.

공변량을 사용하면 필요한 표본이 줄어들 수 있다

기저 혈압을 공변량으로 조정하는 ANCOVA는 사후 혈압만 비교하는 분석보다 잔차변동을 줄일 수 있다.

기저치와 사후결과의 상관이 높을수록 조정의 효율이 커질 수 있다.

하지만 표본 수를 줄이기 위해 예상 상관을 지나치게 높게 가정해서는 안 된다.

다음 내용을 명시해야 한다.

• 어떤 공변량을 조정하는가?
• 공변량은 연구 전에 측정되는가?
• 선행자료에서 상관은 어느 정도인가?
• 실제 분석모형이 표본 수 계산과 일치하는가?
• 결측된 공변량은 어떻게 처리하는가?

주분석이 ANCOVA라면 독립표본 t검정을 기준으로 표본 수를 계산하고 끝내는 것보다 ANCOVA의 효율을 적절히 반영하는 방법을 사용해야 한다.

여러 결과를 분석하면 표본 수가 달라질 수 있다

한 연구에서 다음 결과를 모두 주결과로 선언한다고 하자.

• 혈압
• 혈당
• 체중
• 삶의 질
• 입원율

각 결과를 0.05 유의수준으로 검정하고 하나라도 유의하면 연구 성공으로 판단한다면 전체 거짓양성 위험이 증가한다.

반대로 모든 결과가 유의해야 성공으로 판단한다면 검정력 구조가 달라진다.

여러 주결과가 있는 연구에서는 다음을 먼저 정해야 한다.

• 적어도 하나가 유의하면 성공인가?
• 모든 결과가 유의해야 하는가?
• 우선순위가 있는 계층적 검정인가?
• 복합결과를 사용하는가?
• 다중검정 보정방법은 무엇인가?

G*Power의 단일 검정 계산은 이러한 복잡한 성공기준을 자동으로 반영하지 않는다.

표본 수는 검정력만으로 정하는 것이 아니다

모든 연구가 귀무가설 검정을 중심으로 설계되는 것은 아니다.

유병률을 추정하거나 평균을 일정한 정밀도로 추정하는 연구에서는 신뢰구간의 폭을 기준으로 표본 수를 정하는 것이 더 적절할 수 있다(Maxwell et al., 2008; Lakens, 2022).

평균을 일정한 오차범위로 추정하기

평균의 95% 신뢰구간 오차한계를 \(E\) 이내로 만들고 싶다면 다음 근사식을 사용할 수 있다.

\[
n\approx\left(\frac{z_{1-\alpha/2}s}{E}\right)^2
\]

표준편차가 15이고 평균을 오차범위 3 이내로 추정하고 싶다면 다음과 같다.

\[
n\approx\left(\frac{1.96\times15}{3}\right)^2\approx96.04
\]

따라서 최소 97명 정도가 필요하다.

비율을 일정한 오차범위로 추정하기

단순무작위표본에서 비율의 오차한계를 \(E\)로 정하면 다음 근사식을 사용할 수 있다.

\[
n\approx\frac{z_{1-\alpha/2}^2p(1-p)}{E^2}
\]

예상 비율을 모를 때 \(p=0.5\)를 사용하면 가장 보수적인 표본 수가 계산된다.

95% 신뢰수준에서 오차한계 0.03을 원하면 다음과 같다.

\[
n\approx\frac{1.96^2\times0.5\times0.5}{0.03^2}\approx1067.11
\]

따라서 약 1,068명이 필요하다.

이 계산은 단순무작위표본을 전제로 한다. 층화, 군집, 가중치와 비응답이 있다면 추가 조정이 필요하다.

파일럿 연구의 효과크기를 그대로 사용하면 위험하다

효과크기를 알기 어려울 때 소규모 파일럿 연구를 실시하고 그 결과를 본 연구의 표본 수 계산에 사용하는 경우가 많다.

하지만 파일럿 연구의 효과추정치는 표본이 작아 매우 불안정할 수 있다.

파일럿에서 우연히 큰 효과가 관찰되면 본 연구의 표본 수가 지나치게 작게 계산된다. 반대로 우연히 작은 효과가 관찰되면 필요 이상으로 큰 표본이 계산될 수 있다.

Leon 등(2011)과 Sim과 Lewis(2012)는 파일럿 연구의 주요 목적을 효과 검정보다 실행 가능성, 모집률, 탈락률, 측정절차와 변동성 평가에 두어야 한다고 설명한다.

파일럿 연구에서 주로 확인할 수 있는 것은 다음과 같다.

• 대상자 모집 가능성
• 무작위배정 절차
• 참여자 순응도
• 측정시간과 비용
• 탈락률
• 설문문항 이해도
• 데이터 수집 실패율
• 결과변수의 대략적인 분산

효과크기 하나를 정확히 추정하기에는 파일럿 표본이 너무 작을 수 있다.

Whitehead 등(2016)은 외부 파일럿과 본 연구의 전체 효율을 함께 고려해 파일럿 표본을 설계해야 한다고 설명한다.

파일럿 표본은 무조건 12명인가

파일럿 연구에서 집단당 12명이라는 경험적 기준이 자주 인용된다(Julious, 2005).

그러나 이는 모든 파일럿 연구에 적용되는 절대적인 규칙이 아니다.

파일럿의 목적에 따라 필요한 표본이 달라진다.

• 모집률을 추정하려는가?
• 탈락률을 추정하려는가?
• 표준편차를 어느 정도 정밀하게 추정하려는가?
• 절차상 문제를 발견하려는가?
• 안전성 신호를 확인하려는가?

표준편차를 정밀하게 추정하려면 집단당 12명보다 훨씬 많은 표본이 필요할 수 있다.

파일럿 연구도 목적과 정밀도를 기준으로 표본 수를 정해야 한다.

연구 종료 후 관찰검정력을 계산하면 되는가

유의하지 않은 결과가 나오면 다음과 같이 계산하는 경우가 있다.

실제 표본크기와 관찰효과를 입력했더니 사후 검정력이 35%였다.

이를 근거로 연구가 실패했다고 설명하기도 한다.

하지만 관찰된 효과와 p값을 이용한 사후 검정력은 p값과 거의 같은 정보를 다른 형태로 표현한다.

유의하지 않은 결과에서는 낮은 관찰검정력이 나오고 유의한 결과에서는 높은 값이 나오는 것이 일반적이다. 새로운 정보를 거의 제공하지 않는다(Hoenig & Heisey, 2001).

연구 종료 후에는 다음을 보는 편이 낫다.

• 효과추정치
• 신뢰구간
• 사전에 정한 최소중요효과
• 자료가 배제할 수 있는 효과범위
• 연구설계와 가정
• 결측과 편향 가능성

표본 수가 이미 정해져 있는 연구를 계획할 때는 G*Power의 Sensitivity 분석이 유용할 수 있다.

이는 현재 표본으로 발견 가능한 최소효과를 사전에 확인하는 분석이다. 관찰된 효과를 입력해 사후 검정력을 계산하는 것과는 다르다.

R로 독립표본 t검정 표본 수 계산하기

R의 기본 함수 power.t.test()를 사용할 수 있다.

혈압 평균 차이 5mmHg, 표준편차 10mmHg, 유의수준 0.05, 검정력 0.80과 양측검정을 설정한다.

t_power <- power.t.test(
  delta = 5,
  sd = 10,
  sig.level = 0.05,
  power = 0.80,
  type = "two.sample",
  alternative = "two.sided"
)

t_power

t_power <- power.t.test(
  delta = 5,
  sd = 10,
  sig.level = 0.05,
  power = 0.80,
  type = "two.sample",
  alternative = "two.sided"
)

t_power

n은 집단당 필요한 표본 수다.

required_per_group <- ceiling(
  t_power$n
)

required_total <- 2 *
  required_per_group

c(
  per_group = required_per_group,
  total = required_total
)

required_per_group <- ceiling(
  t_power$n
)

required_total <- 2 *
  required_per_group

c(
  per_group = required_per_group,
  total = required_total
)

결과는 집단당 64명, 총 128명이다.

R로 탈락률 반영하기

분석에 필요한 집단당 표본이 64명이고 예상 탈락률이 15%라고 하자.

analysis_per_group <- 64
dropout_rate <- 0.15

recruit_per_group <- ceiling(
  analysis_per_group /
    (1 - dropout_rate)
)

recruit_total <- 2 *
  recruit_per_group

c(
  recruit_per_group =
    recruit_per_group,
  recruit_total =
    recruit_total
)

analysis_per_group <- 64
dropout_rate <- 0.15

recruit_per_group <- ceiling(
  analysis_per_group /
    (1 - dropout_rate)
)

recruit_total <- 2 *
  recruit_per_group

c(
  recruit_per_group =
    recruit_per_group,
  recruit_total =
    recruit_total
)

결과는 집단당 76명, 총 152명이다.

R로 상관분석의 정확한 표본 수 확인하기

피어슨 상관계수 검정의 검정력을 비중심 t분포로 계산할 수 있다.

correlation_power <- function(
  n,
  rho,
  alpha = 0.05
) {
  df <- n - 2

  critical_value <- qt(
    1 - alpha / 2,
    df = df
  )

  noncentrality <- rho *
    sqrt(
      df /
        (1 - rho^2)
    )

  lower_tail <- pt(
    -critical_value,
    df = df,
    ncp = noncentrality
  )

  upper_tail <- 1 - pt(
    critical_value,
    df = df,
    ncp = noncentrality
  )

  lower_tail + upper_tail
}

correlation_power <- function(
  n,
  rho,
  alpha = 0.05
) {
  df <- n - 2

  critical_value <- qt(
    1 - alpha / 2,
    df = df
  )

  noncentrality <- rho *
    sqrt(
      df /
        (1 - rho^2)
    )

  lower_tail <- pt(
    -critical_value,
    df = df,
    ncp = noncentrality
  )

  upper_tail <- 1 - pt(
    critical_value,
    df = df,
    ncp = noncentrality
  )

  lower_tail + upper_tail
}

상관계수 0.30을 검정력 0.80으로 발견할 최소 표본 수를 찾는다.

candidate_n <- 4:1000

candidate_power <- vapply(
  candidate_n,
  function(n) {
    correlation_power(
      n = n,
      rho = 0.30,
      alpha = 0.05
    )
  },
  numeric(1)
)

required_n <- min(
  candidate_n[
    candidate_power >= 0.80
  ]
)

required_n

candidate_n <- 4:1000

candidate_power <- vapply(
  candidate_n,
  function(n) {
    correlation_power(
      n = n,
      rho = 0.30,
      alpha = 0.05
    )
  },
  numeric(1)
)

required_n <- min(
  candidate_n[
    candidate_power >= 0.80
  ]
)

required_n

결과는 84명이다.

R로 일원분산분석 표본 수 계산하기

pwr 패키지를 사용할 수 있다.

# 최초 한 번만 실행
# install.packages("pwr")

library(pwr)

# 최초 한 번만 실행
# install.packages("pwr")

library(pwr)

세 집단, 효과크기 (f=0.25), 유의수준 0.05와 검정력 0.80을 설정한다.

anova_power <- pwr.anova.test(
  k = 3,
  f = 0.25,
  sig.level = 0.05,
  power = 0.80
)

anova_power

anova_power <- pwr.anova.test(
  k = 3,
  f = 0.25,
  sig.level = 0.05,
  power = 0.80
)

anova_power

집단당 필요한 표본을 올림하고 총 표본을 계산한다.

required_per_group <- ceiling(
  anova_power$n
)

required_total <- 3 *
  required_per_group

c(
  per_group = required_per_group,
  total = required_total
)

required_per_group <- ceiling(
  anova_power$n
)

required_total <- 3 *
  required_per_group

c(
  per_group = required_per_group,
  total = required_total
)

집단당 53명, 총 159명이 필요하다.

G*Power와 R 결과가 1명 정도 다르다면 다음 차이를 확인해야 한다.

• 정확계산과 근사계산
• 연속적인 표본 수를 정수로 올리는 방식
• 동일한 집단배정을 강제하는지
• 효과크기 정의
• 단측과 양측
• 검정통계량의 분포

프로그램 이름과 입력값을 보고서에 기록해야 하는 이유다.

G*Power만으로 충분하지 않은 연구

G*Power는 일반적인 검정에 유용하지만 모든 연구설계를 다루지는 못한다.

다음 연구에서는 전문 소프트웨어나 시뮬레이션이 필요할 수 있다.

• 복잡한 다층모형
• 군집 수가 적은 군집시험
• 가변적인 군집크기
• 생존분석과 경쟁위험
• 반복사건 자료
• 비열등성·등가성 시험
• 적응적 설계
• 중간분석
• 다중 주결과
• 결측자료 모형
• 복잡한 매개·조절모형
• 단계적 쐐기형 군집설계
• 비선형 혼합모형
• 희귀사건 로지스틱 회귀

주분석이 복잡한데 표본 수만 단순 t검정으로 계산하면 실제 연구질문과 설계가 일치하지 않을 수 있다.

비열등성 연구는 일반 우월성 검정과 다르다

새 치료가 기존 치료보다 더 좋은지를 확인하는 우월성 연구와, 허용할 수 있는 한계 이상으로 나쁘지 않은지를 확인하는 비열등성 연구는 가설이 다르다.

비열등성 연구에서는 다음을 사전에 정해야 한다.

• 비열등성 한계
• 효과척도
• 단측 유의수준
• 분석대상집단
• 예상 사건률 또는 표준편차
• 탈락과 비순응
• 분석방법

일반적인 독립표본 t검정 메뉴에 평균차이를 입력하는 것만으로 비열등성 표본 수가 적절히 계산되는 것은 아니다.

비열등성 한계가 임상적으로 정당화되어야 하며, 탈락과 비순응은 비열등성 결론을 잘못 유리하게 만들 수도 있다.

표본 수 산출은 한 번의 숫자가 아니라 민감도 분석이다

표본 수에 필요한 효과와 표준편차는 정확히 알기 어렵다.

따라서 하나의 시나리오만 계산하기보다 여러 합리적인 조건에서 필요한 표본 수를 비교하는 것이 좋다.

혈압 연구에서 다음 시나리오를 생각할 수 있다.

정확한 값은 사용한 프로그램과 설정에 따라 조금 달라질 수 있다.

민감도 분석을 통해 다음을 확인할 수 있다.

• 표준편차가 예상보다 크면 어떻게 되는가?
• 효과가 예상보다 작으면 어떻게 되는가?
• 검정력을 90%로 높이면 어떻게 되는가?
• 탈락률이 20%라면 몇 명을 모집해야 하는가?
• 배정비율이 2대 1이면 어떻게 되는가?

하나의 낙관적인 가정에만 의존한 표본 수보다 여러 시나리오를 검토한 설계가 더 투명하다.

현실적으로 모집 가능한 표본이 부족하다면

계산결과 500명이 필요하지만 예산상 150명만 모집할 수 있다고 하자.

필요한 표본 수를 임의로 줄이고 “현실적인 제약 때문에 150명으로 결정했다”고 끝내서는 안 된다.

다음 대안을 검토할 수 있다.

• 더 정밀한 결과변수를 사용한다.
• 반복측정이나 기저치 조정을 활용한다.
• 대상자 선정기준을 개선해 변동성을 줄인다.
• 다기관 공동연구를 실시한다.
• 연구질문을 탐색적 연구로 변경한다.
• 정밀도 중심 연구로 재설계한다.
• 더 큰 효과만 발견 가능한 민감도 분석을 보고한다.
• 순차설계나 적응설계를 검토한다.
• 장기 모집계획을 세운다.

현실적 제약은 숨길 문제가 아니라 연구가 답할 수 있는 질문의 범위를 결정하는 정보다.

Lakens(2022)는 표본 수 정당화가 반드시 전통적인 검정력 분석일 필요는 없지만, 선택한 표본으로 어떤 효과를 발견하거나 어느 정도 정밀하게 추정할 수 있는지는 투명하게 설명해야 한다고 강조한다.

표본 수 산출 보고서는 어떻게 작성하는가

다음 문장은 충분하지 않다.

G*Power를 이용해 표본 수를 계산하였다.

보다 좋은 보고는 다음과 같다.

주결과변수는 12주 후 수축기혈압 변화량으로 정하였다. 두 독립집단의 평균 차이를 양측 t검정으로 비교할 계획이며, 임상적으로 중요한 목표차이는 5mmHg, 예상 표준편차는 선행연구에 근거해 10mmHg로 설정하였다. 이는 Cohen의 (d=0.50)에 해당한다. G*Power를 이용해 유의수준 0.05, 검정력 0.80과 1대 1 배정 조건에서 계산한 결과 집단당 64명, 총 128명이 필요했다. 15%의 탈락을 고려해 집단당 76명, 총 152명을 모집하기로 하였다.

다음 정보가 포함되어야 한다.

1. 주결과변수
2. 주분석방법
3. 목표차이
4. 표준편차 또는 사건률
5. 근거자료
6. 유의수준
7. 검정력
8. 단측 또는 양측
9. 배정비율
10. 프로그램과 계산방법
11. 분석에 필요한 표본 수
12. 탈락률
13. 최종 모집 표본 수
14. 군집이나 반복측정 보정
15. 민감도 분석

표본 수 산출에서 자주 발생하는 오류

선행연구에서 가장 큰 효과를 가져온다

큰 효과를 입력하면 표본 수가 줄어든다. 출판편향과 작은 연구의 과대추정을 고려해야 한다.

Cohen의 중간 효과를 근거 없이 사용한다

(d=0.5)는 편리한 관행적 기준이지 연구의 임상적·정책적 중요성을 정해주지 않는다.

주결과가 아닌 분석으로 계산한다

실제 주분석이 상호작용이나 회귀계수인데 단순 평균차이를 기준으로 계산하면 검정력이 부족할 수 있다.

표준오차를 표준편차로 입력한다

표준오차는 표준편차를 표본크기의 제곱근으로 나눈 값이다. 이를 표준편차로 잘못 입력하면 표본 수가 심각하게 과소계산될 수 있다.

탈락률만큼 단순히 곱한다

필요 분석표본을 남아 있을 비율로 나누어야 한다.

파일럿의 관찰효과를 그대로 사용한다

작은 파일럿의 효과추정치는 매우 불안정할 수 있다.

표본 수를 계산한 뒤 분석방법을 바꾼다

검정력은 특정 분석방법을 전제로 한다. 주분석을 변경하면 표본 수의 근거도 달라질 수 있다.

군집자료를 개인 독립자료처럼 계산한다

같은 학교나 병원 안의 상관을 무시하면 필요한 표본과 군집 수를 과소평가한다.

반복측정 상관을 지나치게 높게 가정한다

실제 상관이 낮으면 예상했던 효율을 얻지 못한다.

사후 관찰검정력으로 연구결과를 설명한다

유의하지 않은 결과에서는 신뢰구간과 효과의 양립범위를 보는 편이 더 유용하다.

표본이 크면 연구가 정확하다고 생각한다

큰 표본은 무작위오차를 줄이지만 선택편향과 측정오류를 제거하지 않는다.

유의한 결과가 나오면 표본 수가 충분했다고 생각한다

작은 표본에서도 우연히 유의한 결과가 나올 수 있다. 유의성은 사전 표본 수 정당화를 대신하지 않는다.

연구 시작 전에 확인할 질문

1. 주결과변수는 하나의 명확한 지표로 정의되었는가?
2. 실제 사용할 주분석방법이 정해졌는가?
3. 발견하고 싶은 최소중요효과는 얼마인가?
4. 그 효과가 임상적·정책적으로 중요한 근거는 무엇인가?
5. 예상 표준편차나 사건률의 근거는 무엇인가?
6. 유의수준과 검정력은 왜 그 값으로 정했는가?
7. 단측검정이 정말 정당한가?
8. 여러 주가설을 고려했는가?
9. 배정비율은 효율적인가?
10. 탈락률과 결측률은 현실적인가?
11. 군집이나 반복측정 구조가 있는가?
12. 파일럿의 불확실성을 고려했는가?
13. 여러 효과와 표준편차에 대한 민감도 분석을 했는가?
14. 모집 가능한 표본과 필요한 표본이 일치하는가?
15. 계산에 사용한 프로그램과 설정을 기록했는가?
16. 계산결과를 정수와 집단배정 단위로 올림했는가?
17. 표본 수가 부족할 때 연구목적을 조정했는가?
18. 연구 종료 후 효과크기와 신뢰구간을 보고할 계획인가?

좋은 연구는 몇 명을 모았는지가 아니라 왜 그만큼 모았는지를 설명합니다

표본 수 산출의 핵심은 큰 숫자를 만드는 데 있지 않다.

연구에서 중요한 효과를 정의하고, 그 효과를 발견하거나 정밀하게 추정할 수 있을 만큼의 정보를 확보하는 데 있다.

비전공자는 다음 다섯 문장으로 기억할 수 있다.

표본이 너무 작으면 중요한 효과를 놓치고 효과추정도 불안정해진다.

표본이 크다고 연구가 자동으로 정확해지는 것은 아니다.

표본 수는 주결과, 목표효과, 변동성, 유의수준과 검정력을 바탕으로 정한다.

G*Power의 결과는 분석 가능한 표본 수이므로 탈락률과 연구설계를 추가로 반영해야 한다.

연구가 끝난 뒤가 아니라 데이터를 모으기 전에 계산해야 한다.

표본 수 산출은 미래의 p값을 미리 보장하는 절차가 아니다.

현재의 지식과 불확실성을 바탕으로 연구가 답할 수 있는 질문의 크기를 정하는 과정이다.

좋은 연구자는 “몇 명이면 논문을 쓸 수 있는가?”라고 묻지 않는다.

대신 다음과 같이 묻는다.

어떤 효과를 놓치지 않으려 하며, 그 효과를 얼마나 정밀하고 책임 있게 확인할 것인가?

그 질문에 대한 설계상의 답이 표본 수다.

참고문헌

Biau, D. J., Kernéis, S., & Porcher, R. (2008). Statistics in brief: The importance of sample size in the planning and interpretation of medical research. Clinical Orthopaedics and Related Research, 466(9), 2282–2288. https://doi.org/10.1007/s11999-008-0346-9

Button, K. S., Ioannidis, J. P. A., Mokrysz, C., Nosek, B. A., Flint, J., Robinson, E. S. J., & Munafò, M. R. (2013). Power failure: Why small sample size undermines the reliability of neuroscience. Nature Reviews Neuroscience, 14(5), 365–376. https://doi.org/10.1038/nrn3475

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.). Lawrence Erlbaum Associates. https://doi.org/10.4324/9780203771587

Cook, J. A., Julious, S. A., Sones, W., Hampson, L. V., Hewitt, C., Berlin, J. A., Ashby, D., Emsley, R., Fergusson, D. A., Walters, S. J., Wilson, E., MacLennan, G., Stallard, N., Rothwell, J., Bland, M., Brown, L., Ramsay, C. R., Fayers, P., Cresswell, L., & Vale, L. D. (2018). DELTA2 guidance on choosing the target difference and undertaking and reporting the sample size calculation for a randomised controlled trial. BMJ, 363, k3750. https://doi.org/10.1136/bmj.k3750

Emanuel, E. J., Wendler, D., & Grady, C. (2000). What makes clinical research ethical? JAMA, 283(20), 2701–2711. https://doi.org/10.1001/jama.283.20.2701

Faul, F., Erdfelder, E., Lang, A.-G., & Buchner, A. (2007). G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods, 39(2), 175–191. https://doi.org/10.3758/BF03193146

Faul, F., Erdfelder, E., Buchner, A., & Lang, A.-G. (2009). Statistical power analyses using G*Power 3.1: Tests for correlation and regression analyses. Behavior Research Methods, 41(4), 1149–1160. https://doi.org/10.3758/BRM.41.4.1149

Hemming, K., Eldridge, S., Forbes, G., Weijer, C., & Taljaard, M. (2017). How to design efficient cluster randomised trials. BMJ, 358, j3064. https://doi.org/10.1136/bmj.j3064

Hoenig, J. M., & Heisey, D. M. (2001). The abuse of power: The pervasive fallacy of power calculations for data analysis. The American Statistician, 55(1), 19–24. https://doi.org/10.1198/000313001300339897

Julious, S. A. (2005). Sample size of 12 per group rule of thumb for a pilot study. Pharmaceutical Statistics, 4(4), 287–291. https://doi.org/10.1002/pst.185

Lakens, D. (2022). Sample size justification. Collabra: Psychology, 8(1), 33267. https://doi.org/10.1525/collabra.33267

Leon, A. C., Davis, L. L., & Kraemer, H. C. (2011). The role and interpretation of pilot studies in clinical research. Journal of Psychiatric Research, 45(5), 626–629. https://doi.org/10.1016/j.jpsychires.2010.10.008

Maxwell, S. E., Kelley, K., & Rausch, J. R. (2008). Sample size planning for statistical power and accuracy in parameter estimation. Annual Review of Psychology, 59, 537–563. https://doi.org/10.1146/annurev.psych.59.103006.093735

Schulz, K. F., & Grimes, D. A. (2005). Sample size calculations in randomised trials: Mandatory and mystical. The Lancet, 365(9467), 1348–1353. https://doi.org/10.1016/S0140-6736(05)61034-3

Sim, J., & Lewis, M. (2012). The size of a pilot study for a clinical trial should be calculated in relation to considerations of precision and efficiency. Journal of Clinical Epidemiology, 65(3), 301–308. https://doi.org/10.1016/j.jclinepi.2011.07.011

Whitehead, A. L., Julious, S. A., Cooper, C. L., & Campbell, M. J. (2016). Estimating the sample size for a pilot randomised trial to minimise the overall trial sample size for the external pilot and main trial for a continuous outcome variable. Statistical Methods in Medical Research, 25(3), 1057–1073. https://doi.org/10.1177/0962280215588241