'표본은 몇 명이면 돼요?'에 답하려고 검정력을 공부했어요

지도교수님께 '200명이면 될까요?' 했다가 '왜 200명이니?'를 듣고 말문이 막혔습니다.

선배 논문이 200명쯤이라 저도 그렇게 하려 했어요. 근거가 그게 전부였습니다. 교수님이 '검정력 분석을 해 와라' 하셔서 일주일 동안 붙잡았는데, 이해한 만큼만 정리해 봅니다. 틀린 부분이 있으면 알려 주세요!

제가 이해한 것

• 표본 수는 감으로 정하는 게 아니라 네 가지가 서로 물려 있는 문제였어요: 효과크기, 유의수준, 검정력, 표본 수. 셋을 정하면 나머지 하나가 나옵니다
• 검정력은 '실제로 효과가 있을 때 그걸 찾아낼 확률'. 관례적으로 .80을 많이 쓴다고 배웠어요
• 제일 어려운 건 효과크기를 얼마로 잡을지였습니다. 내가 아직 모르는 걸 미리 정해야 하니까요
• 선행연구나 메타분석에서 비슷한 변수 관계의 크기를 찾아 근거로 삼았어요
• 기대하는 효과가 작을수록 필요한 사람은 확 늘어납니다. 이걸 보고 좀 겁이 났어요
• 분석 방법에 따라 계산이 달라집니다. 상관, 회귀, 집단 비교가 다 달라요

실제로 한 것

• 무료 검정력 계산 프로그램을 썼습니다. 분석 종류를 고르고 값을 넣으면 필요한 수가 나와요
• 선행연구 세 편의 효과크기를 표로 정리해서 그중 보수적인 값으로 잡았습니다
• 계산된 수에 불성실 응답과 탈락을 감안해 여유를 더했어요
• 이 과정을 계획서 '연구 대상' 부분에 두 문장으로 적었습니다

결과적으로 200명보다 조금 더 필요했어요. 숫자는 비슷한데, 이제는 왜 그 숫자인지 말할 수 있다는 게 다릅니다.

조절효과나 매개효과는 계산이 더 복잡하다고 해서 그건 통계 수업 교수님께 따로 여쭤보려고요.

※ 운영팀이 만든 글이에요.