통계학자가 자신의 실험 결과가 우연히 일어난 것인지 or 우연히 일어날 수 없는 극단적인 것인지를 판단하는 방법이다. 결과가 우연히 벌어질 수 있는 변동성의 바깥에 존재한다면 통계적으로 유의하다고 말한다. 유의성 검정의 기본 기능은 어쩌다 우연히 일어난 일에 속지 않도록 하는 것이다.
유의성 검정을 판단하기 위해 p-value를 사용한다. p-value과 유의수준 α를 비교하여 가설에 대한 결론을 내린다.
용어 알아보기
p-value : 관측된 결과와 같이 특이하거나 극단적인 결과를 얻을 확률
유의수준 α : 실제 결과가 통계적으로 의미 있는 것으로 간주되기 위해, 우연에 의한 기회 결과가 능가해야하는 '비정상적인' 가능성의 임계 확률
제 1종 오류 : 우연에 의한 효과가 실제 효과라고 잘못 결론 내리는 것
제 2종 오류 : 실제 효과를 우연에 의한 효과라고 잘못 결론 내리는 것
p-value < α : 귀무가설 기각, 대립가설 수용
p-value ≥α : 귀무가설 기각 실패
예제로 살펴보자
알레산드라는 실험 대상이 네 가지 다른 컵에 담긴 물의 맛을 보고 어떤 컵이 생수병의 물인지 판단하는 실험을 설계하였습니다. 실험 대상에게는 수돗물 세 컵과 생수병 한 컵이 주어졌습니다(순서는 임의로 배치하였습니다). 실험 대상이 생수병의 물이 무엇인지 판단할 때 단순히 추측하는 것보다 더 나은지 궁금해 하였습니다.
p : 생수병의 물을 판단할 확률
H0 : p = 0.25 H1 : p > 0.25
실험 결과 60명 중 20명이 생수병의 물을 정확히 판단하였습니다. p-value가 약 0.068일 때,
유의수준 α = 0.05 를 이용하여 내린 결론은? => p > α 이므로 귀무가설 기각 실패 ! => 실험 대상이 생수병의 물을 판단할 때 추측하는 것보다 더 잘 한다고 할 수 없습니다.
유의 수준이 α = 0.10이라면 결론은? => p < α 이므로 귀무가설 기각, 대립가설 수용
어떤 비료 한 바구니는 7.25 kg라고 홍보되고 있지만, 실제로는 정규분포를 따르며 평균이 7.4kg, 표준편차가 0.15kg이다. 비료회사는 기계를 설치하여 비료 양의 평균이 변화하는지 확인한다.
H0 : μ = 7.4kg H1 : μ ≠ 7.4kg
비료 50바구니를 임의추출하고 그 결과 표본평균는 7.36kg, 표준편차는 0.12kg이다. p값을 구했더니 0.02이다.
유의수준 α = 0.05 를 이용하여 내린 결론은? => p < α 이므로 귀무가설 기각, 대립가설 수용 => 바구니들에 채워진 양의 평균이 7.4kg이 아닙니다.
