01. A / B 검정

A / B 검정이란?

A / B 검정은 두 개의 선택 중 어느 쪽이 다른 쪽 보다 우월함을 입증하기 위해서 실험군을 두 그룹으로 나누어 진행하는 실험이다.

 

이 때, 두 그룹은 다음의 용어를 사용한다.

대조군 : 어떤 처리도 하지 않은 대상들의 집단

처리군 : 어떤 처리에 노출된 대상들의집단

두 그룹은 무작위로 할당되어 실험을 위한 처리가 이루어진다.

즉, 실험 결과에서 나타난 차이점은 1 ) 다른 처리의 효과 2 ) 어떤 대상이 어떤 그룹에 배정될지에 대한 경우의 수에 의해 나타난다고 말할 수 있다.

 

또한, 결과를 나타내는 측정 지표에도 주의를 기울여야 한다. 측정 지표는 연속형 변수, 횟수를 나타내는 변수에 따라 결과가 다르게 표시될 수 있기 때문이다.

 

 

 

A / B 검정은 유의미한가?

1 ) 널리 사용되고 있지만 제약이 존재한다.

A/B 검정은 여러 분야에서 사용되고 있지만 산업에 따라 매우 귀하고, 비용이 비싸며, 측정에 많은 시간이 필요한 경우가 있다. 이럴 때에는 실험을 중간에 중단하고 결론을 얻을 수 있는 장치를 마련해두고 실험을 설계한다.

 

2 ) 데이터 과학자들은 두 가지의 차이점을 아는데에는 별로 관심이 없다.

전통적인 의미의 통계적 실험 설계는 특정 처리법의 효과에 대한 정적인 질문에 답하는 데 초점을 맞추었다. 하지만 현재의 관심은 다음과 같이 변화하고 있다.

A / B 검정 : 가격 A와 가격 B의 차이가 통계적으로 유의한가?

현재 : 가능한 여러 가격 중에서 가장 좋은 가격은 얼마일까?

이러한 실험을 위해, 멀티암드 밴딧과 같은 새로운 유형의 실험 설계가 필요하게 되었다.

 

A/B 테스트에서 하면 안되는 실수 http://mindthelog.com/2017/08/ab-testing/