A/B TEST

A/B TEST

 

조사 대상을 실험군(A)과 대조군(B)으로 나누어 내가 특정 조건에 맞춰 테스트한 대상을 실험군, 조건에 맞추지 않은 대상을 대조군으로 두고 두 집단을 비교하는 방법이다. 통계에서는 독립성검정(카이제곱검정에 의한), 의학쪽에서는 무작위 비교 연구(RCT, Randomized-Controlled Trial)라고 한다.

 

※ 카이제곱 검정(Chi-squared test)

1) 적합도 검정(Goodness of fit test) : 관찰된 비율의 값이 기대값과 같은지 검정

2) 동질성 검정(Test of homogeneity) : 두 집단의 분포가 동일한지 검정3) 독립성 검정(Test for independence) : 두 변수가 서로 연관성이 있는지(독립적인지)를 검정

 

▶ 예시

1) IT기업에서는 주로 최적의 방식을 알아내기 위한 개인화마케팅 실험에 사용된다. 저번에 어떤 뉴스에서 카카오에서는 두 개의 UI 배너를 만들어 무작위로 추출한 집단에 랜덤하게 도출한 다음, 두 배너를 이용한 사용자들에게 투표를 날린 후, 투표 결과를 종합하여 어떤 배너가 더 인기가 있었는지 테스트한다는 기사를 보았다. 투표를 한다면 단순히 선호도만 비교해서 인기있는 배너를 고르는 것인지 의문이 들었다.

 

2) 또한, 게임에서는 특정 보상의 효과를 보기 위해 A집단에는 보상으로 아이템을 주고, B집단에는 보상으로 경험치를 주고 어떤 보상이 인게임상에서 더 효율적인지 파악하기도 한다.

 

3) 넷플릭스는 제품 개선의 방향 자체를 A/B 테스트에 의존하고 있는 기업이라고 한다. 아래 기사에 의하면 넷플릭스 사용자들은 삽화를 가장 먼저 확인한 후, 다음으로 나머지 제목, 시놉시스, 평점 등 나머지 정보를 확인한다고 되어있다. 따라서 넷플릭스에서는 한눈에 클릭수를 개선할 방향을 모색하기 위해 여러 삽화를 두고 클릭수가 높게 나타나는 삽화를 컨텐츠 대표 삽화로 등록하게 된다. (어쩐지 넷플릭스에는 대표 사진이 아닌 처음보는 비하인드 사진이 등록되어 있어서, 아는 영화인데도 계속 다르게 보이고 새로운 영화는 궁금하기까지하다.)

 

https://www.mobiinside.co.kr/2020/10/05/hackle/

[스타트업의 A/B 테스트] A/B 테스트를 통해 넷플릭스 영상에 가장 적합한 삽화 찾기 - 모비인사이

 

4) 아마존, 에어비앤비, 구글 등 사례 정리

https://brunch.co.kr/@digitalnative/17

아마존, 에어비앤비, 넷플릭스의 AB테스트 결과 정리

 

▶ 주의사항

- A/B 테스트를 하기 위해서는 두 집단을 임의적으로 나누어야 한다. 즉, random sampling을 통해 특정 그룹군으로 묶이지 않고 여러 표본에서 추출될 수 있도록 해야 한다. 예를들어 오렌지주스의 설탕 함량에 따른 맛을 평가하기위해 대상자를 친구들로 잡고 여자인 친구들에게는 설탕이 20g 함류된 오렌지주스를, 남자인 친구들에게는 설탕이 40g이 함류된 오렌지주스를 주었다고 가정하자. 여기서 잘못된 전제는 1) 대상자를 나의 친구들로 한정했다는 것, 2) 실험군과 대조군에 성별이라는 의미를 부여했다는 것이다. 1)의 전제를 무시했다면, 결과 또한 "오렌지주스의 맛은 ~가 더 낫다"가 아닌 "내 친구들에게는 오렌지주스의 맛이 ~가 더 낫다"로 덧붙여주어야 일반화의 오류를 피할 수 있다.

※ 일반화의 오류(the fallacy of hasty generalization) : 몇 개의 사례나 경험으로 전체의 속성을 단정짓고 판단하는데서 발생하는 오류 (in wikipedia)

 

- 테스트 전 "이 테스트가 고객에 새로운 정보를 줄 것인지"를 생각해보고 아니라면, 다른 중요한 것을 최적화해보는게 낫다.

- 많은 리소스를 허비하거나 달성하려는 비즈니스의 목표가 모호해질 수도 있기 때문에 테스트에 앞서 목적을 명확히 하는 것이 중요하다.

 

▶ 결과

카이제곱 검정(Chi-squared test)

> chisq.test

p-value 값이 0.05보다 작다면 실험군과 대조군의 차이가 있다고 판단한다.

 

참고

여기서는 함수를 쓰지 않고 직접 R로 코딩해놨다.

https://www.geeksforgeeks.org/ab-testing-with-r-programming/

AB Testing With R Programming - GeeksforGeeks

어느 쪽의 배너 광고 반응이 더 좋은지 실전 코딩

https://kmrho1103.tistory.com/entry/5%EC%9E%A5-AB-%ED%85%8C%EC%8A%A4%ED%8A%B8-%EC%96%B4%EB%8A%90-%EC%AA%BD%EC%9D%98-%EB%B0%B0%EB%84%88%EA%B4%91%EA%B3%A0%EA%B0%80-%EB%B0%98%EC%9D%91%EC%9D%B4-%EB%8D%94-%EC%A2%8B%EC%9D%80%EA%B0%80

5장 - A/B 테스트 : 어느 쪽의 배너광고가 반응이 더 좋은가?

 

https://rpubs.com/odenipinedo/AB-testing-in-R

RPubs - AB Testing in R