A/B 테스트 - 2(결과 분석)

안녕하세요~~

어제에 이어서 집단을 나눈 후!! 결과 분석에 대해서 글을 작성하고자 합니다!!

그렇게 집단을 나눈 후 집단이 얼만큼으로 나누어졌는지 확인을 해보니

A그룹과 B그룹을 각각 95명씩 할당이 되었습니다. 층별 인원도 각각 동일하게 추출되었습니다.

자, 이제!! 앞 글에서 말씀드렸지만 다시한번 정리해드리자면!!

----------------------------------------------------------------------------------------------------------------------------------------------

A그룹(통제집단)은 일반적으로 기존에 저희가 보냈던 문구로 보내고

B그룹(실험집단)은 할인율을 강조하는 문구로 문자를 보내고자 했습니다.
----------------------------------------------------------------------------------------------------------------------------------------------
A/B 테스트 - 1(집단 분할) 게시물 中

위 와 같이 집단을 나누었으니 각각 집단 별 문자 문구도 정하였습니다.

A그룹 - 기존 문자 형태 - Ex) 타임특가세일!! 지금 만나보세요!! 해당 상품은 ~~~~

B그룹 - 할인 강조 문자 - Ex) OO상품 25% 할인 행사 중!! 지금 만나보세여!! ~~~~

이렇게 문자 문구를 정하고 문자를 동일한 시간에 각각 그룹에 해당하는 문자를 보냈습니다!!

자~~~우선 A/B 테스트 결과를 보기 전 어떤 분석을 할지 계획을 세워야겠죠??

저희는 크게 3가지를 분석하고자 하였습니다!

하지만, 계획은 늘 틀어지는 법이죠!! 핳하!!!

이탈율 대신 로그인 접속률로 진행하자는 내부의 의견이 있어 이탈율 → 로그인 접속률 로 변경되었습니다!!

그리하여 총 3가지를 분석하였습니다!!

1. 접속율(=클릭율(CTR))

2. 로그인 접속률

3. 구매율

위와 같이 분석을 하고자 하였고 이 부분에서 현실적인 문제 사항들이 몇 가지 있었습니다ㅠㅠ

- 홈페이지에서의 고객 개인별 이동경로(즉, log data) 파악 불가

- 문자에 해당하는 URL 클릭률을 확인하기 위해서는 당사가 갖고 있는 문자 템플릿을 이용 必

위 2가지 문제점은 각각 어떤 문제를 야기하냐면 홈페이지에서 고객 개인별 이동경로를 확인할 수 없는 부분은 저희 쇼핑몰 페이지는

아직 자체 로그 데이터를 구축하지 못 한 상태였습니다. 하여, GA(Google Analytics)를 이용하였습니다.

두 번째는 상품을 직접 보기위해 클릭을 2번해야하는 불편함입니다. 고객 입장에서 바로 상품을 보고 구매 여부를 정할 수 있다면 

가장 베스트이겠지만, 클릭 한번을 더 해야한다는 것은 큰 허들임에 분명했습니다. 

위 와 같은 문제점을 감안하고 본 테스트를 진행하였습니다.

위 사진은 GA 행동흐름 부분 세그먼트를 저희의 URL을 걸어서 본 화면입니다.

상세 URL 은 문제가 될까봐 지운 점 양해 부탁드립니다 ㅎㅎ

.

.

.

.

가장 먼저 전체적인 결과를 말씀드리면....결과는 참혹했습니다...ㅠㅠ 뭐...모든 마케터들도 그렇지만 실패할 때도 있는 것이겠죠...ㅠㅠ

문자 발송 대상자 : 95 * 2 = 190 명

1차 문자 클릭 고객 : 37 명 (37/190 → 19.5%)

2차 문자 클릭 후 상품 페이지 이동 고객(문자 클릭 → 템플릿 클릭) : 28 명 (28/190 → 14.7%)

3차 로그인 수 : 6명 (6/190 → 3.1%)

4차 구매 고객 수 : 0 명

참으로 처참한 결과가 아닐 수 없습니다... 물론!! CTR은 전 나쁘지 않았다고 생각합니다...약 20%면 뭐 ㅎㅎㅎ

하지만, 구매건수가 0건 이라는건...핳...

그렇다고 저희 같은 말단 사원의 분석가는 그래도 분석을 이어나가야하지 않겠습니까? ㅎㅎ

자! 우선 그룹별 요약을 좀 해보았습니다!!

층화표본추출의 장점은 층 마다 각각의 성향 또한 볼 수 있다는 점이었죠~

결과 요약 표입니다~

역시는 역시군요!

가장 최근에 구입한 고객들이 반응률이 가장 좋았습니다!!

어떻게 보면 당연한 결과이겠지만요 ㅎㅎㅎ

그래도 당연한 것을 수치로 보고자 하는 것 또한, 저희들의 업이 아닐까요

저희 템플릿은 한 사람이 여러번 클릭한 로그 데이터가 남다 보니 반응 누적 수가 존재합니다.

또한 고객 마다 각각 다른 매개변수를 지정하여 URL을 보내드리기에 어떤 고객이 더 많이 보았는지,

그리고 해당 URL을 타 고객에게 공유를 했는 지 등에 대한 정보를 확인 할 수 있었습니다.

그렇기에 요약표에는 반응 유니크 고객 수, 반응 누적 수가 존재하는 이유 입니다!!

전체적으로 누적 반응률을 확인해 보니 A그룹 보다 B그룹의 CTR이 더 높은 것을 확인할 수 있었습니다~

하지만!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

저희는 통계인이자 분석가이자 도비이지 않습니까!?

그렇기에 가설 검정을 안할 수가 없죠!? ㅎㅎㅎ 직접 해보았습니다.

단순히 CTR의 %로 비교하기에는 모수 자체가 적었던 것도 있고 통계적으로 유의미할 지는 확인을 해봐야하니까요~

가설은 위와 같이 설정하였고 T-test를 통해 검정을 진행했습니다!

이럴 수가....통계적으로는 차이가 없다는 결론을 얻게 되었습니다.

수치적으로는 차이가 있지만 통계적으로 집단 간의 차이가 있다고 해석할 수 있을만한 수치는 아니라는 거죠ㅠㅠ

슬프지만....어쩔 수 없는거죠 ㅠㅠ

자, 그 다음은 로그인 접속률에 대한 검정을 진행해 보았습니다!!

핳핳..ㅎㅎ.... 뭐 우선 엄청 적은 수치지만 A그룹이 로그인 수가 B그룹에 비해 조금 더 있었네요...ㅎㅎ

모수 자체도 너무 적어 검증을 할 수 없는 상황이었네요...그래도 장표는 있어야하니 ㅎㅎ

구매율도...구매가 0건이라 진행하지 못했습니다 ㅠㅠ

그래도 저희는 이번 A/B 테스트를 통해 얻은 결론이 있었습니다!!

1. 문자에 담겨지는 문구(크리에이티브)는 통상 중요시되는것이 당연하나 이번 테스트에서는 변별력을 찾을 수 없었음

2. 상품 상세 안내 페이지(1차 랜딩) 도달율 19.5%: 최근 구매 고객 중심으로 접속(도달)율이 당연히 높아짐(2개월이내 26.6%) 

3. 모수는 작지만 비타민 구매 이력이 있는 고객의 접속(도달)율은 대상자 11명중 4명으로 36.4%의 고효용 기대치를 나타냄

4. 로그인 후 행사 상품을 다시 검색해야 구매 페이지로 연결되는 Path 상의 허들 최적화 필요 

5. 목적페이지까지 단계가 총 4단계로 Path 길이 축소 필요(Path 최적화)

사실 저희가 프로모션한 상품은 비타민 C 였습니다!

해당 테스트를 통해 위와 같은 인사이트를 도출할 수 있었고 저희는 위와 같은 인사이트를 바탕으로 한 단계더 발전할 수 있을 것 같네요.

이렇게 저희가 진행했던 A/B테스트를 설명드렸습니다!

물론 처음 A/B테스트를 진행했던 점도 있고, 정확히 이렇게 하는 게 맞는 것인지 모르는 상태에서 진행하여 살짝은 부족한 점도 있을 것 같다는 생각이 드는군요..

혹여나 제 글을 보고 부족한 부분이나 잘못된 부분이 있다면 댓글로 남겨주시면 감사드리겠습니다!!ㅎㅎ

같이 발전하는 사이가 되었으면 좋겠습니다 ㅎㅎ

긴 글 읽어주셔서 감사드립니다!!

그럼 다음 글로 인사드리겠습니다~~~

:)