지난 칼럼에서 TEST&LEARN(가설검증)이 무엇인지 알아보고, 왜 해야 하는 것인지 필요성에 대해 알아보았습니다. 혹여 지난 칼럼을 못 보셨다면, 꼭 챙겨서 보시길 바랍니다! 이번 칼럼에서는 제목과 같이 2015년 TEST&LEARN 사례를 통해 가설검증이 무엇인지 알아보도록 하겠습니다. 아마도 이 글을 읽으시는 분들의 업무와 관련된 이야기들이니 조금은 더 피부에 와 닿을 것이라고 생각합니다.

그럼 2015년 실험한 과제를 살펴보도록 하겠습니다

제주도에는 제주도 투어의 필수코스라고 할 수 있는 자랑스러운 다원이 있습니다. 그리고 '오설록 티뮤지엄'이 있습니다. 이 티뮤지엄을 방문해 오설록을 경험하는 고객들이 무수히 많이 있는데요. 그들이 다시 내륙에 있는 오설록 티하우스를 방문하는 사람들은 18.8%에 불과했습니다. 오설록 티뮤지엄을 통해 오설록에 대해 좋은 경험을 가진 고객들을 티하우스로 이끌지 못 한다는 것은 오설록 Div. 입장에서도 아쉬운 일이죠.

그래서 제주 티뮤지엄 경험 고객들을 타겟으로 여행에서 돌아와 내륙의 티하우스를 방문하게 하는 방안을 주제로 선정하였습니다.

'오설록 티뮤지엄 경험 고객들의 티하우스 재구매 유도'라는 과제를 선정했으니, 이제 test할 X변수를 선정해야겠죠? 고객들과 커뮤니케이션을 mDM(Mobile Direct Mail: 연결 가능한 웹주소가 있는 문자메시지)로 진행하는 것으로 방식을 선정했고, 변수를 2가지를 선정했습니다. 변수 1) 고객들의 마케팅메시지 수신 Sign Up 유/무(Pos에서 해당 건의 마케팅 문자 받을지 여부를 고객에게 동의를 묻는 절차) 2) mDM 시안 Variation (①티하우스 이미지, ②제주 이미지)이었습니다.

여기서 우리가 알아야 하는 것은 왜 2가지 변수를 선정했는지 입니다.

1) 고객 Sign up → '고객의 Engagement 증대'
티뮤지엄에서 제품 구매를 한 고객들에게 마케팅 문자를 받을지에 대한 여부를 다시 한번 묻는 절차입니다. 고객들에게 마케팅 메시지가 전달된다는 사실을 재확인하는 과정을 통해 동의한 고객들은 티하우스 내점이 더 많을 것을 기대한 것입니다.

2) mDM 시안 Variation → '더 효과적인 컨텐츠 찾기'
①티하우스 이미지, ②제주 이미지를 통해 고객들에게 티하우스의 이미지를 노출하는 것과 고객들이 좋은 추억을 가졌을 제주의 이미지를 노출하는 것 중 어떤 시안이 더 효과적 일지를 검증하는 것입니다.

위와 같이 과제를 선정하고 가설을 수립하여 실험을 진행했습니다. 그리고 그 결과를 분석하는 절차를 걸쳤습니다. 이처럼 가설검증을 진행할 때, 항상 비교를 할 수 있는 대조군을 둡니다. 오설록의 경우는 변수의 영향이 없는 대조군과 두 가지 변수를 통해 2x2의 실험 결과도 비교하게 됩니다.

▶ 결과 1. 대조군과의 비교
대조군은 티뮤지엄의 구매 이력은 있지만, Sign도 mDM도 받지 않은 고객입니다. 실험군 전체 구매율이 16.7%, 대조군 구매율 5.4%로 티뮤지엄 고객대상 마케팅 커뮤니케이션 진행시의 효과성이 검증되었습니다.

▶ 결과 2. Sign-Up 효과성 비교
마케팅 메시지 수신 의사를 밝힌 고객은 mDM 링크 클릭율이 41.6%로 동의하지 않은 고객보다 높았습니다. (mDM의 일반적 클릭율은 약 10% 수준) 하지만 수신 의사가 없는 고객들의 구매율/쿠폰 사용율이 Sign Up에 동의한 고객 대비 높게 나타났습니다. 결과값이 이상하여 과거 이력을 추가 분석하니 Sign Up 하지 않은 고객의 RFM(Recency, Frequency, Monetary) 모두 높게 나타났습니다. 즉, 로열티가 높은 고객은 Sign 참여를 안 했다는 것이었습니다.
Sign-Up의 유무 변수에서 고객들의 과거 RFM 분석을 통해 고객 Engagement에 영향을 미치는 요소 파악할 수 있었습니다.

▶ 결과 3. 커뮤니케이션 컨텐츠 이미지 효과성 비교
제주를 상기시키는 문구와 이미지가 고객 클릭율은 높았지만, 티하우스 이미지가 오설록 경험고객에게 더 효과적이었습니다. 고객들의 반응을 더 이끌어 낼 수 있는 커뮤니케이션 컨텐츠를 검증했습니다.

지금까지 오설록의 '15년 가설검증과제를 단계별로 살펴보았습니다. Test&Learn을 통해 대조군, 다른 변수들과의 비교가 없었다면 제주에서 오설록을 경험한 고객들을 어떻게 관리했을까요? 막연하게 추정하고 실행했을 것들을 우리는 가설검증 프로세스를 통해 데이터를 검증하고 의사 결정하여 전략방향을 설정할 수 있습니다.

추후 고객들에게 주는 Offer, 컨텐츠 종류, 커뮤니케이션 시점, 커뮤니케이션 매체, 실험 프로세스 등 다른 변수들도 테스트해 나간다면 감히 이보다 더 좋을 수 없다라고 할 수 있는 방안을 찾을 수 있지 않을까요?

다음 칼럼에서는 좀 더 다양한 사례를 통해 만나 뵙도록 하겠습니다. 감사합니다.