그 동안 칼럼을 통해서 성공적으로 빅데이터를 활용한 비즈니스 사례들을 많이 만나보셨는데요. 이번에는 반대 방향에서 한번 살펴보시죠! 빅데이터가 빠르게 변화하는 비즈니스에서 매우 강력한 도구인 것은 사실이지만, 그렇다고 모든 문제를 해결하거나 답을 줄 수 있는 마술지팡이는 아닙니다. 실제로 빅데이터 분석을 기반으로 내린 오판으로 인해 기업이 내리막길을 걷게 되는 경우도 있었는데요.

 덴마크에서 시작된 세계적인 완구회사 레고(LEGO)는 1980~90년대에 이르러 PC 또는 닌텐도 등의 휴대용 게임에 밀려 실적이 악화되자 빅데이터를 기반으로 위기를 극복하려는 시도를 했다고 합니다. 그 결과, AP에서도 요즘 집중하고 있는 '밀레니얼 세대'들은 인내심이 부족해 즉시 얻을 수 있는 만족감을 선호하고, 기존의 레고 제품에는 비디오 게임 대비 매력을 느끼지 못한다는 결론을 내렸습니다.

 이에 2003년, 레고는 블록의 크기를 키워서 더 쉽게 완성할 수 있도록 만들었다고 하는데요. 하지만 예상과 달리 매출은 전년 대비 30%까지 급감하며, 오히려 2004년 회사는 채무 불이행으로 부도 위험에까지 이르게 됩니다. 위기의 레고를 반등하게 한 것은 오히려 '스몰데이터'였다고 합니다.

 지상 최고의 브랜딩 전문가라고 여겨지는 마틴 린드스트롬(Martin Lindstrom)의 최근 저서 <스몰데이터>에서도 해당 내용에 대해 소개하고 있는데요. 그가 말하는 스몰데이터는 가까이에서, 그리고 깊숙하게 상대를 관찰하는 데서 시작됩니다. 이는 고객과 만나 인터뷰를 진행하는 익숙한 형태일 수도 있지만 삶의 환경(집 안이나 사무실)에 직접 관여하여, 냉장고나 서랍을 열어보거나 심지어 쓰레기통을 뒤지기도 합니다. 즉, 스몰데이터는 그 어떤 제약도 경계도 없는 방식으로 현실을 보다 잘 파악하는 방법이라고 볼 수 있겠습니다.

 그가 말하는 위기의 레고를 살린 것은 어느 독일 소년의 낡은 운동화였다고 합니다. 당시 독일 중소 도시에서 진행했던 밀레니얼 세대들의 행동 양식을 파악하기 위한 연구에서, 11살의 레고광이자 스케이트보더였던 소년은 가장 자랑스러운 물건을 묻는 질문에 낡은 운동화 한 켤레를 들어보였다고 하는데요. 소년은 이 운동화가 자신에게 금메달과 같다고 말했다고 합니다. 도시 최고의 스케이트보더가 되기 위해 노력해온 과정이 고스란히 묻어나는, 어른들은 아무도 거들떠보지 않을 낡은 운동화를 보물이라 말하는 소년을 보고 레고 팀은 앞으로 가야할 방향에 대한 단서를 얻었다고 합니다. 그 단서는 밀레니얼 세대들은 쉽고 즉각적인 만족감을 추구할 것이라는 생각과 달리, 어려운 것을 해내기 위해 끈질기게 매달리는 과정에서 가치를 찾는다는 점입니다.

 이번에는 오래된 영화를 하나 이야기해볼까 합니다. 무려 15년 전 개봉한(이 글을 쓰면서 새삼 알게 되었는데, 시간이 정말 빠르네요.) 톰 크루즈(Tom Cruise) 주연의 <마이너리티 리포트>입니다. 영화의 배경은 2054년, 범죄를 예측하는 '프리크라임' 덕분에 범죄를 저지를 것으로 예측된 사람들을 미리 체포하여 안전한 도시가 된 워싱턴입니다.

 영화는 프리크라임을 담당하는 존(톰 크루즈 역)이 범죄자로 예측되면서 시작되는데요. 영화에서 범죄를 예측하는 근거는 데이터가 아니라 실재하는 예언자라는 점에서 빅데이터와 다소 다를 수 있지만, 영화 전체를 흐르는 '예측'이라는 관점에서 같게 본다면 주인공으로서는 억울할 수밖에 없는 일입니다. 살인은 꿈도 꾸지 않았던 내가, 프리크라임을 담당하는 팀장이 살인자로 지목된다니요! 영화에서처럼 체포의 근거로까지 활용되는 것은 아니지만, 실제로 미국 일부 도시에서는 CCTV와 GIS, 범죄기록 등을 활용한 범죄 예측을 도입하고 있다고 하니 마냥 허구적인 상상 속 이야기만도 아닐 것 같네요.

 그래도 조금 멀어 보인다면, 더 현실적인 예를 살펴볼까요? 평범하게 출근한 어느 날, 갑자기 회사에서 메일로 나에게 "빅데이터로 예측한 결과, 당신이 이직할 확률은 회사 내 상위 10%입니다."라고 통보한다면 기분이 어떨까요? 더구나 나는 이직이나 퇴사를 고려한 적이 단 한번도 없었다면요? 실제로 세계적인 PC제조사 휴랫패커드(HP)는 20%나 되는 높은 퇴사율 때문에 고민하던 끝에, 데이터 분석 기반으로 퇴사를 예측하는 모델을 개발했다고 합니다.

 이렇게 아직 일어나지 않은 미래에 대한 예측이 아니라, 아직 알려지지 않은 과거나 현재의 사실을 발견해내는 것은 빅데이터에게 더욱 손쉬운 일입니다. 미국의 대형마트 Target은 구매 데이터를 기반으로 부모에게도 숨겼던 여고생의 임신을 먼저 예측해내어 쿠폰을 발송하는 바람에 시장을 발칵 뒤집어놓기도 했죠.

 위에서 언급한 사례들을 보며 느끼셨겠지만, 빅데이터에 기반한 예측이나 대응에는 간과해서는 안될 그림자가 있습니다. 빅데이터 초기부터 지적되었던 개인의 사생활 문제는 물론이고, 분석 모델을 활용할 경우 예측 오류로 인해 발생할 수 있는 불가피한 피해를 반드시 고려해야 합니다.

 특히 이렇게 내 의도와 관계없이 나의 행동을 예측하거나, 마케팅의 대상으로 삼는 스트레스에서 벗어나기 위해, 그리고 프라이버시에 대한 우려로 최근 페이스북 이용자 중 4명 중 1명은 가짜 데이터를 입력하거나 정보를 숨긴다고 하는데요. 어쩌면 빅데이터의 빛을 너무 맹신한 결과, 그림자가 빛을 덮어버리게 하는 것은 아닌지 돌아보는 시간이 필요할 것 같습니다.

 빅데이터가 부상하면서, 지적되어온 문제 중에서 또 다른 하나는 빅데이터가 상관관계를 파악하는데 매우 강력한 도구이지만 인과관계를 해석하기에 어렵다는 점입니다. 이는 사실 빅데이터를 활용하는 현장에서 발견되는 심각한 문제의 한 부분이라고도 볼 수 있는데요. 'Data Driven'을 강조하면서 빅데이터를 전면에 내세우지만 아직 기존의 문화나 의사결정방식을 버리지 못하고 데이터는 '구색맞추기'로만 활용하는 회사들이 자주 직면하는 문제이기도 합니다. 특히 데이터에서 출발하여 비즈니스 의사결정을 향하는 것이 아니라, '미리 의도한' 결론을 뒷받침하기 위해 분석 결과를 일부 활용하려는 경우 상관관계와 인과관계의 함정에 빠질 가능성이 매우 높은데요. 아래의 그림을 보시면 아마 한 눈에 이해하실 수 있을 것 같습니다.

 위 그림의 왼쪽 이미지에 나타났듯이, 발 사이즈와 독해점수는 분명한 양(+)의 상관관계가 있습니다. 하지만, 이를 우측 그림처럼 발이 커지면 독해력이 좋아진다는 원인-결과로 해석하는 것은 누가 봐도 확연한 오류입니다. 이와 비슷한 유명한 예시가 있는데요. 날씨가 더워지면 아이스크림 판매량이 높아진다고 합니다. 그리고 날씨가 더워지면 빈번한 물놀이 사고로 인해 익사자가 많아진다고 하네요. 그럼 아이스크림 판매량과 익사자 수를 살펴보면 어떨까요? 상관관계는 물론 아주 높게 나올 수밖에 없습니다. 하지만, 이를 근거로 아이스크림이 많이 팔리면 익사자가 늘어난다고 말할 수 있을까요?

 물론 이것은 매우 극단적인 사례이지만, 의외로 우리가 가지고 있는 선입견이나 그 동안의 경험 때문에 상관관계를 인과관계로 해석하는 경우를 종종 볼 수 있습니다. 사실 인과관계는 매우 치밀한 근거와 통계적인 방법에 의해 밝혀져야 하는 것으로 쉽게 결론 내릴 수 없는 영역인데요. 늘 '인과관계는 존재하지 않는다'는 당연함에 대한 의심을 품고 시작하는 것이 이런 오류를 막기 위한 가장 쉬운 방법입니다.

 특히 단순히 현상을 해석하는 것이 아니라, 의도한 바와 노력이 있었던 비즈니스에서의 시도와 결과를 해석하는 데 있어서는 더더욱 객관적인 관점에서 이 결론이 과학적으로 검증되었는지 되돌아볼 필요가 있습니다. 빅데이터가 보여주는 큰 흐름과 상관관계를 단순히 직관이나 경험에 기대어 해석하거나, 업무적으로 쏟은 노력에 대한 보상을 위해 긍정적으로만 이해하려 한다면 데이터 기반이 아닌 기존의 '직관적 의사결정'과 과연 어떤 차이가 있을까요?

 빅데이터 분석을 위해 많은 전문가들은 '측정할 수 있는 모든 것을 측정하라, 측정할 수 없는 것은 측정할 수 있도록 바꿔라'라고 이야기합니다. 이는 데이터를 확보하는 것이 다음 단계인 분석으로 나아가는 데 필수적인 단계임을 알고 있기 때문인데요. 그렇다면 분석의 다음 단계는 무엇일까요? 분석 결과를 잘 활용하는 것일까요? 활용은 대체 무엇을 목적으로 해야할까요? 구글에서 빅데이터를 활용하는 좋은 목적의 예를 한번 배워보려고 합니다.

 2012년 구글은 'M&M Problem'에 봉착하게 됩니다. 구글과 M&M 초콜릿, 이 다소 생소한 조합은 구글의 공동창업자였던 세르게이 브린(Sergey Brin)의 지시에 따라 사무실의 간이카페에서 제공되던 간식 때문에 발생한 문제인데요. 직원들이 초콜릿이나 탄산음료 등 열량과 당분이 과도한 간식을 많이 먹으면서 건강과 행복을 해친다고 판단한 구글은 'Project M&M' 팀을 구성해서 간식 이용패턴을 분석하기 시작했다고 합니다.

 직원들의 식습관을 데이터화해서 확보하고 이를 분석한 결과, 초콜릿은 불투명한 용기에 담아서 보이지 않게 하고 견과류 등 건강한 간식은 투명한 용기에 담았습니다. 몸에 좋지 않은 탄산음료는 꺼내기 힘든 냉장고 아래쪽에, 눈에 띄는 높이에는 생수를 비치했다고 하는데요. 이런 작은 조치들을 적용한 결과 생수 소비는 절반이나 증가하고, 당류 소비량은 감소하는 등 7주의 기간 동안 뉴욕 사무실 직원들은 총 310만 칼로리나 덜 섭취했다고 합니다.

 다양한 시사점과 논란이 있는 사례이긴 하지만, 분석의 시작부터 끝까지 이를 관통한 목적에 집중해보려고 합니다. 이 프로젝트팀의 목적은 내부 고객인 '직원들의 건강과 행복을 증진하는 것'이었습니다. 만약 팀의 목표가 당류섭취량 20% 감소였다면 어떻게 됐을까요? 초콜릿 통을 여는 횟수를 50% 줄이는 것이라면요? 과연 성공할 수 있었을까요? 그리고 만약 성공했다면, 뒤늦게 이를 알게 된 직원들이 과연 자기도 모르게 참여된 놀라운 결과에 즐거워했을까요?

 전문가들은 기업이 빅데이터를 활용하여 비즈니스를 성공적으로 이끌기 위해서는 그 목적이 '고객을 이롭게 하려는 것'이어야 한다고 강조합니다. 많은 경우 기업들은빅데이터를 활용하면서 단기적이고 측정 가능한 목표을 세웁니다. '방문자 수', '구매고객 수', '매출' 등 기존에 널리 사용되어왔던 비즈니스 지표들을 향상시키기 위해 빅데이터를 도구로 쓰는 셈인데요. 물론 목표를 수립하고 이를 관리하는 것은 당연히 필요한 절차이지만, 현실에서는 오히려 여기에 매몰되거나 주객이 전도되는 문제들이 비일비재하게 발생합니다.

 단기적으로 고객을 현혹시키는 전략, 등을 떠밀어 선택지가 없는 절벽에 두고 마치 고객의 '자발적 선택'인 것처럼 포장하는 마케팅을 위해 빅데이터를 활용한다면, 결국 장기적으로는 충성도 하락의 역풍을 맞게될 것이라고 많은 전문가들이 경고합니다. 사실 단기적인 목표를 바라보고 전력으로 질주하고 쉬는 것이 어쩌면 쉬워 보이고, 빠른 시간에 성취감도 얻을 수 있어 더 욕심날 수 있습니다. 하지만 마라톤에서 페이스 조절이 완주의 핵심이듯, '고객을 이롭게 하는' 골인지점을 바라보면서 꾸준하게 달리는 것이 같은 거리라면 더 빨리 가고, 같은 시간이라면 더 멀리 갈 수 있는 비결이 아닐까요?

 이번에는 온라인이라는 특성을 활용해 '빅데이터'와 '스몰데이터'의 장점을 두루 갖춘 기법인 A/B Testing에 대해 이야기하려고 합니다. 이미 수년 전부터 많이 들어보셨을 용어인데요. A/B Testing은 Split Testing이라고도 불리며, 주로 웹사이트 또는 모바일 어플리케이션에서 2개의 안(案)을 비교하여 더 좋은 효과를 보이는 것을 탐색하는 방법을 말합니다. 이는 2개 또는 그 이상의 Variation으로 확장하여 A/B/n Testing으로 진행되는 경우도 많이 있습니다.

 기술적으로는, 사용자들이 웹사이트에 접속하거나 어플리케이션을 실행할 때 랜덤하게 각 Variation에 배치되고, 의도했던 사용자들의 반응을 측정하여 통계적으로 유의미한 차이가 있는지를 판단하는 방식으로 이루어지는데요. A와 B 두 개의 Variation을 균등하게 분배하는 Test의 경우 아래와 같이 진행된다고 볼 수 있습니다.

 이런 A/B Testing의 장점은 실제 사용자를 대상으로 한 선호도 조사이기 때문에 직관적이며 결과를 쉽게 이해할 수 있다는 점입니다. 기존에는 마케팅 담당자나 디자이너의 주관•경험 등에 의해 결정되었던 웹사이트의 구조, 흐름, 디자인, 텍스트 등 모든 것들이 A/B Testing의 대상이 될 수 있습니다. 실제로 이를 사용할 고객이 선호하고 편하게 생각하는 방식으로 변화해간다는 점에서 A/B Testing의 핵심은 '고객이 결정한다'는 사상으로도 설명할 수 있을 것 같습니다.

 검색 결과를 어떻게 제공하는 것이 최적인지를 결정하기 위해 A/B Testing을 처음 도입한 구글은, 2011년 한 해에만 7,000회 이상의 Test를 진행했다고 합니다. 아마존이나 이베이, 페이스북 등 시장을 선도하는 대다수의 기업들은 이렇게 실험 기반으로 비즈니스를 이끌어왔으며 지금도 수없이 많은 Test가 진행되고 있는데요. 특히 이런 A/B Testing이 문화에 스며들어 있는 회사들의 경우, 단순한 웹페이지 변화가 아니라 상품, 사업영역 등 비즈니스 전반에 걸쳐 실험을 기반으로 끊임없이 움직이고 있습니다.

 첫 칼럼에서 소개했던 책 <상상하지 말라>에서 알 수 있듯, 빅데이터는 고객과 시장을 보다 잘 '관찰'할 수 있게 해준다는 점에서, A/B Testing 역시 '관찰'과 '선택'을 돕는 도구로 점점 더 중요성이 높아지고 있습니다. 우리 회사에서도 이런 A/B Testing과 실험 문화의 확산을 목표로 올해 Optimizely 라는 A/B Testing 솔루션을 도입하기도 했는데요. 내년에는 사내에서 다양한 사례를 공유하기 위한 행사도 진행할 예정이라고 하니 각 자리에서 많은 관심과 의견을 부탁드립니다.

 이번 칼럼을 마지막으로 연재를 마칩니다. 처음에 가졌던 의욕과 노력을 과연 마지막까지 유지했는지, 돌아보면 아쉬움이 남네요. 빅데이터를 말랑말랑하게 소개해드리려던 목표를 달성했다고 평가하기는 어렵지만, 부족한 칼럼을 늘 읽어주시고 응원해주신 분들께 이 자리를 빌어 감사의 말씀을 드립니다.

 연재된 내용 중에 '지금은 빅데이터 활용을 할 것인가 말 것인가를 선택하는 상황은 아니다. 하지 않는 선택은 없다'는 말씀을 드렸던 적이 있는데요. 수년 전에 읽었던 이야기 중에서 인상 깊었던 내용이 지난번 드린 말씀과도, 그리고 빅데이터에 있어서 우리 회사가 처한 상황이나 고민과도 맞는 부분이 있어 마지막으로 소개해드리며 인사를 드립니다. 출발 총성을 놓쳐 늦었다고 생각하는 그 때, 출발하면 됩니다. 50m 경주가 아니라, 마라톤이니까요.

50세인 미국의 한 중년남자가 친한 친구에게 자신의 고민을 털어놓았습니다..
"나는 변호사가 되고 싶은데,
지금 시작해도 로스쿨을 마치려면 5년이나 걸려서 내가 55세가 될걸세."
그 이야기를 들은 친구가 반문했습니다.
"자네가 로스쿨에 안 가면, 5년 후에는 몇 살이 될건데?"

 그 동안 재미있게 읽어주셔서 감사합니다.