머신 러닝과 딥 러닝은 데이터를 기반으로 반복적인 학습을 수행해 점점 더 정답에 가까워지는 모델(함수)을 만드는 것을 말합니다. 결국 데이터를 학습하고, 데이터를 기반으로 만들어진 모델이기 때문에 데이터에 따라 엄청나게 결과가 다를 수 있습니다. 따라서 양질의 데이터가 훌륭한 머신 러닝과 딥 러닝의 결과물을 만들어낸다고 해도 과언이 아닙니다. 그럼 양질의 데이터란 무엇일까요? 양질의 데이터란 두 가지 관점으로 볼 수 있습니다. 첫 번째는 데이터의 품질(Data Quality)과 두 번째는 데이터의 양(Data Volume)입니다. 첫 번째 데이터의 품질에 대해 아마존 사람들을 만나 좋은 데이터란 무엇인지 문의한 결과, "좋은 데이터란 연속성이 있어야 하고, 누락되지 않아야 하며, 일관성이 있어야 한다"고 했습니다. 또한 "머신 러닝 또는 딥 러닝을 통해 풀고자 하는 문제에 대한 데이터가 잘 갖춰져야 한다"고도 했습니다. 두 번째는 데이터의 양입니다. 머신 러닝과 딥 러닝을 위해서는 엄청나게 많은 데이터가 필요합니다. 이미지를 분류하는 모델을 만든다고 가정할 때, 분류하고자 하는 개수에 따라 하나의 대상의 수에 따라 다를 수 있지만 이미지가 수십에서 수백 장 필요합니다.

 앞서 말씀드린 이 두 가지를 만족하는 양질의 데이터를 현실 세계에서 얻는다는 것은 매우 어려운 문제입니다. 데이터 수집은 한순간에 가능한 것이 아니고 많은 시간과 노력을 들여야 하며, 이를 위해 많은 자원 또한 필요합니다. 그리고 현재 '데이터=경쟁력과 자산'임을 모든 기업들이 인지하고 있기 때문에 외부에서 데이터를 얻기 위해서는 역시 많은 돈을 지불해야 할 정도로 데이터의 중요성은 점점 더 커지고 있습니다.

 머신 러닝과 딥 러닝을 위해서는 반드시 데이터 전처리 작업이 필요합니다. 데이터 전처리 과정을 간단하게 요약하면 데이터 이해 및 분석, 데이터 정제, 데이터 변환, 데이터 포매팅 작업을 수행하게 됩니다. 데이터 이해 및 분석을 위해서는 해당 도메인에 대한 사전 지식이 필요하며, 이를 기반으로 데이터의 의미를 이해하고 분석하는 작업을 거칩니다. 실제로 이 기간이 상당히 많이 필요하고 데이터에 대한 이해와 분석이 끝난 후에야 불필요한 데이터를 삭제하거나 기존의 데이터를 기반으로 의미가 있을 것으로 생각되는 새로운 데이터 항목(Feature)을 추가하는 작업 등을 수행합니다. 그리고 누락된 데이터의 값을 채우거나 데이터 값의 변동폭이 클 경우 변동폭을 줄이기 위한 정규화 작업 등을 수행하고, 문자로 되어 있는 데이터를 전부 숫자로 변환합니다. 그 이유는 머신 러닝과 딥 러닝은 숫자에 대한 연산을 수행하기 때문에 문자를 숫자로 변환해줘야 합니다. 그리고 마지막으로 해당 데이터를 머신 러닝에 맞는 형식으로 데이터의 포맷을 맞추는 작업을 합니다. 이 기간이 데이터 품질에 따라 다르지만 머신 러닝과 딥 러닝을 위한 작업 중 상당한 비중을 차지합니다. 그리고 머신 러닝과 딥 러닝의 결과물이 좋지 못하면 다른 방법을 시도할 수 있는데 이때 다시 일부 데이터의 전처리 작업이 필요합니다.

 문제를 해결하기 위한 머신 러닝과 딥 러닝의 솔루션이 하나인 것은 아닙니다. 이를 해결하기 위한 매우 다양한 솔루션이 존재합니다. 예를 들어 스팸 메일과 일반 메일을 구분하는 모델을 만든다고 가정할 때 이를 해결할 수 있는 방법은 꽤 다양할 수 있습니다. 대표적으로 XG-Booster, Decision Tree, Support Vector Machine, K-NN(Nearest Neighbor) 등의 솔루션을 꼽을 수 있습니다. 솔루션을 선택한 후에도 더욱더 많은 레시피가 남아 있습니다. 이 같은 레시피 중 대표적으로 과거의 경험이나 노하우를 기반으로 사람이 값을 정해야 하는 것들이 있는데 그것을 하이퍼 파라미터(Hyper Parameter)라고 부릅니다. 하이퍼 파라미터의 값은 사람이 모두 지정해야 하는데 그 값에 대한 조합의 경우의 수가 어마어마하게 다양하고 그 값에 따라 머신 러닝의 결과물도 달라집니다. 따라서 적절한 하이퍼 파라미터에 대한 값과 조합을 찾는 것은 매우 많은 시행착오를 겪어야 하고, 유사한 문제에 대한 노하우가 축적되어야 조금 더 빠르게 문제를 해결할 수 있습니다.

 머신 러닝과 딥 러닝의 문제로 많이 지적되는 것 중 또 하나는 해당 레시피의 결과가 최적의 결과를 보장하느냐입니다. 이를 다른 용어로 글로벌 미니멈(Global Minimum)이라고 합니다. 이는 전체 데이터를 학습하는 과정(답을 잘 예측할 수 있게 하는 과정)에서 최적의 결과에 도달했다는 의미입니다. 그런데 머신 러닝과 딥 러닝은 글로벌 미니멈이 아닌 일부 데이터에 최적화된 결과(Local Minimum)를 내놓기도 하고 혹 글로벌 미니멈에 도달했다고 하더라도 이를 설명하는 것은 불가능합니다. 따라서 해당 모델의 결과가 비즈니스적으로 의미가 있는지 없는지는 결국 비즈니스상에서 해당 모델의 결과가 수용 가능한지의 여부에 따라 결정된다고 할 수 있습니다.

 앞에 데이터와 관련해서 말씀드렸듯이 머신 러닝과 딥 러닝을 위해서는 상당히 많은 데이터가 필요합니다. 따라서 이러한 다수의 데이터를 학습하기 위해서는 시간 역시 많이 필요합니다. 풀고자 하는 문제의 종류에 따라 다르지만 이미지를 식별하는 모델을 만든다고 가정하면 이를 위해 매우 고가인 GPU(Graphics Processing Unit) 장비가 필요하고, 이 GPU 장비를 사용해서 학습할 때도 짧게는 몇 시간에서부터 길게는 며칠이 소요되기도 합니다. 학습 후 해당 결과가 만족스러우면 다행이지만 그렇지 않을 경우, 다시 레시피를 조합해 학습해야 합니다. 물론 재학습을 한다고 해서 결과가 만족스러울지는 장담할 수 없습니다.

 머신 러닝과 딥 러닝 중에서 결과를 쉽게 해석할 수 있는 모델(Decision Tree 등)이 많지 않은 게 사실입니다. 지도 학습(Supervised Learning)*과 비지도 학습(Unsupervised Learning)* 모두 마찬가지인데요. 이 중에서 특히 딥 러닝의 경우, 결과에 대한 이유를 해석하는 것은 사실상 불가능한 상황입니다. 그 이유는 딥 러닝의 은닉 층(Hidden Layer)이라 불리는 곳의 연산 결과가 블랙박스와 같기 때문입니다. 이로 인해 왜 모델이 이러한 결과를 내놓았는지 알 수 있는 방법이 없습니다. 실제로 아마존 담당자에게 들은 이야기로는 딥 러닝 모델을 통해 학습하고 결과를 검증하는 시간보다 결과가 왜 그렇게 나왔는지 해석하고 분석하는 데 더 많은 시간과 노력을 쏟는다고 했습니다. 이로 인한 문제 때문에 현재 설명이 가능한 AI(Explainable AI)에 대한 연구가 활발하게 진행되고 있지만 아직 초기 단계인 것으로 보여 좀 더 시간이 필요하지 않을까 하는 생각이 듭니다.

- 지도 학습(Supervised Learning)* : 이미 알려진 사례를 바탕으로 일반화된 모델을 만들어 의사 결정 프로세스를 자동화하는 학습 방식(예, 기계에 스팸 메일과 일반 메일을 분류하는 학습을 시키고, 향후 새로운 메일이 왔을 때 과거의 경험을 기반으로 스팸 메일과 일반 메일을 분류하는 방식)
- 비지도 학습(Unsupervised Learning)* : 지도 학습과 달리 답을 제공하지 않으며, 주로 데이터 사이의 상관관계나 데이터가 어떻게 구성되었는지를 알아낼 때 많이 사용되는 방법(예, 클러스터링)