미래의 보물을 캐는 핵심, 빅데이터! 그 필요성과 효용가치.

◆ 빅데이터는 왜 중요한 걸까?

현시대는 급증하는 데이터로 인한 홍수의 시대라고 말할 수 있습니다. 옛날에는 단순히 기업내부에 쌓여있는 데이터만으로 기업의 의사결정을 했다고 할 수 있지요. 하지만 지금의 세계는 많은 소셜 네트워크 기업이 등장하면서 그들이 생산해내는 수많은 데이터를 가지고 모든 사업에 적극 활용할 기회가 많아진게 사실입니다. 

이렇듯 정형화 되지 않은 많은 데이터들을 분석하고 추출하여 기업의 전략과 전술 및 중요한 의사결정과 문제의 해결에 적극 활용되고 있습니다. 예시를 든다면 세계적 패션 및 의류 기업인 자라(ZARA)의 경우를 볼 수 있지요. 패션 쪽은 엄청난 마케팅 비용이 드는 사업 분야입니다. 자라는 할인행사나 그 흔한 마케팅을 하지 않고도 꾸준하게 고객들이 늘어나고 있는데요

판매하고 있는 모든 의류에 세부적인 정보를 태그에 담아 그 데이터들을 수집해서 고객들의 니즈와 경향 및 선호도를 파악한다고 합니다. 이런 데이터 분석을 통해서 실제 고객들이 입고싶고 사고싶어하는 옷들만 적재적소에 적량만 생산하는 효과를 거두고 있지요. 이런 빅데이터를 적극 활용하여 기업의 매출과 이익, 브랜드 이미지까지 모두 잡게되는 실적을 보여주고 있습니다. 시대가 변한만큼 데이터의 중요성은 미래에 더욱 절실하게 되겠지요. 

◆ 빅데이터를 주무르는 기본적인 언어인 R

이토록 중요한 데이터인 빅데이터를 어떤 식으로 다룰 수 있을까요? 그 근간에는 적합한 툴이 있는데 바로 R 이라는 소프트웨어 입니다. 통계적인 분석을 위해서, 벨연구소에서 개발한 프로그래밍 언어인데 초창기에는 S 라고 하는 언어를 모태로 만들어졌고 후에 오픈소스화되어 일반에 공개되었습니다. 많은 라이브러리를 가지고 있기 때문에 다양한 통계분석을 하기에 용이하지요. 

수많은 프로그래밍 언어들이 있지만 R은 통계에 특별히 전문화되어 있어서 초기에 접하기에는 좀 따분할 수도 있습니다. 통계라는 것이 수학적 기반을 가지고 구현되기에 그 방면 지식을 알면 접근하기에 유리하지요. 프로그램의 재미를 느끼기 보다는 많은 메시지로 구성된 데이터들을 분석해서 좋은 인사이트를 뽑아내는 것인 만큼 지루한 작업이 될 수도 있습니다. 

실제, 현업에서 구현하고 분석하는 작업은 재미로 시작해서 많은 스트레스를 유발하는 만큼 추후에 싫증과 매너리즘을 호소하는 분들도 보았습니다. 단지 유망하고 돈이 될것 같아서 시작했다가는 지레 겁먹고 이 길이 아닌가봐라는 느낌도 받을 수 있겠지요. 개발자의 입장만 잠깐 얘기했지만, 데이터를 다루는 도구로는 R만큼 최적화된 툴은 아직 없을 겁니다. 통계분석에 흥미가 있거나 관심이 간다면 한번 공부해 보는 것도 나쁘진 않겠지요. 빅데이터를 다루는 선두주자인 것만은 확실합니다. 

빅데이터를 다루어 미래의 원유를 캐자!

◆ 19세기 보물이 금광이라면 미래는 빅데이터

중국에서는 6살때 잃어버린 아들을 근 27년이나 지난 후에 다시 만난 사연이 있었습니다. 중국은 아직까지도 인신매매가 행해져서 매해 7만명 이상이 사라진다고 하지요. 그런 험학한 상황에서 중국의 네이버인 바이두사이트에서는 인공지능의 기능을 통해서, 잃어버린 아들을 만날 수 있게 되었습니다. 

중국의 정부가 소유했던 총 2천만명분의 사진, 2억장을 AI에 입력해서 학습을 시킨 결과이지요. 그렇게 등록된 사진들을 일일이 분석한후, 세월이 한참 지난 아들의 바뀐 외모까지 추측해서 만나는 결과까지 이르게 되었습니다. 이렇게 AI는 정말 못해내는 영역이 없음에 감탄을 하게 되지요. 구글도 현재 10억명의 개인정보 데이터를 활용하는 걸로 알려져 있습니다. 개인정보가 누출되는 것은 기분이 나쁘지만, 그 데이터를 가지고 보다 큰 일들을 해내는 기술의 발전에는 가히 찬성의 표를 던지고 싶습니다. 

인공지능의 한가지 특별한 장점이자 기술은 바로 예측과 추측인데요. 우리나라의 거대 해운사인 한진해운의 경우도 부도의 예상감지를 이미 독일의 물류회사인 DHL에서는 4개월전에 알고 있었다고 합니다. 이것도 AI로 분석해 낸 결과이지요. 물류의 경고 서비스를 개발하던 중 물류 배송의 지연과 노동파업 등의 데이터를 관찰하면서 알게 된 것입니다. 이렇듯 인공지능 기술은 한 회사의 파산여부까지도 미리 예측하여 경제의 흐름까지도 철저하게 분석해내는 결과를 보여주네요. 

◆ 예측의 기술은 치매 진단 시스템의 영역까지 확장됨.

일본에서는 트위터의 수백만건의 메시지들을 수집 분석해서 특정 질병의 감염 경로를 추적하는 연구까지 진행중이라고 합니다. SNS상에서의 문자들의 문맥들을 분석해서 국가에서 경과를 발표하는 기간보다 2주일이나 더 빨리 그 현상을 파악할 수 있다고 하네요. 이처럼, AI의 특기인 예측기술은 우리의 질병예방에 획기적인 도움을 줄 수 있습니다. 

위의 연구를 진행했던 교수는 미래 고령층의 인구가 점점 많아지고 특히, 치매 인구가 급증할 것을 우려하여 인공지능을 활용한 치매 진단 연구에 뛰어들었다고 합니다. 현 시대의 각종 데이터들은 20세기의 원유와 같은 소중한 자원임이 분명해졌네요. 금광을 캐러 모여들었던 골드러시가 이제 미래에는 빅데이터를 캐는 모습으로 바뀌었습니다. 앞으로 닥칠 사회의 문제들을 인공지능이 해결할 수 있다는 벅찬 기대감이 드는 이유입니다. 

◆ 넷플릭스에서 빅데이터 활용의 좋은 사례

현재 전세계적으로 어려운 사업환경 속에서도 승승장구하고 있는 기업이 있으니 바로 넷플릭스입니다. 매출이 오히려 계속 늘어나 다른 기업과는 희비가 엇갈리고 있는데요. 이런 잘 나가는 거대기업도 빅데이터를 이미 활용하고 있다고 하지요. 아담 샌들러라는 배우와 4편이나 되는 영화를 거액으로 계약을 했는데 이는 AI를 이용한 데이터로 앞으로도 지속적인 흥행을 할 배우라고 분석이 나왔다고 합니다. 

코미디언의 이미지로 이제는 왠지 인기가 사그러질 듯 한데 인공지능은 후한 결과가 나왔나 봅니다. 지금의 넷플릭스가 있게 만든 인기 드라마 하우스 오브 카드도 방영되기전 시뮬레이션 결과 흥행을 점쳤다고도 하지요. 영화의 흥행예측은 전에도 한번 포스팅을 했지만, 바로 넷플릭스에서 이렇게 적용하고 있을 줄은 몰랐었는데 더욱 놀랍습니다.