<오늘의 보안이야기 No.25>
데이터의 중요성은 앞으로도 점점 강조되겠지만, 먼저 선행되어야 할것은 데이터에 대한 이해가 필요하다.
기업에서 데이터에 단순히 데이터를 보유하는 것이 중요한 것이 아니라 판별할 수 있는 능력이 필요하며, 추출해 낼 수 있는 기술이 필요하기 때문이다.
자료와 뽑을 수 없는 자료에 대한 인식이 필요하다. 실제 많은 데이터를 보유하고 있다고 하더라도 이것은 착각일 수 있다. 생각했던 것보다 필요한 데이터는 적을 수도 있기 때문이다.
빅데이터도 이런 관점에서 현업주도의 입장에 서야하며, IT는 신기술 가이드와 지원부서로의 역할에 충실해야 한다.
직접 고객을 상대하는 기업에서 이런 정도의 분석 을 가지고 전략을 세우거나 전술을 펴는게 그다지 도움이 될 것 같지는 않다.
빅데이터를 추진함에 있어 여러가지 후유증이 발생한다.
첫번째, 일반적인 추출, 변형, 적재(ETL, Extraction, Transformation, Load) 과정은 전통적 관계형 데이터베이스 관리 시스템(RDBMS, Relational DataBase Management System) 데이터 웨어하우로부터 하둡 클러스터(Hadoop cluster)로 빅 데이터를 로드한다. 수집되는 데이터 대부분이 비정형 데이터이기 때문에, 시스템은 데이터를 정형화하는 과정을 거치게 되고, 이어서 그것을 관계형 데이터베이스나 BI 애널리스트, 또는 하둡 구동을 통해 저장, 참조, 복구 등을 담당하는 또 다른 데이터 웨어하우스로 전달한다. 그리고 이 모든 전달 과정은, 각각의 취약성을 안고 있다.
두번째, 예전에 생각하지 못했던 새로운 데이터가 생성되고, 데이터양은 많아졌지만, 정작 이를 분석해서 새로운 비즈니스 이슈를 도출해 내는 데 있어서의 확신은 서지 않는다는 것이다. 확신이 있어야 프로젝트를 추진할 수 있다는 것이다. 물론 이에 비해 제조분야에서는 수율 관리를 위해 벌크 데이터를 운영함으로써 효과적으로 활용하는 부분은 있다.
단순히 생성되는 데이터가 많고, 비즈니스 기회가 있다고 해서 프로젝트가 이뤄지는 것은 아니라는 것. 목적이 없는 분석은 비즈니스에 아무런 도움이 되지 않는다는 것이다. 물론 CRM 영역에 있어서는 과거에 비해 많은 효과를 보고 있다.
데이터 폭증을 대비하라는 말은 여기저기서 쏟아지는데, 고객들은 혼란스럽다. 빅데이터와 관련된 전략만 난무할 뿐 빅데이터가 무엇인지, 빅데이터를 가지고 무엇을 할 수 있는지에 대해서는 제대로 알려지지 않고 있기 때문이다.
물론 빅데이터 성공사례이니 예를들어놓은 자료는 많다. 그러나 그것은 빅데이터가 아니더라도 나타낼 수 있는 활용기술인 것이다.
빅데이터를 활용한 과거 행위의 원인, 현재의. 모습 파악 및 미래를 예측하는것에는 동의한다.
그러나 기존에 모아지고 분석되는 저장소가 있지만, 정확한 데이터가 잘 모이고 있는지 살필 필요가 있으며, 필요하다면 정형화되지 않는 비정형 데이터를 취합해 데이터를 통해 비즈니스 가치를 면밀히 살펴볼 필요가 있다.
빅데이터는 ‘빅(Big)+데이터(Data)’식의 합성어만을 의미하지는 않는다.
빅데이터는 적은 양의 정보에서는 알 수 없었던 것을 데이터 축적된 요소로 분석할 수 있는 데이터 이므로 알빅데이터는 우리 주위 어디에나 존재한다
예를들어 인터넷 포털사이트를 이용할 때 입력하는 검색어, 연설문중 특정 단어, 여론조사 고객반응, 도서 구매자의 구입목록을 기반으로 새로운 책을 추천해주는 시스템 등이 모두 빅데이터인 것이다.
세번째, 빅 데이터 분석을 하자면 전수 조사가 되어야 한다. 그러나 현실적으로 이것이 매우 어렵다. 관계 없는 것들 간의 연관 관계를 전수 조사해야 하고, 관계 없는 데이터는 관계 없는 조직들이 따로 소유한 경우가 많기 때문이다.
이처럼 Volume(데이터 양)·Variety(다양한 형태) ·Velocity(빠른 생성 속도)등이 빅데이터의 관건이다.
수천 테라바이트의 방대하고 다양한 데이터가 빠른 속도로 어떻게 저장·검색·분석하기 어려운 데이터를 효율적으로 활용될 수 있는가에 중요하다.
급증하고 있는 데이터가 굉장히 빠른 속도로 증가하고 있으며, 과거에 보지 못했던 데이터의 사이즈가 등장했다. 심지어 페타바이트 급의 데이터를 분석하고 있는 고객들도 있다. 이는 기존 분석방식과는 다른 방식이 필요가 있기 때문이다.
마지막으로 정보유출모니터링을 빅데이터로 분석한다는 소식이 들려온다.
그러나 보통은 회사에서 직원 개개인의 기록이 시스템에 있을 것으로 막연하게 생각하지만, 생각보다 추출해 내기 어려운 경우도 있다.
결국은 자사의 데이터를 알아가는 단계에서부터 시작해야 한다는 것이다.
이처럼 빅데이터뿐만 아니라 DBA처럼 데이터 전문가가 필요하다.
데이터분석가는 앞으로 계속 출현할 수밖에 없다. 과거에는 개인에게 수십가지 데이터를 가지고 있었으나 오늘날은 데이터 수집, 가공등 제약조건이 많아졌기 때문에 고객이 제공해주지 않는데 과거처럼 CRM을 추진할 수 없다.
이런 환경에서 빅데이터를 추진하기 위해서는 고객이 인지하지 못하는 고객정보를 수집해야한다.
현재의 IT적인 분석 방법으로는 어려울 것으로 앞으로는 통계와 예측능력을 갖춘 부서의 데이터 전문가가 이를 담당해야 하며 IT는 지원해주는 역할인 지원부서의 몫으로 돌려야한다.
이처럼 IT 부서에서도 변화는 필요하다.
고객과 현업을 생각한다면 내부적인 시스템을 통해 새로운 방법론을 현업에게 제시할 수 있어야 한다.
