"비즈니스 고민 없으면 빅데이터도 없다"

"미국 기업들은 빅데이터를 도입할 때 하둡에만 관심을 두지 않아요. 비즈니스 가치를 찾는 것이 핵심입니다. 하둡 기술 자체 보다는 얼마나 안정적인지, 빨리 운영할 수 있는지, 보안은 어떤지 등을 두루 살피죠. 기업들이 원하는건 하둡 코어 엔지니어가 아니라 앱을 개발해 내부 인사이트를 찾는겁니다."

빅데이터 핵심 기술인 하둡 플랫폼 업체 주도하는 글로벌 업체 클라우데라의 클라크 패터슨 제품 마케팅 담당 수석 이사는 최근 기자와의 인터뷰에서 글로벌 시장에서 빅데이터의 무게 중심은 이제 이제 비즈니스로 넘어갔다는 점을 분명히 했다. 빅데이터로 효과를 보기 위해서는 비즈니스 관점에서 하둡을 바라봐야 한다는 것이었다.

그는 "미국 대기업들은 예전에는 하둡 코어 전문가 위주로 빅데이터 팀을 꾸렸지만 지금은 데이터 사이언티스트들이 어떤 앱을 개발할 수 있는지 등 비즈니스적인 이슈가 중요하게 다뤄지고 있다"면서 "클라우데라도 비즈니스 컨설팅 차원에서 고객들에게 빅데이터 조직을 어떻게 구성할지 가이드해주는 경우도 있다"고 강조했다. 비즈니스 차원에서 빅데이터가 의미를 갖기 위해서는 데이터사이언티스트들의 역할이 절대적이라고도 덧붙였다.

클라우데라의 향후 전략도 비즈니스에 초점이 맞춰져 있다. 패터슨 이사는 "내년에는 하둡 생태계를 안정화시키는 것이 핵심"이라며 "기존에 나와 있는 다양한 기술들을 기업들이 쓸 수 있도록 하는데 집중하겠다"고 말했다.

하둡 자체가 분석 플랫폼으로 진화했다는 점도 그가 꼽는 최근 빅데이터 분야 트렌드였다. 그동안 하둡은 데이터를 저장하는 공간으로 많이 사용됐는데 지금은 분석 측면에서도 많은 혁신이 일어나고 있다는 게 그의 설명이다.

대표적인 것이 최근 들어 거물급 회사들의 지원을 연이어 이끌어 내고 있는 빅데이터 분석 기술인 스파크다. 그는 "클라우데라는 스파크를 일찌감치 지원했고 가장 많은 투자를 한한 회사 중 하나"라며 "스파크는 향후 맵리듀스를 서서히 대체할 것이다"고 전망했다.

하둡은 나온지 꽤 기술이지만 현장에서 다루기 어렵다는 인식이 여전히 강하다. 한국도 마찬가지. 쓰기 힘들다 보니 하둡에 대해 피로도를 느끼는 기업들도 꽤 있는 것으로 전해진다.

패터슨 이사는 "하둡을 어렵게 여기는건 정확한 메시지가 IT담당자들에게 전달되지 않았기 때문"이라며 "현업 사용자를 만나 분석 대상이 뭔지 컨설팅하고,그걸 갖고 IT쪽하고 협업할 수 있는 방향으로 가야 한다"고 주문했다.

클라우드는 빅데이터 생태계에서도 대형 이슈다. 실제로 클라우드 환경에서 하둡을 쓰는 비중이 점점 커지고 있다는게 패터슨 이사의 설명이다. 그는 "많은 기업들이 클라우드 환경에서 빅데이터 플랫폼을 운영하려고 한다"면서 "클라우데라 역시 마이크로소프트 애저와 아마존 웹서비스, 구글 클라우드에서 하둡 플랫폼을 쓸 수 있도록 생태계를 만드는데 주력하고 있다"고 말했다.