“고급분석도 이제는 대중화 시대"

"통계학을 배운 전문 통계 분석가가 아닌, 일반 업무 분석가들도 고급 통계분석을 쉽게 할 수 있게 됐습니다. 고급분석의 대중화 시대가 열렸다고 말할 수 있습니다."

SAS코리아 고준형 이사는 지디넷코리아가 27일 서울 잠실 롯데호텔에서 개최한 제12회 어드밴스드컴퓨팅컨퍼런스(ACC)에서 ‘시티즌 데이터사이언티스트’라는 용어가 등장할 정도로 고급분석이 대중화되고 있다고 강조했다.

전통적으로 업무 분석가와 통계 분석가는 영역이 뚜렷하게 구분돼 있었다. 업무 분석가가 데이터를 처리하고 보고서를 만드는 일을 했다면, 통계 분석가는 데이터를 탐색해서 모델링을 만들고 예측 보고서를 만들었다. 통계분석가는 고급분석 결과를 가지고 경영진에 인사이트를 전달하는 ‘바텀업’ 방식의 프로세스를 거치는 반면, 업무 분석가는 경영진과의 커뮤니케이션에서 ‘탑다운’ 방식의 프로세스를 거치는 경우가 많았다.

SAS 고준형 이사

하지만 하둡을 이용한 시각적 통계분석을 쉽게 해줄 수 있는 툴들이 등장하면서 업무 분석가들도 고급 분석이 가능해 졌고 새롭게 시티즌 데이터 사이언티스트라는 집단이 등장하게 됐다는 설명이다.

시티즌 데이터 사이언티스트 집단이 등장하면서 IT부서를 통한 빅데이터 접근 방법에도 변화가 생겼다. 전통적으로는 비즈니스 현업에서 아이디어가 있으면 IT부서에 요구를 하고 IT부서는 플랫폼을 만들어 줬다. 한번에 만족스러운 결과가 잘 나오지 않기 때문에 2~3번에 걸쳐 반복적으로 요청과 대응이 이뤄져야 했다. 하지만 시티즌 데이터 사이언티스트는 IT에서 하둡 플랫폼, 분석환경을 1회 구성해주면 직접 데이터를 질의하고 탐색, 시각화, 모델링 할 수 있는게 특징이다.

고형준 이사는 이어 쉽게 하둡을 이용해 고급분석이 가능하도록 돕고 있는 SAS의 접근방식을 소개했다. SAS는 하둡과 연계해 분석할 DB를 탑색하고 DB의 테이블을 하둡으로 복사, 하둡의 다른 데이터와 합치고, 정제, 데이터 속성 분석을 거쳐 데이터 시각화를 위해 하둡 데이터를 메모리에 업로드시킨다. 이후 데이터 시각화 툴로 시작적 탐색을 진행하면 된다. 그는 “엔드유저가 UI상에서 드래그앤드롭방식으로 사용할 수 있고 하둡을 몰라도 상관 없다”고 설명했다.

그는 “이렇게 하면 데이터 통합시 품질을 쉽게 확보할 수 있고, 하둡 데이터에 접근이 용이하며, 하둡 핸들링 기술력이 강화될 수 있다”고 강조했다.