후지쯔 빅데이터 “아파치 하둡은 잊어라”

후지쯔가 자체적인 빅데이터 처리용 파일시스템을 개발했다. 오픈소스인 아파치 하둡보다 속도를 높였고 사용하기도 더 쉽다는 자랑과 함께다.

최근 외신에 따르면, 후지쯔는 하둡파일시스템과 일반 리눅스 파일시스템을 함께 사용할 수 있는 분산파일시스템 '인터스테이지 빅데이터 병렬프로세싱 서버 V1.0'을 공개했다.

유닉스, x86 서버등과 더불어 사용되는 기존 하둡 분산파일시스템(HDFS)의 제약사항을 없애고, 원활하고 전문적인 지원을 받을 수 있다고 회사측은 강조했다.

후지쯔에 따르면, 엔터프라이즈 기업의 시스템과 하둡시스템 저장은 각자 다른 데이터 포멧을 갖고 있고, 별도의 시스템으로 구분된다. 이 때문에 하둡 분석을 이용할 때 엔터프라이즈 시스템에 데이터를 올린 후 하둡 클러스터로 다시 업로드하는 절차를 거친다.

하둡파일시스템에서 처리된 리듀스 데이터가 다시 엔터프라이즈 시스템에 다운로드 되는 절차를 거쳐야 비로소 처리를 완료한다. 데이터가 두곳에 저장되고, 업로드와 다운로드를 거쳐야 하기 때문에, 사용하기 어렵다는 게 후지쯔의 주장이다.

후지쯔 인터스테이지 빅데이터 병렬프로세싱 서버 V1.0은 하둡 맵리듀스 알고리즘을 후지쯔 프로프라이어터리 분산 파일시스템에 결합한 것이다.

엔터프라이즈 시스템과 하둡 클러스터를 하나로 통합한 것으로, 현존 시스템과 하둡클러스터가 동일한 파일 시스템을 공유하는 것이다. 각자 시스템 환경에 맞게 두 종류의 인터페이스를 제공한다. 일반 시스템은 표준 리눅스 파일 인터페이스를, 하둡시스템은 HDFS 호환 인터페이스를 제공한다.

하드웨어 플랫폼은 후지쯔 이터너스 스토리지를 사용한다. 하둡과 엔터프라이즈 시스템은 모든 데이터가 이터너스 어레이에 저장된다. 이는 하둡 업무 작업 속도를 높이는 효과를 낸다. 엔터프라이즈 데이터가 하둡 클러스터에 업로드하지 않는 만큼 시간을 줄이게 되기 때문이다.

후지쯔는 이 파일 시스템에 아직 이름을 붙이지 않았다. 하지만, 후지쯔엑사바이트파일시스템(FEFS)의 파생으로 개발된 것이다. FEFS는 후지쯔가 작년 슈퍼컴퓨터 클러스터를 위한 파일시스템으로 오픈소스인 루스트리파일시스템을 기반으로 개발했다.

후지쯔는 또한 인터스테이지 빅데이터 병렬프로세싱 서버 V1.0에 하둡 마스터 노드를 클러스터할 수 있는 기능을 탑재했다. 클러스터된 마스터 노드의 컨트롤러는 어떤 데이터가 어느 서버 노드에서 싱글 포인트 페일류어나 성능 병목현상을 겪는 상황을 없애주는 고가용성을 제공한다.

인터스테이지 빅데이터 병렬 프로세싱 서버 V1.0은 4월말 상용화될 전망이다. 라이선스가격은 서버 프로세서당 7천465달러로 책정됐다. 이는 일본 기준이며 해외 가격은 다를 수 있다.