크라우드웍스 "기업 LLM 도입에 필요한 데이터 구축 돕는다"

[ACC+2024] 이형주 CTO "LLM 도입 앞서 내부 데이터 찾아보고 이해해야"

“대규모 언어 모델(LLM)을 회사에 도입하고 싶다면 업무의 흐름, 내용을 파악할 수 있도록 데이터의 맥락, 내용과 구성을 알아야 합니다. 보유한 데이터에 대해서 모르면 효율적인 시스템 구성이 불가능합니다.”

크라우드웍스 이형주 최고기술책임자(CTO)는 지디넷코리아가 17일 서울 강남 코엑스에서 개최한 '어드밴스드 컴퓨팅 컨퍼런스 플러스(ACC+) 2024'에 참석해 기업 LLM 도입 과정에서 데이터 구축의 중요성을 강조했다.

이 CTO는 "LLM을 고려할 때 중요한 것은 고객 업무를 이해하는 것"이라며 "기존 사람이 하는 일에 대한 효율을 높이고 동일한 문제라도 각 고객 업무방식에 따라 정답이 다르기 때문"이라고 설명했다. 이어 "업무를 이해했다는 것은 데이터와 이의 흐름으로 구성된다"고 덧붙였다.

크라우드웍스 이형주 CTO

이 CTO는 보유한 데이터에 대해 모르면 효율적으로 시스템을 구성할 수 없다고 주장했다. 최근 도입되고 있는 진보된 형태 RAG(검색 증강 생성) 구성을 위해서는 메타데이터 파악이 필수적이란 점도 이날 강조했다.

이 CTO는 "크라우드웍스는 프로젝트를 받을 때 고객의 요구사항을 정의하고, 문서 분석과 메타데이터를 설계한다"며 "이후 챗봇을 구성하고 보안, 최종 점검 등을 진행한다"고 밝혔다.

이 CTO는 고객사 프로젝트를 맡으며 데이터가 없어 곤란했던 사례도 소개했다. 그는 "알지 못하는 파일 묶음은 데이터가 아니다. 엄밀히 말하면 데이터가 없는 것"이라며 "데이터가 있다고 말하고 데이터가 절반만 있는 경우가 있다"고 언급했다.

크라우드웍스 이형주 CTO (사진=지디넷코리아)

또 그는 "일례로 한 광고 대행사에서 스크립트를 자동 생성해 주는 모델을 구축해달라고 했지만, 기획 의도와 같은 인풋 데이터가 될 수 있는 데이터가 없다고 했다"며 "크라우드웍스에서 해당 데이터 구축을 도와 하이퍼클로바X 기반으로 시스템을 만들 수 있었다"고 소개했다.

이어 "건설, 안전 전문 번역 기능이 필요하다는 한 건설 업체 프로젝트를 맡게 됐다"며 "이 기업도 데이터를 따로 보유하지 않았고 국가건설기준용어집만 있다고 했는데, 이 용어집을 학습시켜 번역 서비스를 만들 수 있었고 현장 테스트 결과 90% 이상 직원이 만족했다고 조사됐다"고 말했다.

마지막으로 이 CTO는 "크라우드웍스와 LLM 도입 작업을 하면 우리가 데이터 완성을 도울 수 있다"며 "보통 회사에서 가지고 있는 데이터를 과소평가하는 경우가 있는데 내부 데이터 찾아 보고 이해하고 만드는 것이 중요하다"고 덧붙였다.