구글, 새로운 언어 모델 ‘XL넷’ 공개

기존 언어모델 ‘버트’보다 오류율 16% 개선

구글이 인공지능(AI) 비서, 음성검색, 챗봇 등 자연어처리 서비스를 한층 고도화할 수 있는 새로운 언어 모델을 공개했다.

미국 지디넷 등 외신은 구글 브레인과 카네기멜론대학교가 새로운 언어 모델인 XL넷(XLNet)을 공개했다고 보도했다.

언어 모델은 AI가 딥러닝으로 자연어를 처리하는 과정에서 다음에 나올 단어, 문장의 확률을 예측하는데 활용된다. AI 스피커 등 언어를 분석하고 명령을 처리하는 다양한 분야에 쓰이고 있다.

구글 브레인이 공개한 언어 모델 'XL넷'의 언어 처리 진행 방식.

XL넷은 지난해 말 공개 후 기업 등에서 가장 많이 쓰이고 있는 언어 모델인 버트(BERT)의 후속모델이다. 버트와 비교해 텍스트 분류 오류율이 최대 16 %까지 감소하는 등 20개 언어 과제에서 모두 높은 효율을 보였다.

이 언어모델은 전체 문장에서 문맥에 따라 단어가 들어갈 확률을 확인하는 동시에 특정 단어가 순서대로 나타날 가능성을 파악하는 두 가지 방식을 결합한 것이 특징이다.

이러한 방식을 통해 뉴욕(New York)이라는 단어를 새(New)와 요크(York)로 나눠 처리하던 버트와 달리 XL넷은 뉴욕을 하나로 처리할 수 있는 등 문장 예측 정확성이 높아졌다.

XL넷을 통해 복잡하고 긴 문장을 보다 자연스럽게 처리할 수 있게 되면서 인공지능(AI) 비서, 음성검색, 챗봇 등 자연어를 처리하는 서비스의 품질이 한층 발전될 것으로 보인다.

현재 XL넷의 교육 코드와 모델은 오픈소스 공개 플랫폼인 깃허브에서 공개 소스로 제공되고 있다.