카카오는 자체 개발한 '인공지능(AI) 언어모델'의 한국어 독해 능력평가에서 91.85점을 받으며 인간의 기록을 넘어섰다고 31일 밝혔다.
카카오는 LG CNS가 구축한 한국어 학습 데이터 'KorQuAD'를 바탕으로 AI 언어모델의 기계 독해 능력을 평가받았다.
이때 이 AI 모델은 인간의 문장 판별 및 독해 능력 수준은 91.20점보다 0.65점 높은 점수를 받았다. AI가 인간보다 높은 점수를 기록한 것은 처음이다
LG CNS에 따르면 회사는 AI 독해 능력 평가 대조군으로 대학 졸업자 여러 사람을 대상으로 평가를 시행했고, 이들의 평균 점수는 91.20점이었다.
평가는 데이터셋에서 추출한 내용을 질문으로 제시하고, 이에 대해 개발 모델이 답을 찾아내는 방식으로 이루어진다.
예를 들어 “아이유는 1993년 5월 16일 서울특별시에서 태어났으며, 경기도 하남시와 의정부시를 거쳐 서울특별시 광진구에서 자랐다. 초등학교는 하남시의 하남천현초등학교에서 3학년까지 다니다가 서울 광진구의 서울양남초등학교로 전학가 졸업하였다”와 같은 지문이 주어지고, “아이유가 졸업한 초등학교는 어디인가?”라는 질문에 대해 “서울양남초등학교”라는 정답을 찾아내는 식이다.
관련기사
- AI 스피커 카카오미니, 카톡 문자 읽어준다2019.01.31
- 육아맘 사로잡은 카카오미니..."아이들도 좋아해"2019.01.31
- "내 이름이 뭐야?"…카카오미니, 목소리 알아듣는다2019.01.31
- 지마켓, 카카오미니C+멜론6개월 50%할인…8만9천원2019.01.31
이번에 평가받은 카카오의 AI 언어모델은 구글의 AI 언어모델 'BERT'에 카카오의 형태소 분석기 '카이’를 접목한 것으로, 조사의 사용과 어미의 다양한 변형 등 한국어의 고유 특성에 최적화 됐다.
김응균 카카오 자연어처리파트장은 “이번 평가 결과는 카카오의 인공지능 자연어 처리 기술을 활용해 인간의 독해 능력을 넘어서는 최초의 모델을 구현했다는 점에서 높이 평가받을만 하다”며 “금번 개발한 언어모델 기술을 스마트 스피커 카카오미니에 적용하기 위한 연구를 진행 중”이라고 밝혔다.
