AI변호사 1~3위, 사람 변호사들 완패...참여자들 "AI능력 놀라워"

아시아에서 처음으로 우리나라에서 열린 사람 변호사와 인공지능(AI) 변호사간 대결에서 AI변호사가 완승했다.

사람 변호사 9개 팀과 AI변호사 3개 팀 등 총 12개 팀이 근로계약서 자문을 놓고 경연을 했는데 1위~3위를 AI변호사가 차지했다.

AI변호사 3개 팀 중 한 팀은 일반인이 AI와 짝을 이뤄 참여해 3등을 차지, 일반인이 AI 도움을 받아 변호사 팀을 이겼다는 점에서 특히 관심을 모았다.

AI 전문가들은 "사람과 AI 변호사간 대결이라는 흥미성 행사보다 AI와 사람이 어떻게 협업을 할 지를 더 고민해야 한다"고 조언했다.

이번 행사는 한국인공지능법학회가 주최, '제 1회 알파로 경진대회'라는 이름으로 29일 오후 서울 강남 변호사회관 5층에서 열렸다.

행사에 사용한 '법률(리걸) AI'는 인텔리콘연구소가 만들었다. 2010년 설립된 인텔리콘연구소는 2016년 일본(동경), 2017년 영국(런던)에서 열린 세계 리걸AI 경진대회서 각각 우승한 경험이 있다. 국내 최초로 기업용 법무 QA 머신과 챗봇도 개발했다.

경진 대회 문제는 근로계약서를 자문하는 것으로, 연봉 2천만원을 받는 19살 남자가 회사와 9년간 근로계약을 맺는 상황을 가정, 사람변호사와 AI변호사가 자문한 근로계약서를 비교해 순위를 가렸다.

두명이 한 팀을 이룬 사람 변호사 9개 팀과 AI와 짝을 이룬 팀 3개 등 총 12개 팀이 경연에 참가했고, 이들 참가자들은 인텔리콘이 공모를 통해 모집했다. AI와 팀을 이룬 3명 중 2명은 변호사였고 1명은 물리학을 전공한 일반인이었다.

그 결과 AI 3개 팀이 1위~3위를 휩쓸었다. 150점 만점에 1위는 120점, 3위는 107점을 받아, 4위를 차지한 사람 변호사(61점)와 점수 차가 컸다.

AI와 팀을 이뤄 1위를 한 변호사는 "좋은 경험을 했다. 기술은 개발자와 사용자가 같이 발전시켜야 한다"고 말했다.

AI와 팀을 이뤄 2등을 한 김한규 변호사는 "사람 변호사가 20~30분 걸린 걸 AI는 6초만에 해냈다. 인공지능이 생각보다 꽤 높은 수준에 올라왔다고 생각했다"고 밝혔다. 김 변호사는 그러나 "AI가 변호사를 대체하지는 못할 것"이라고 덧붙였다.

일반인으로 참가해 AI와 짝을 이룬 신아형 씨는 "법을 모르는 물리학 전공인데, 알파로 덕분에 3등을 했다"면서 "분석하는데 AI가 6초밖에 안걸려, 대단하다는 생각을 했다"고 소감을 말했다.

사람 변호사는 근로계약서 자문시 네이버와 구글 등을 검색할 수 있었고, AI변호사는 검색을 못하고 AI시스템 'CIA( Contract Intelligent Analyzer)'만 이용했다. CIA는 컴퓨터가 판결문 등 외부 데이터를 분석해 스스로 성장하는 딥러닝 방식을 채택한 계약법 전문 'AI변호사'다.

문제지 추첨을 통해 팀당 총 3개 문제가 주어졌다. 객관식 형태의 라운드1에서는 근로계약서 두 개가 문제로 제시됐고, 20분 동안 계약서를 자문했다. 심사단은 시간 부족을 감안, 10분을 더 줬다.

10분 휴식후 이어진 2라운드는 근로 계약서 한 개를 문제로 줬고, 참가팀들은 역시 20분 동안 계약서를 자문했다. 2라운드는 주관식 형태로 진행됐고, 객관식 문제의 보완점을 제시할 수 있게 했다.

경연에 참가한 사람 변호사들은 이구동성으로 "시간이 너무 짧았다"고 말했다. 이 때문에 2017년 이세돌과 바둑 대결을 벌여 AI 열풍을 일으킨 '알파고'가 '질 수 없게 만들어진 것'처럼 이번 대회도 사람 변호사가 질 수 밖에 없는 상황이 아니냐는 지적이 나왔다.

평가 위원장을 맡은 이명숙 변호사는 "평가가 공정했다"고 설명했다. 이 변호사 외에 박형연 변호사(법무법인 코러스 대표)와 신현호 변호사가 평가에 참여했다. 누가 작성한 답안인지 알 수 없게 코드명을 문제지 및 답안지에 함께 적어 제출했다. 코드명은 추첨을 통해 정했다.

심사 발표는 경연 종료 후 50분 후 하기로 당초 돼있었는데 예정보다 30분 정도 늦어졌다. 주최 측은 "심사위원들이 예정과 달리 3단계 3중 체크하다보니 예정보다 평가 결과 발표가 늦어졌다"고 해명했다.

이명숙 평가위원장은 "오늘 이 자리는 우리나라 최초의 인공지능 대회, 아니 아시아 최초이고 어쩌면 세계 최초 일 수도 있다"면서 "처음에 심사위원 제안 받았을때 낮선 분야이기 때문에 망설였지만 (AI가) 국민에 친숙함을 주고 법조인에 유용하지 않을까 해 수락했다"고 말했다.