"AI도 모르는 건 모른다고 할 수 있어야 한다"

AI 신뢰도 높이기 위해 불확실성에 대한 고려 필요

“인공지능(AI)은 사람이 중요한 결정을 할 수 있도록 최대한 정확한 정보를 제공해야 한다. 그렇기 때문에 AI도 모르면 모른다고 정확하게 답하는 것이 중요하다.”

6일 서울 강남구 역삼동에서 만난 유진규 에이아이트릭스(AITRICS) 대표는 상용 단계에서 높은 수준의 의사결정을 위해선 AI의 정확성과 신뢰도를 높이는 것이 중요하다고 강조했다.

일반적으로 개와 고양이를 분류하는 AI에 코끼리 사진을 넣으면 둘 중 비슷한 하나로 분류한다. 주어진 정보 밖의 데이터가 주어지면 모른다고 답하는 것이 아니라 틀린 답을 제출하는 오류로 AI의 과잉 확신(overconfidence)이라고 한다.

의료 분야는 사람 개인의 특성이나 병의 진행 과정 등 여러 변수에 따라 예측하지 못한 상황이 갑자기 발생할 수 있다. 이런 상황에서 AI가 기존 사례를 찾지 못해 비슷한 병으로 끼워 맞춰 의료진에게 전달하는 과잉 확신이 발행하면 적절한 의료조치가 이뤄지지 못할 가능성이 크기 때문에 신뢰도가 더욱 중요하다.

에이아이트릭스 유진규 대표, 김세훈 리서치 팀장.

■ AI가 예측하지 못하는 불확실성 연구

에이아이트릭스는 X레이 등 이미지 자료와 의사가 작성한 치료기록을 분석해 의료 현장에서 생길 수 있는 위험을 예측하는 AI 시스템 ‘바이탈 케어’를 개발 중인 AI 전문 기업이다.

바이탈 케어의 AI는 패혈증, 급성 신손상 등 병의 진행이 빨라 사람을 살리기 위한 '골든타임'이 짧고 검사 하나로 맞추기 어려운 분야에 집중하고 있다. 현재 신촌 세브란스병원과 함께 중환자실과 입원병동, 응급실 등 임상현장에 이를 적용해 실효성과 안전성 등을 검증하고 있다.

유진규 대표는 “AI의 신뢰도를 높이기 위해선 질문이나 데이터가 사전에 예상한 값이 아닐 수 있다는 것도 학습을 시켜야 한다”며 “아니면 AI가 출력한 결과 값이 얼마나 높은 신뢰도를 가지는 지 표시해 의사결정을 하는 사람에게 보다 정확한 정보를 제공해야 한다”고 강조했다.

이어서 그는 “특히 의료 분야는 희귀병 등 기존처럼 정형화되지 않은 케이스에 대응할 수 있어야 하므로 불확실성을 어떻게 모델링할 것인지에 연구를 집중하고 있다”고 말했다.

에이아이트릭스의 '바이탈케어'.

에이아이트릭스는 연구를 통해 패혈증 외에도 검증할 수 있는 질병의 수를 늘리고 체온, 맥박, 호흡, 혈압 등 바이탈 사인과 복약 정보 그리고 초음파, X레이 이미지 데이터 등 의료진이 참고하는 모든 데이터를 포괄해 점차 신뢰도를 높여 나갈 예정이다.

■ AI 신뢰도 높이기 위해 블랙박스 연다

AI의 신뢰도를 낮추는 다른 요인은 '블랙박스'라 불리는 AI의 특성이다.

블랙박스란 기계학습 기반 AI가 주어진 문제에 대한 결과 값만 제공할 뿐 처리하는 과정을 명확히 공개하지 않아 내부에서 어떤 과정이 이뤄지는 지 알 수 없어 붙여진 이름이다.

즉, AI가 결과를 도출할 때 어떤 데이터를 중심으로 알고리즘을 어떻게 활용했는지 확인이 불가능하기 때문에 만약에 발생할 수 있는 오류를 파악할 수 없어 신뢰도가 낮아지는 것이다.

에이아이트릭스는 AI가 어떻게 결과 값을 도출했는지 확인할 수 있도록 딥러닝 모델의 의사결정 과정을 해석하는 인터프리테이션 모듈과 결과에 대한 불확실성을 계산하여 신뢰도를 제공하는 베이시안 뉴럴 네트워크를 도입했다. 또한 AI의 신뢰도를 높이기 위해 결과 값과 함께 처리 과정을 순서도 함께 제공하려 하고 있다.

김세훈 리서치 팀장은 “AI가 도출한 결과와 근거를 바탕으로 사람이 AI를 점차 이해하게 되고 AI도 자연어처리 모델 등으로 사람의 말을 점차 알아듣고 있는 만큼 기술이 발전하면 사람과 AI가 서로 자연스럽게 상호작용하도록 발전할 수 있을 것으로 생각한다”고 말했다.

유진규 대표는 “AI의 신뢰도가 충분히 발전한다면 개인이 아프기 전에 현재 건강상 어떤 위험이 있는지 알려주는 예방 중심으로 의료 문화가 바뀌고 집중치료가 필요한 사람에게 의사가 집중할 수 있을 것이라고 생각한다”며 “이를 통해 적어도 케어받지 못한 죽음은 최소화할 수 있기 바란다”고 말했다.