日 와세다大, 차원 다른 이미지 보완 기술 개발

회선 신경망 사용해 자연스러운 이미지 수정 실현

일본 와세다대학 연구팀이 딥 네트워크(회선 신경망)을 이용해 기존의 이미지 보완 기술과는 차원이 다른 화상 보완 기술을 공개해 주목된다.

연구 발표 페이지에 나온 와세다 대학 연구팀의 이미지 보완 기술명은 ‘전역 및 로컬 일관된 이미지 완성’(Globally and Locally Consistent Image Completion, 이하 GLCIC)이다.

GLCIC는 비어 있는 곳의 이미지를 자연스럽게 보완하는 기술로, 두 종류의 식별 네트워크를 결합한 것이 큰 특징이다.

이 기술의 성능을 시험하기 위해서는 먼저 이미지 중 바꾸고 싶은 한 부분을 흰색으로 칠해 공백을 만들어야 한다. 그러면 신경망을 이용한 GLCIC가 자동으로 공백 부분을 그럴듯한 이미지로 보완해준다.

GLCIC 이미지 완성 기능을 사용하면 이미지의 물체를 가릴 수도 있다. 울타리 너머에 있는 사람을 감쪽같이 사라지게 하는 것도 가능하다. 또 사람의 눈, 코, 입 등 얼굴을 전혀 다른 사람으로 바꿀 수도 있다. 방법은 역시나 하얀색으로 바꾸고 싶은 부분을 색칠하면 된다.

GLCIC는 이미지 전체의 일관성과 국소적인 일관성을 평가하는 두 가지 식별 네트워크를 이용해 자연스러운 이미지로 만들어 준다. 얼굴뿐 아니라 헤어스타일을 바꾸는 것도 가능하다.

GLCIC는 이미지를 보완하는 ‘보완 네트워크’와 이미지를 평가하는 ‘전역 식별 네트워크’, ‘국소 식별 네트워크’ 등 3개의 네트워크로 구성돼 있다.

모든 계층이 회선 네트워크로 구성된 보완 네트워크가 손실 영역을 보완한 이미지를 출력하면 전역 식별 네트워크가 전체 이미지를, 국소 식별 네트워크가 보완 영역을 각각 “자연적인가?”란 기준으로 평가한다.

평가된 결과는 보완 네트워크에 피드백 돼 더욱 보완의 정확도를 높인다. 그리고 전역 식별 네트워크, 국소 식별 네트워크 출력을 평가하는 교대 학습을 반복함으로써 보완 네트워크에 자연 이미지 보완을 학습 시킨다.

GLCIC는 헤드폰을 끼고 잠들어 있는 소년, 오두막, 호숫가에 위치한 건물 등 수정이 어려운 이미지 등을 자연스럽게 재현할 수 있다.

높은 보완 성능을 가진 GLCIC는 와세대 대학의 이즈카 사토시 조교수 연구팀이 개발한 기술이다. 이즈카 조교수, 시모세라 에드가 연구원, 이시카와 히로시 교수의 논문은 시그라프 2017에 채택됐다. 논문 및 GLCIC 소스 코드는 곧 공개될 예정이다.