카카오는 유해 콘텐츠를 어떻게 차단할까

텐서플로우 기반 유해 콘텐츠 관리…향후 자체 모델 설계 예정

카카오가 유해 콘텐츠를 차단하고 깨끗한 인터넷 환경을 위해 인공지능(AI) 기술을 어떻게 활용하고 있는지 공개했다.

31일 관련 업계에 따르면 최근 카카오는 자사 AI 리포트를 통해 유해 콘텐츠 관리 방법에 대해 소개했다.

유해 콘텐츠는 ▲법률에서 금지하거나 ▲서비스에서 원하지 않는 콘텐츠로 나뉜다. 법률에서 금지한 콘텐츠는 국가기밀 누설, 국가보안법에서 금지한 정보, 불법의약품, 공포심과 불안감을 유발하는 콘텐츠가 해당된다. 서비스에서 원하지 않는 콘텐츠는 음란하거나 청소년 유해정보, 불법 사행성이나 도박 홍보 콘텐츠, 욕설이나 개인정보 거래·유통·판매 등이 해당된다.

법률에서 금지한 콘텐츠는 서비스 제공자가 판단할 수 없이 규제하는거지만, 그 외의 콘텐츠는 서비스 제공자가 판단해 자율규제를 하거나 예방한다.

카카오 측은 "유해 콘텐츠는 대부분 신고에 의해 처리되지만, 신고되지 않는 항목들은 카카오가 실시간 모니터링을 통해 필터링해 노출되지 않게 처리한다"고 말했다.

이를 위해 카카오는 머신러닝 기술을 활용해 콘텐츠의 유해성을 판단하고 걸러낸다. 이미지 외에 글이나 동영상, 음악, 파일 등 다양한 콘텐츠의 유해성을 관리하고 있다.

유해 콘텐츠 필터링 기술은 텐서플로를 기반으로 하고 있다. 카카오 설명에 따르면, 이 기술은 하나의 이미지를 숫자로 바꾸고, 이미지를 하나의 행렬로 표현한다. 텐서플로 모델의 규칙에 따라서 행렬 데이터를 잘게 나누고 벌집처럼 나누어서, 적용 알고리즘에 따라 특징을 분석하게 된다.

유해 콘텐츠 필터링 기술을 고도화하기 위해서는 다양한 형태의 샘플링 데이터가 필요하고 학습을 시켜야 하는 것이 중요하다.

카카오 측은 "국가나 회사마다 유해콘텐츠 관리 기준이 다른데, 카카오는 상대적으로 타이트한 규정을 적용하고 있다"며 "향후에는 카카오TV나 티스토리 등 주요 서비스 중심으로 확대 전개할 예정"이라고 밝혔다.

향후 카카오는 자체 모델을 설계해 카카오 서비스에 최적화된 방어막을 만들 수 있는 방안을 구상할 계획이다. 앞으로 지금보다 더 다양한 글로벌 콘텐츠들이 유입되면서 음란·유해 콘텐츠 수준은 갈수록 심화되고, 더욱 자극적인 영상들이 생성될 것으로 예상되기 때문이다.

또한 인터넷 환경이 좋아지면서 유해 콘텐츠를 노출할 수 있는 사용자들이 더욱 고도화된 방식으로 유해 콘텐츠들을 의도적으로 노출하고 있다.

현재 이미지, 텍스트, 사용자 정보 등을 개별적으로 모니터링하고 있지만, 이 모든 항목을 통합적으로 모니터링해 유해 콘텐츠를 방지하는 쪽이 될 수 있기를 기대하고 있다.

카카오 관계자는 "카카오 역시 콘텐츠를 제공하는 서비스 제공자 입장에서 사회적 책임을 다하고, AI 기술을 통해 더 좋은 세상을 만들기 위해 노력하고 있다"고 말했다.