이미지 크게보기딥페이크 공포 확산 2일 서울 동작구 서울디지털성범죄안심지원센터에서 센터 관계자가 디지털 성범죄 인공지능(AI) 감시 시스템을 활용한 불법 영상물 검출 방식에 대해 설명하고 있다. 문호남 기자

■ 서울디지털성범죄안심센터, 전국 첫 AI 시스템 24시간 가동

검출속도 80분의 1로 줄어들어
아동·청소년 불법영상 즉시삭제

이미지 크게보기

최근 텔레그램을 중심으로 딥페이크 성범죄 피해가 확산하는 가운데 서울시가 운영하는 서울디지털성범죄안심지원센터에 접수된 딥페이크 피해자 수가 올해 들어 급증한 것으로 나타났다. 지난 2022년 개관 이후 연간 10명대였던 딥페이크 피해자 수가 크게 늘자, 센터에서는 지난 5월부터 90초 만에 불법 영상물을 검출할 수 있는 전국 유일의 ‘디지털 성범죄 인공지능(AI) 감시 시스템’이 24시간 가동되는 중이다.

3일 서울시에 따르면 올해 센터를 찾은 딥페이크 피해자는 지난 7월까지 44명으로 2022년(10명), 2023년(17명)과 비교해 크게 늘었다. 올해 센터에서 이뤄진 딥페이크 피해자 지원 건수(481건)도 지난 2년 동안 진행된 것(291건)보다 더 많았다.

실제 이날 찾은 서울 동작구 서울디지털성범죄안심지원센터에선 서울시가 지난 5월 전국 최초로 개발한 디지털 성범죄 AI 감시 시스템이 24시간 가동되고 있었다. 컴퓨터에 설치된 프로그램인 이 시스템에 디지털 성범죄와 연관된 특정 키워드를 입력하면 키워드 관련 불법 영상물이 검출되는 방식이다. 이 시스템은 SNS와 불법 성인사이트 등을 샅샅이 뒤져 관련 키워드와 연관된 불법 영상물 수백 건을 90초 만에 찾아낼 수 있다. 이는 기존에 센터 직원이 관련 키워드로 피해 영상물을 검색, 피해자의 얼굴이나 특이점을 육안으로 판독해 일일이 수작업으로 찾아낼 때 걸리던 시간(2시간)과는 비교할 수 없는 수준이다. 센터 관계자는 “이전보다 검출 속도가 80분의 1로 개선됐고 정확도는 300% 이상 향상됐다”고 설명했다.

특히 이 시스템은 딥페이크와 같이 피해 대상이 주로 아동·청소년인 합성·편집물, 성착취물 검출·삭제 시 효과적이란 평가를 받는다. 본인이 삭제 요청을 해야 삭제할 수 있는 성인 등장 영상물과는 달리 아동·청소년이 등장하는 영상물의 경우 관련 법(성폭력 방지법)에 따라 당사자나 부모의 동의 없이도 불법 영상물이라고 판단되면 즉시 삭제할 수 있기 때문이다. 센터 관계자는 “AI 딥러닝 기반 안면인식 기술을 활용해 연령·성별을 예측할 수 있다”며 “영상물에 얼굴이 나오지 않더라도 영상물에 등장하는 책, 교복 등 주변 사물을 분석해 피해 영상물 여부를 판별할 수 있다”고 강조했다.

게다가 지난달 28일 서울시와 방송통신심의위원회가 ‘24시간 딥페이크 신고·삭제지원 핫라인’을 구축함에 따라 불법 영상물 검출 후에는 센터에서 곧바로 방심위에 삭제 요청을 할 수 있게 됐다. 이전에는 방심위에 삭제 요청 시 제출하는 영상 건마다 각종 관련 증빙자료를 제출해야 했으나 이제는 그럴 필요 없이 대량 건수를 한 번에 삭제 요청할 수 있다.

김군찬 기자 alfa@munhwa.com