이미지 크게보기 게티이미지뱅크

캐릭터 생성해 대화하면서 부작용 발생
뤼튼, 캐릭터 챗 서비스에 ‘세이프티 필터’ 기능 도입
스캐터랩도 부적절 대화 차단 시스템 마련

대화형 인공지능(AI) 서비스가 미성년자의 성적 대화 등에 악용된다는 우려가 제기되면서 관련 정보기술(IT) 업체들이 속속 대책 마련에 나서고 있다. AI로 캐릭터를 만들어 대화하는 기능이 청소년들에게 인기를 끌고 있는데, 이 과정에서 부적절한 대화 등 부작용이 나타나고 있다는 지적이 나온다.

25일 관련 업계에 따르면, AI 기업 뤼튼테크놀로지스는 최근 AI로 캐릭터를 만들어 대화하는 ‘캐릭터 챗’ 서비스에서 청소년에 부적절한 콘텐츠를 자동으로 차단하는 기능을 도입했다. 지난해 1월 출시한 뤼튼 서비스는 지난 6월 기준 한국과 일본에서 누적 가입자 수가 약 370만 명, 월간 활성 이용자 수 200만 명을 넘었다.

뤼튼은 지난 22일 "사용자들이 생성형 AI 콘텐츠를 자유롭게 이용해야 한다는 것에 동감하면서도 청소년들이 민감할 수 있는 캐릭터들로부터 보호돼야 한다"며 "청소년들을 안전하게 보호하기 위해 캐릭터 챗에서 세이프티 필터 기능을 출시했다"고 공지했다.

세이프티 필터는 캐릭터 챗에서 미성년자들에게 부적절한 캐릭터들을 탐지한 뒤 표시되지 않도록 한다.

뤼튼은 청소년에게 부적절한 캐릭터의 판단 기준으로 △성적 내용 △폭력적 내용 △마약 및 약물 남용을 묘사하는 내용 △도박을 조장하거나 긍정적으로 묘사하는 내용 △지나친 비속어의 반복 사용 등을 제시했다.

‘성적 내용’에는 명백한 성적 행위 묘사, 성적 대화의 자세한 묘사, 음란한 성적 표현, 성적 자극을 유도하는 선정적 장면 등이 포함됐다.

또 ‘폭력적 내용’에는 잔혹한 장면 및 과도한 고통을 유발하는 행위, 구체적인 묘사로 사용자에게 불쾌감을 줄 수 있는 상황이 제시됐다.

뤼튼은 정책 기준을 위반하는 상황에 따라 이용자 차단, 캐릭터 차단 등 제재를 적용한다. 뤼튼은 "세이프티 필터가 완벽한 것은 아니고 민감한 캐릭터 표시가 되지 않은 채 제작되는 부적절한 캐릭터들이 있을 수 있다"며 "이런 경우에 대해서는 직접적으로 제재를 가한다"며 이용자들에게 신고를 당부했다.

뤼튼 외에 스캐터랩도 AI 스토리 플랫폼 ‘제타’(zeta)에서 청소년과 AI 간 부적절한 대화의 차단 방안을 강화하고 있다.

스캐터랩은 어뷰징(의도적 조작 행위) 탐지 모델, 키워드 필터링 시스템 등 기술적 조치에 더해 AI 윤리 준칙 및 운영정책 수립, 상시 모니터링을 통해 부적절하게 이용한 사람들에 대해 이용 정지 등 제재를 도입했다.

‘어뷰징 탐지 모델’은 AI가 부적절한 발화(發話), 상황, 맥락을 탐지해 대화를 차단하며, ‘키워드 필터링 시스템’은 대화 중 부적절한 키워드를 감지한 뒤 대화를 막는다.

캐릭터 생성 과정에도 키워드 필터링 시스템이 적용된다. 캐릭터 생성 시 선정성, 폭력성, 혐오성 등을 담은 프롬프트(명령어)나 부적절한 이미지 등록 시도는 자동으로 거부된다.

스캐터랩은 부적절한 제타 이용과 관련해 "삼진아웃제 도입, 비상 대응 시스템 구축 등 다양한 방안도 마련하고 있다"며 "최대한 윤리적 조치를 강화하고 앞으로도 기술적 한계를 보완할 예정"이라고 밝혔다.

4월 초 선보인 제타는 8월 초 기준 이용자가 60만 명, 생성 캐릭터 수 65만 개를 기록하고 있다.

오남석 기자