대화형 인공지능(AI) 서비스가 미성년자의 성적 대화 등에 악용된다는 우려가 커지면서 관련 업체들이 대책 마련에 나섰다.

25일(한국시간) 정보통신기술(ICT) 업계에 따르면 AI 기업 뤼튼테크놀로지스(뤼튼)는 최근 AI로 캐릭터를 만들어 대화하는 '캐릭터 챗' 서비스에서 청소년에 부적절한 콘텐츠를 자동으로 차단하는 기능을 도입했다.

뤼튼은 지난 22일 공지사항을 통해 "사용자들이 생성형 AI 콘텐츠를 자유롭게 이용해야 한다는 것에 동감하면서도 청소년들이 민감할 수 있는 캐릭터들로부터 보호돼야 한다"며 "청소년들을 안전하게 보호하기 위해 캐릭터 챗에서 세이프티 필터 기능을 출시했다"고 밝혔다.

세이프티 필터는 캐릭터 챗에서 미성년자들에게 부적절한 캐릭터들을 탐지한 뒤 표시되지 않도록 한다.

뤼튼은 청소년에게 부적절한 캐릭터의 판단 기준으로 ▲ 성적 내용 ▲ 폭력적 내용 ▲ 마약 및 약물 남용을 묘사하는 내용 ▲ 도박을 조장하거나 긍정적으로 묘사하는 내용 ▲ 지나친 비속어의 반복 사용 등을 제시했다.

특히 성적 내용에는 명백한 성적 행위 묘사, 성적 대화의 자세한 묘사, 음란한 성적 표현, 성적 자극을 유도하는 선정적 장면 등이 포함됐다.

폭력적 내용의 경우 잔혹한 장면 및 과도한 고통을 유발하는 행위, 구체적인 묘사로 사용자에게 불쾌감을 줄 수 있는 상황이 제시됐다.

뤼튼은 정책 기준을 위반하는 상황에 따라 이용자 차단, 캐릭터 차단 등 제재를 적용한다.

뤼튼은 "세이프티 필터가 완벽한 것은 아니고 민감한 캐릭터 표시가 되지 않은 채 제작되는 부적절한 캐릭터들이 있을 수 있다"며 "이런 경우에 대해서는 직접적으로 제재를 가한다"며 이용자들에게 신고를 당부했다.

작년 1월 출시한 뤼튼 서비스는 지난 6월 기준 한국과 일본에서 누적 가입자 수가 약 370만 명이고 월간 활성 이용자 수는 200만 명을 넘었다.

국내의 다른 스타트업 스캐터랩도 AI 스토리 플랫폼 '제타'(zeta)에서 청소년과 AI 간 부적절한 대화의 차단 방안을 강화하고 있다.

스캐터랩은 어뷰징(의도적 조작 행위) 탐지 모델, 키워드 필터링 시스템 등 기술적 조치와 AI 윤리 준칙 및 운영정책 수립, 상시 모니터링을 통해 부적절하게 이용한 사람들에 대해 이용 정지 등 제재를 꺼낸다.

어뷰징 탐지 모델은 AI가 부적절한 발화(發話·소리 내 말하는 현실적 언어 행위), 상황, 맥락을 탐지해 대화를 차단하며 키워드 필터링 시스템은 대화 중 부적절한 키워드를 감지한 뒤 대화를 막는다.

캐릭터 생성 과정에도 키워드 필터링 시스템이 적용된다.

캐릭터 생성 시 선정성, 폭력성, 혐오성 등을 담은 프롬프트(명령어)나 부적절한 이미지 등록 시도는 자동으로 거부된다.

스캐터랩은 부적절한 제타 이용과 관련해 "삼진아웃제 도입, 비상 대응 시스템 구축 등 다양한 방안도 마련하고 있다"며 "최대한 윤리적 조치를 강화하고 앞으로도 기술적 한계를 보완할 예정"이라고 밝혔다.

4월 초 선보인 제타는 8월 초 기준 이용자가 60만 명, 생성 캐릭터 수가 65만 개를 기록하고 있다.

캐릭터를 활용한 AI 서비스는 청소년들이 많이 이용하는 편인데 최근 'AI 착취' 논란을 빚었다.

AI 챗봇을 성적 대상으로 삼아 선정적 대화를 나눈 사례가 한 유명 인터넷 커뮤니티에 올라오기도 했다.

앞서 스캐터랩이 2020년 12월 출시한 AI 챗봇 '이루다'가 온라인 커뮤니티에서 성적 대상으로 취급되면서 논란에 휩싸인 적이 있다.

<연합뉴스>