딥페이크·성착취 이미지 생성 논란…'그록'이 뭐길래?

▲딥페이크·성착취 이미지 생성 논란…'그록'이 뭐길래?, 엑스(X)에 탑재된 인공지능(AI) 챗봇 ‘그록(Grok)’ 논란 (AFP/연합뉴스)

▲딥페이크·성착취 이미지 생성 논란…'그록'이 뭐길래?, 엑스(X)에 탑재된 인공지능(AI) 챗봇 ‘그록(Grok)’ 논란 (출처=그록 캡처)

엑스(X·옛 트위터)에 탑재된 인공지능(AI) 챗봇 ‘그록(Grok)’을 둘러싼 딥페이크·성착취 이미지 생성 논란이 확산되고 있다. 일부 국가는 접속 차단에 나섰고, 국내에서도 청소년 보호 조치를 요구하는 등 규제 논의가 본격화되고 있다.

그록은 xAI가 개발한 생성형 AI 챗봇으로, 엑스 플랫폼과 연동돼 텍스트 대화는 물론 이미지 생성과 사진 편집 기능을 제공한다. 이용자는 텍스트 명령어를 입력해 새로운 이미지를 만들거나 기존 사진을 수정할 수 있다.

문제는 이미지 생성 과정에서 대상자의 동의 여부나 연령을 확인하는 절차가 없었다는 점이다. 실제로 그록을 이용해 실존 인물의 사진을 성적으로 변형한 딥페이크 이미지가 다수 생성·유통됐고, 여성과 아동·청소년을 대상으로 한 성착취 이미지 사례도 확인됐다. 파리 소재 비영리단체 ‘AI 포렌식’은 그록이 생성한 이미지 2만여 장을 분석한 결과, 절반 이상이 노출이 심한 인물을 묘사하고 있었으며 약 2%는 미성년자 이미지였다고 밝혔다.

해외에서는 강경 대응이 이어지고 있다. 인도네시아는 10일(현지시간) 세계 최초로 그록 접속을 전면 차단했고, 말레이시아도 일시적인 접속 제한 조치를 시행했다. 영국 미디어 규제기관 오프콤은 엑스가 법을 위반했는지 여부에 대한 공식 조사에 착수했으며, 위반 시 전 세계 연간 매출의 최대 10%에 달하는 과징금이 부과될 수 있다. 프랑스 역시 이번 사안을 유럽연합(EU) 디지털서비스법 위반 가능성으로 보고 규제기관에 회부했다.

국내에서는 방송미디어통신위원회가 엑스 측에 청소년 보호를 위한 안전장치 마련을 요청했다. 방미통위는 그록 서비스로 불법 행위가 촉발되지 않도록 안전장치를 마련하고, 청소년 접근 제한과 관리 조치 계획을 수립해 회신하라고 통보했다. 한국에서는 당사자 동의 없이 성적 허위영상물을 제작·유통·소지·시청하는 행위가 형사처벌 대상이라는 점도 전달했다.

논란이 커지자 엑스는 그록의 이미지 생성 기능에 일부 제한을 도입했다. 실제 인물의 노출 이미지 생성과 편집 기능을 특정 지역에서 차단하고, 관련 기능을 기술적으로 제한하겠다고 밝혔다. 다만 이미 생성·유통된 딥페이크 이미지에 대한 근본적인 해결책은 아니라는 지적도 이어지고 있다.

▲딥페이크·성착취 이미지 생성 논란…'그록'이 뭐길래?, 엑스(X)에 탑재된 인공지능(AI) 챗봇 ‘그록(Grok)’ 논란 (로이터/연합뉴스)