'딥페이크·개인정보 유출' AI 사건 지난해 역대 최고치

딥페이크 성범죄·개인정보 부적절 수집 등 지난해 인공지능(AI)으로 인해 발생한 사건이 142건으로 최대치를 기록했다.

22일 소프트웨어정책연구소(SPRi)가 발간한 이슈리포트 '책임 있는 AI를 위한 기업의 노력과 시사점'에 따르면, 지난해 AI로 인해 발생하는 사건 수가 2023년 142건으로 전년 대비 48% 증가했다.

해당 통계는 AI 윤리 문제를 추적하는 공공 데이터 세트인 'AIAAIC'(AI, Algorithmic, and Automation Incidents and Controversies) 데이터베이스를 기반으로 상시 사건을 수집한 결과다.

수집된 사건에는 AI가 여성 연예인의 사진을 합성해 누드 이미지를 생성한 딥페이크 성범죄나, 자율 주행 자동차가 자율 주행 모드에서 보행자를 감지했으나 감속하지 않아 사망 사고를 일으킨 사건 등이 수집됐다. AI 챗봇 서비스가 민감한 개인정보를 부적절하게 수집한 사례도 포함됐다.

2013년 단 6건에 불과하던 AI로 인해 발생한 사건 수는 2023년까지 연평균 29.9%씩 급증했다. 사건 수는 2024년 7월까지 88건을 기록했는데, SPRi는 이러한 추세를 고려할 때 2024년 연말까지 총 150건 이상을 넘어 역대 최고치를 기록할 것이라고 분석했다. 또 올해 텔레그램을 중심으로 딥페이크 성범죄와 가짜뉴스 등이 범람한 만큼 실제 발생한 AI 관련 사건 수는 이를 웃돌 전망이다.

우리 정부는 지난달 AI 위험에 대응하고 AI 안전성을 지원해나갈 연구 전담 조직 ‘AI 안전연구소’을 출범했다. 미국, 영국, 일본, 싱가포르, 캐나다에 이어 여섯 번째 설립이다. 프랑스와 호주, 케냐도 AI안전연구소 설립을 준비하고 있다.

학계에서는 AI 안전과 관련된 연구가 꾸준히 이어지고 있다. SPRi가 AAAI, AIES, FAccT 등 국제 AI학술대회에 제출된 논문을 대상으로 분석한 결과, 책임 있는 AI 및 AI 안전과 관련한 기술적 연구 논문이 지난해 1094건으로 전년 대비 37.7% 늘었다.

현재 국회에는 AI 서비스 기업의 책임을 강화하고, 인간의 생명이나 신체 안전과 관련한 AI는 '고영향 AI'으로 분류해 사업자의 책임을 의무화하는 내용의 AI 기본법이 연내 제정이 점쳐진다. 해당 법안은 17일 국회 법제사법위원회를 통과해 30일 국회 본회의에 상정될 전망이다.

해당 법안 자체가 AI 산업 진흥에 집중한 만큼, 시민 단체와 국가인권위원회 등은 AI 기본법이 고위험 AI 실효적 처벌 조항 및 AI 윤리적 문제 대응에 부족하다고 우려하고 있다. 이는 향후 국회의 입법 과제이기도 하다.

참여연대는 입장문을 통해 "AI 기본법안에는 비윤리적인 인공지능의 금지 조항이 없고, 고위험(영향) 인공지능의 위험을 예방하는 충분한 의무 및 실효적 제재수단이 미비할 뿐 아니라 인공지능의 영향을 받는 시민의 권리 및 구제절차가 없다"고 밝혔다.