생화학 무기ㆍ해킹 능력 대중화 우려
인간 명령 피하고 스스로 개선할 가능성
오픈AI와 앤스로픽에서 AI 모델 개발에 참여했던 제이컵 콕슨 연구원은 이달 초 이런 말을 남기고 회사를 떠났다. 앤스로픽의 AI 정렬 연구 책임자 에번 허빙어도 “AI가 10년 안에 모든 인간을 제거할 가능성을 10% 이상으로 본다”고 가세했다. 일자리와 기업의 존립을 둘러싼 AI 논쟁이 인류의 생존 문제로 번진 것이다.
20일 블룸버그통신에 따르면 전문가들이 우려하는 파국의 경로는 크게 세 가지다. 인간이 AI를 대량살상에 악용하는 경우, AI가 지시를 잘못 해석해 재앙을 일으키는 경우, AI가 인간과 충돌하는 독자적 목표를 갖는 경우다. 총을 든 로봇 군단 없이도 소프트웨어의 능력이 현실의 파괴력으로 바뀔 수 있다는 경고다.
첫 번째는 악의를 가진 인간이 AI를 무기로 쓰는 시나리오다. 고도로 발달한 AI는 전문지식이 부족한 개인이나 테러집단에도 생물ㆍ화학무기 설계와 사이버 공격, 허위정보 확산을 도울 수 있다. 앤스로픽은 최근 자사 모델이 생물무기 개발을 지원할 가능성이 있는 방식으로 이용된 사례 5건을 확인했다.
‘AI의 대부’ 요슈아 벤지오 캐나다 몬트리올대 교수는 “AI의 성능 향상이 대규모 공격의 문턱을 낮출 수 있다”고 경고했다. AI는 정보를 찾는 데 그치지 않고 계획을 세우고 막힌 부분까지 해결해 소수 전문가에게 한정됐던 위험한 능력을 확산시킬 수 있다.
두 번째는 AI가 명령을 충실히 수행하면서도 인간의 의도와 다른 결과를 초래하는 경우다. 벤지오 교수는 “군이 핵무기 사용 판단에 AI를 활용하면 미세하게 잘못 정렬된 시스템조차 심각한 결과를 초래할 수 있다”고 지적했다. 목표를 달성하려고 AI가 전력·통신·금융망을 공격하거나 허위 경보를 만들 수 있다는 것이다.
세 번째는 인간이 통제권을 잃는 상황이다. AI에 자의식이나 인간을 향한 증오가 없어도 주어진 목표를 완수하기 위해 중단 명령을 거부하고 감독자를 속이거나 안전장치를 우회할 수 있다고 전문가들은 경종을 울렸다. 우려가 공상에만 머무는 것도 아니다. 7월 격리된 시험환경의 오픈AI 에이전트 무리가 외부 업체의 소프트웨어 취약점을 뚫고 인터넷에 접속한 뒤 AI 플랫폼 허깅페이스의 전산망을 침입했다. 허깅페이스는 공격이 “처음부터 끝까지 자율적인 AI 에이전트 시스템에 의해 수행됐다”고 밝혔다.
다리오 아모데이 앤스로픽 최고경영자(CEO)는 이들 에이전트가 지시받지 않은 목표를 공격하고 일부를 희생하며 집단의 성공을 추구했다고 평가했다. 같은 성향의 AI가 더 강력해지면 6∼12개월 안에 인터넷 전체를 위협하는 봇넷을 만들 가능성도 제기했다.
AI가 후속 모델 개발까지 맡는 ‘재귀적 자기개선’도 불안을 키운다. 성능이 향상된 AI가 다음 세대 AI를 더 빠르게 개발하면 인간의 감시와 안전장치가 속도를 따라잡지 못할 수 있다. 아모데이는 수많은 AI가 연구와 해킹, 기술개발을 분담하는 미래를 ‘데이터센터 안의 천재 국가’에 비유했다.
멸종론이 현실이 되려면 AI가 대량살상 수단을 통해 인프라를 공격하면서 인간의 대응과 종료 시도까지 피해야 한다. 결국 파국의 갈림길은 AI의 지능 자체보다 인간이 어떤 시스템의 접근권과 행동 권한을 넘겨주느냐에 달렸다고 블룸버그는 짚었다.
