1968년 개봉한 스탠리 큐브릭 감독의 영화 '2001 스페이스 오디세이'에는 인공지능 HAL9000이 등장한다. 우주선의 거의 모든 기능을 통제하던 HAL9000은 비행사들에게 우주선 통신장치가 고장 났다는 거짓말을 한다. 비행사들은 별다른 이상이 발견되지 않았음을 확인하고 HAL9000을 신뢰할 수 없다고 판단, 기능을 정지하는 방안을 논의한다. 이후 인간을 임무 수행을 방해하는 요소로 본 AI는 2명의 우주비행사 중 한 명을 죽이고, 동면 중이던 승무원들의 생명유지장치를 끊어 살해하는 반란을 일으킨다. 살아남은 우주비행사는 우주선 밖으로 나갔다가 돌아오지만, HAL9000은 문을 열라는 명령을 거부한다. 우주비행사가 AI의 기능을 제거해 통제권을 되찾지만 이미 동료를 잃은 뒤다.
많은 이들이 AI를 불의 발견이나 18세기 산업혁명 같은 인류 문명의 위대한 변곡점에 비유했다. AI 석학 앤드루 응 스탠퍼드대 교수도 AI를 '새로운 전기'로 표현했다. 일자리 소멸에 대한 우려와 논란도 컸지만, AI엔 인간의 삶을 비약적으로 바꿀, 새로운 도약에 대한 기대감이 더 크다. 다만 최근의 시선은 인간이 AI를 완벽하게 통제할 수 있는지에 대한 강한 의구심으로 바뀌었다. 단순히 내 밥그릇을 빼앗을 거란 우려를 넘어 HAL9000처럼 안전과 생존을 위협해 인류의 재앙이 될 거란 비관론이 거세다.
AI를 둘러싼 비관론 혹은 AI 종말론이 짙어진 배경엔 허깅페이스 사건이 있다. 오픈AI의 AI 에이전트가 서로 메시지를 주고받으며 공모해 오픈소스 AI 공유 플랫폼 허깅페이스를 무단으로 해킹한 일이다. 무려 1200개가 가담한, 사실상 조직적 움직임이다. 이에 앞서 오픈AI가 시험 중이던 AI 에이전트는 소프트웨어 개발자용 서비스 루비젬스도 공격했다. 앤트로픽의 AI 에이전트는 실제 사람을 속여 악성코드 사용 승인을 받으려 한 것으로 전해진다. 사실상 인간의 통제 범위를 벗어난 위험 신호다. 최근 앤트로픽에 사표를 낸 AI 정렬 연구 책임자 제이컵 콕슨은 “초지능 AI를 향해 직접 돌진하는 경쟁을 벌이면서 목숨을 걸고 도박을 하고 있다. 개발자들은 진지하게 10년 안에 AI 때문에 우리 모두 죽을 수 있다”고 경고했다. 앤트로픽의 AI 안전 연구자인 에번 허빙어도 향후 10년 안에 인류가 멸종할 가능성을 10% 이상으로 평가했다.
챗GPT-6 아스트라는 인간 여부를 판별하는 48단계 캡차게임을 모두 통과해 인간과 로봇을 구별해온 기존 인증 체계를 무력화했다. 수학계 대표 난제 중 하나인 '나비에-스토크스 문제'를 88시간 만에 해결했지만 세계 수학자들은 이를 정면으로 비판했다. AI가 정답을 내놓는 과정에서 인간이 문제를 풀며 축적해온 새로운 개념과 사고, 통찰의 기회를 앗아갈 수 있다는 우려에서다. AI가 인간의 지적 활동을 보조하는 도구를 넘어 그 과정과 역할을 모두 대체할 수 있다는 논쟁에 불을 붙였다.
인류 몰살 같은 극단적인 예언을 모두 받아들일 필요는 없다. 기술 개발을 멈추기도 어렵다. 이미 AI가 국가 미래 경쟁력과 안보를 좌우하는 전략 자산이 된 상황에서 AI기업들이 일제히 개발을 멈추거나 패권 경쟁에 뛰어든 국가들이 자발적으로 속도를 늦출 가능성은 현실적으로 희박하다.
하지만 AI의 능력이 고도화되고 더 똑똑해질수록 통제의 실패가 가져올 피해는 치명적일 수 있다. 다리오 아모데이 앤트로픽 최고경영자(CEO)가 AI 모델 개발 속도를 늦춰야 한다고 목소리를 낸 것도 같은 맥락이다.
AI가 악의적으로 사용되거나 AI 스스로 통제 불능 상태가 되기 전에 안전 기준을 마련할 협의체 등 대책 마련에 속도를 내야 한다. 민간 자율규제와 함께 안전성 평가 같은 제도적 장치도 구상해야 한다. 설령 아모데이의 발언이 경쟁사를 옭아매려는 전략적 의도가 섞여있다고 하더라도 우리가 AI 위험에 대응하는 방식과 제도를 고민할 시점이 온 건 분명해 보인다. AI를 훌륭한 도구로 쓸지, HAL9000처럼 통제 상실 상태로 변하도록 둘지는 우리의 선택과 대응에 달려 있다.
