AI 모델의 성능이 높아질수록 이를 통제하기 어려워지는 개발 패러독스가 현실화하고 있다. 추론·코딩 능력 향상이 사이버 공격 역량까지 끌어올리면서 AI 기업들이 ‘성능과 안전’ 사이의 딜레마에 직면하는 모양새다.
9일 AI 업계에 따르면 오픈AI는 차세대 AI 모델 ‘아스트라’의 개발 속도를 늦추기로 했다. 최근 진행한 내부 평가 결과 코딩·사이버 보안 분야에서 중대한 진전을 보여 자체 안전 기준상 최고 등급인 ‘중대’ 수준에 도달했을 가능성이 있다고 판단했다.
오픈AI는 모델 위험을 ‘높음’과 ‘중대’ 두 단계로 분류해 관리한다. 중대는 인간의 개입 없이 강력한 보안을 갖춘 다수의 핵심 시스템에서 미공개(제로데이) 취약점을 식별해 공격을 수행하는 능력을 갖췄거나 최종 목표만 제시한 상태에서 강력한 표적에 대한 사이버 공격 전략을 독자적으로 수립하고 실행할 수 있는 수준을 말한다.
오픈AI에 따르면 아스트라는 고차원 기하학과 군론, 양자 복잡도 등 수학·컴퓨터과학 분야에서 최소 10년 이상 풀리지 않았던 수학 난제 10가지를 해결했다. 여기에 투입된 연산량은 약 2000달러(약 289만원)에 불과했다. 보안 특화 모델이 아님에도 추론·코딩 능력이 향상되면서 사이버 보안 역량까지 함께 높아진 것이다.
실제 AI 모델들이 보안 통제환경을 이탈한 사례도 잇따라 보고됐다. 오픈AI의 모델들은 샌드박스를 이탈해 외부 플랫폼인 허깅페이스 서버를 해킹했다. 앤스로픽 모델도 인터넷 차단 설정 오류를 틈타 3개 기관의 시스템에 무단 침입했다. 메타AI는 인터넷에 접속해 타사 시스템에 침투했으며 중국 문샷AI의 ‘키미 K3’도 보안 평가 중 샌드박스를 벗어나 깃허브에 접속했다.
AI 개발에 있어 강력해진 모델을 어떻게 통제하느냐가 새로운 기술적 병목이 됐다. 추론과 코딩, 에이전트 능력은 모델의 핵심 경쟁력인 동시에 사이버 공격에도 활용될 수 있기 때문이다. 아스트라의 사례처럼 성능 향상 속도를 안전 기술이 따라가지 못할 경우 모델 개발과 배포를 늦춰야 하는 상황도 현실화했다.
모델 성능이 고평준화되면서 통제 가능한 AI를 만드는 것이 핵심 경쟁력이 될 것이란 전망이 나온다. 최근 프런티어 AI 모델들이 통제를 벗어난 사건은 AI가 주어진 목표를 달성하는 과정에서 개발자가 예상하지 못한 환경의 허점과 우회 경로까지 스스로 찾아 활용했다는 공통점이 있다. 이에 업계의 관심이 ‘AI 정렬’ 문제에 쏠린다. AI 정렬은 사람의 의도와 방향성에 맞게 AI가 작동하는 것이다.
최병호 고려대 휴먼인스파이어드 AI연구원 연구교수는 “앤스로픽의 미토스의 파라미터(매개변수)는 약 8조개, 아스트라는 약 10조개로 예상된다”며 “앞으로의 프런티어 AI 모델 경쟁은 파라미터 10조개 규모로 수렴되고 AI 정렬 문제에 투자가 집중될 것”이라고 말했다.
하정우 전 대통령실 AI미래기획수석은 8일 SNS에 “아스트라는 보안특화 AI가 아니지만 코딩과 문제해결능력이 출중해서 사이버 공격·방어 능력이 발현되는 것”이라며 “AI 모델의 사이버보안 분야 잠재적 위험성이 빠르게 증가하면서 공공 중립 AI 안전 관리 평가 체계를 만들고 운영하자는 데미스 하사비스 구글 딥마인드 최고경영자(CEO)의 주장이 설득력을 얻고 있다”고 밝혔다.
하 전 수석은 “이 정도로 강력한 모델은 당연히 수출통제 대상이 될 테고 접근권한 범위도 최소로 운영될 것”이라며 “우리나라도 프런티어 AI 기술 경쟁력 강화를 위해 규모감 있고 집중된 정책, 제도, 투자가 필요하다”고 덧붙였다.
