금융보안원이 금융권에 확산하는 AI 에이전트를 겨냥한 전용 보안 평가 기준을 내놨다. AI가 스스로 판단하고 실행하는 과정에서 생기는 새로운 유형의 보안 위협을 미리 걸러내겠다는 취지다.
금융보안원은 6개 분야 17개 점검 항목으로 구성된 '금융분야 AI 에이전트 보안 평가 기준'을 개발했다고 7일 밝혔다.
AI 에이전트는 주어진 목표를 이루기 위해 스스로 계획을 세우고 각종 도구와 외부 시스템을 활용해 실제 작업까지 수행하는 AI 시스템이다. 답변 텍스트를 만드는 데 그치는 기존 대형언어모델(LLM)과 달리 직접 실행할 수 있는 능력과 권한을 가진다.
금융보안원은 이런 특성이 기존 생성형 AI의 위험을 한층 키울 수 있다고 진단했다. 그동안 생성형 AI의 주된 보안 위협이 답변 오류였다면, 자율성·능동성·실행력·전략성·연속성을 갖춘 AI 에이전트는 이런 위협을 '실제 행위'로 옮겨 놓을 수 있다는 설명이다. 사람의 개입 없이 문제 정의부터 계획 수립, 실행까지 알아서 처리하는 만큼 보안 사고가 터지면 실제 업무에 곧바로 피해가 생길 수 있다.
금융보안원은 국내외 주요 AI 에이전트 보안위협 및 대응방안을 분석해 점검 항목을 도출했다.
기존 AI 모델 위협 점검 기준에서 에이전트 환경에 맞게 범위를 넓힌 항목이 대표적이다. 데이터 오염 분야에선 작업 중 쌓이는 메모리가 오염돼 이후 작업까지 번지는 것을 막는 '메모리 오염 방지' 항목이 생겼다.
모델 오염 분야에선 검증 대상이 모델 자체에서 외부 도구·플러그인 등 구성 요소 전반으로 확대되면서 '공급망 보안'이 추가됐다. 권한을 위임받은 에이전트가 세션이나 사용자 간 정보를 흘릴 수 있다는 점을 고려해 '메모리 격리', '데이터 유출 방지' 항목도 마련했다. 탈옥·간접 인젝션 등으로 필터링을 우회한 결과가 단순 답변이 아니라 계획 왜곡이나 실제 실행으로 이어질 수 있는 만큼 인터페이스 보안, 환각·오정보 대응, 로깅 및 감사체계 구축도 점검한다.
가장 크게 늘어난 건 'AI 에이전트 보안' 분야다. 기존엔 도구 호출 제한, 실행 권한, 실행 횟수 제한 정도를 봤지만 이번엔 자율 실행, 승인 우회, 자원 고갈 등 에이전트 고유의 위협을 다루는 10개 항목으로 확대했다.
특히 17개 항목 가운데 8개는 기존 항목을 확장한 게 아니라 AI 에이전트 도입으로 새로 등장한 위협을 겨냥했다. △목표 무결성 △연쇄적 실패 대비 △취약한 도구 사용 금지 △도구 권한 제어 △샌드박스 환경 구축 △인적 승인체계 구축 △인적 개입 과부하 방지 △에이전트 간 통신보안 등이다. 이 밖에 자원 고갈 방지, 킬스위치 구현 항목도 포함됐다.
금융보안원은 이번 기준을 금융회사 대상 AI 레드티밍(모의 공격을 통한 취약점 점검)에 반영한다. 에이전트가 실제로 무엇을 어떻게 실행하는지, 그 과정이 어떻게 통제되는지를 확인하기 위해서다.
이를 위해 탈옥이나 시스템 프롬프트 유출 등 모델 계층 중심이던 점검을 실행 계층까지 넓힌다. △실행 권한 및 격리 관리 여부 △도구 실행 및 승인 통제 여부 △작업 범위 및 결과 확인 여부 △자율 실행 제한 및 중단 여부 등을 집중적으로 살필 계획이다.
금융보안원은 올해 말까지 시범 검증을 거쳐 항목별 실효성을 점검하고, 내년부터 정식 점검 기준으로 확대 적용할 방침이다. 시범 과정에서 확인된 점검 가능 여부와 금융회사별 구현 방식 차이 등을 반영해 점검 항목과 방법을 구체화한다. 레드티밍에서 드러난 AI 에이전트 보안 위협과 실제 공격 기법, 최종 평가 기준 등은 올해 'AI 레드팀 리포트'를 통해 공개할 예정이다.
박상원 금융보안원장은 "AI 에이전트는 판단에서 멈추지 않고 직접 행동한다는 점에서 기존 AI와는 다른 보안 리스크를 안고 있다"며 "이번 평가 기준을 계기로 금융권 AI 에이전트의 위험을 실질적으로 검증하고, 금융회사가 안전하고 신뢰할 수 있는 방식으로 AI 기술을 활용하도록 적극 지원하겠다"고 말했다.
