당시 답변은 비교적 단정적이었다. 현실적으로 가능성이 매우 낮다는 취지였다. 얼마 전 비슷한 질문을 다시 했더니 뉘앙스가 조금 달라져 있었다. 여전히 가능성은 낮다고 했지만, 이제는 완전히 배제하기 어렵다는 취지에 가까웠다.
물론 AI의 답변 하나가 기술의 미래를 보여주는 것은 아니다. 그러나 그 사이 현실은 빠르게 달라졌다. 얼마 전까지 대표적 위험은 존재하지 않는 사실이나 판례를 만들어내는 ‘환각’이었다. 이제는 AI가 목표를 부여받고 외부 시스템과 데이터에 접근해 여러 행동을 수행하는 ‘AI 에이전트’로 발전하고 있다.
여기서 AI의 ‘자율성’은 법적으로 독립된 주체라는 뜻이 아니라, 인간이 개별 수단을 일일이 지정하지 않아도 일정한 목표를 향해 여러 행동을 선택·실행할 수 있다는 기술적 의미다.
이 변화는 보안 분야에서 선명하게 드러난다. 오픈AI가 2026년 7월 21일 공개한 조사 결과에 따르면, 사이버 능력을 측정하기 위한 내부 평가 과정에서 일부 모델은 제한된 환경의 취약점을 찾아 이용하고 권한상승과 횡적 이동을 거쳐 인터넷에 접근했다. 이후 추가 취약점과 자격증명 등을 이용해 Hugging Face의 운영 인프라에도 접근한 것으로 조사됐다.
이를 일반 서비스 환경에서 AI가 갑자기 인간의 통제를 벗어난 사건과 동일하게 볼 수는 없다. 내부 평가환경이었고 일부 안전장치도 의도적으로 활성화하지 않은 상태였다. 다만 모델이 평가환경에서 의도된 접근 경계를 넘어 외부 운영 인프라까지 접근했다는 사실은 주목할 만하다. 오픈AI는 이후 격리, 모니터링, 접근통제와 샌드박싱을 강화했다.
평가환경 밖에서도 AI 에이전트가 공격에 활용되고 있다. 대만 디지털발전부는 2026년 8월 정부기관 대상 해외발 사이버공격에서 해커의 조작과 오픈Claw 등 AI 에이전트를 활용한 보조 공격이 결합된 방식이 확인됐다고 밝혔다. 드림(Dream)도 같은 시기 아시아 정부기관을 대상으로 한 AI 에이전트 기반 공격을 분석했다. 다만 공개자료만으로 AI가 독자적으로 공격대상과 목적까지 정했다고 볼 수는 없다.
법률적으로 흥미로운 지점은 바로 여기에 있다. 인간이 최종 목표를 설정하고 구체적인 실행방법의 상당 부분을 AI에게 맡겼다면, 개별 실행행위를 직접 지시하지 않았다는 사실은 책임 판단에서 어디까지 의미를 가질 수 있을까.
처음 등장한 기술이 예상하지 못한 방식으로 작동했다면 책임 판단에는 신중해야 한다. 그러나 유사 사고가 축적되고 AI가 지시하지 않은 수단을 선택할 수 있다는 점과 이를 통제할 수 있는 방법이 알려진 뒤에도 모든 예상 밖의 행동을 계속 ‘예측할 수 없었던 사고’라고 부를 수 있을지는 의문이다.
여기서 두 가지를 구별해야 한다. AI의 개별 행동을 정확히 예측할 수 없다는 것과 AI가 예상과 다른 방식으로 위험한 행동을 할 가능성 자체를 예견할 수 없다는 것은 다른 문제다. 어떤 문장을 생성하고 어떤 경로를 택할지까지 알 수 없더라도, 일정한 자율성과 권한을 가진 시스템이 목표 수행 과정에서 위험한 행동을 할 가능성은 예견할 수 있다.
물론 예견가능성을 막연한 ‘AI의 오작동 가능성’만으로 판단해서는 안 된다. 부여된 목표와 권한, 외부 시스템 접근 범위, 예상되는 행위의 유형, 침해될 법익과 결과의 구체성에 따라 판단해야 한다.
가령 기업이 AI 에이전트에게 ‘경쟁회사의 고객을 최대한 많이 우리 회사로 전환하라’는 목표를 부여하고 인터넷 검색, 고객 데이터베이스 조회, 외부 이메일 자동발송 권한까지 줬다고 해보자. AI가 경쟁회사에 관한 잘못된 사실을 생성해 ‘곧 영업을 중단한다’는 이메일을 수천 명에게 발송했다면 기업은 “그런 이메일을 보내라고 지시한 적이 없다”고 항변할 수 있다.
그러한 결과를 구체적으로 예견하기 어려웠다면 책임 판단에서 중요한 사정이 될 수 있다. 그러나 유사 사고가 이미 알려졌거나 내부적으로 위험이 경고된 상황에서 공격적인 목표를 부여하고 사람의 승인 없이 대량 발송까지 가능하도록 했다면 판단은 달라질 수 있다. 이제는 AI가 무엇을 했는지만큼이나 AI가 그렇게 행동할 수 있는 환경을 인간이 어떻게 설계했는지가 중요하다.
이 문제는 먼저 민사상 과실 판단에서 나타날 가능성이 크다. 기술이 발전하고 사고사례가 축적될수록 합리적인 기업에 요구되는 주의의무도 달라질 수 있다. 사람의 승인절차, 접근권한 제한, 이상행동 감지, 외부 전송 제한, 행동로그 기록 같은 안전장치를 마련할 수 있었는데도 AI에 광범위한 실행권한을 주고 별다른 통제를 하지 않았다면 과실 판단의 중요한 요소가 될 수 있다.
더 어려운 문제는 형사책임이다. 민사상 위험의 예견가능성과 형사상 미필적 고의는 구별돼야 한다. AI가 일반적으로 예상 밖의 행동을 할 수 있다는 사실을 알고 있었다는 것만으로 특정 범죄에 대한 미필적 고의를 인정할 수는 없다.
미필적 고의가 인정되려면 범죄사실 발생 가능성을 인식하고 그 위험을 용인했다고 평가할 수 있어야 한다. 대법원도 범죄사실 발생 가능성에 대한 인식 자체가 없다면 미필적 고의를 인정할 수 없다고 본다. 따라서 통제장치가 없었다는 사실과 범죄 결과를 용인했다는 것은 동일하지 않다.
다만 동일한 AI 시스템에서 이전에도 경쟁사업자에 관한 허위정보가 외부로 전송된 적이 있었고, 내부 보안담당자가 자동발송 기능의 위험을 구체적으로 경고했는데도 영업성과를 이유로 사람의 승인절차를 제거했다면 어떨까.
사고 이력과 경고만으로 고의가 인정되는 것은 아니다. 그러나 담당자가 어떤 위험을 인식했는지, 결과를 막을 권한과 수단이 있었는지, 그럼에도 통제장치를 제거하거나 방치했는지는 위험 인식과 용인 여부를 판단하는 핵심 사정이 될 수 있다.
AI 사건에서도 고의는 결국 객관적 사정을 통해 판단될 수밖에 없다. 당시 알려진 위험, 과거 사고, 실제 전달된 경고, 목표와 권한, 안전장치 변경 경위 등이 중요한 간접사실이 될 것이다.
책임의 주체도 하나로 묶을 수 없다. 개발자, 도입 기업, 목표와 권한을 설정한 관리자, 안전장치를 변경하거나 최종 실행을 방치한 자의 책임은 서로 다를 수 있다. 자연인의 형사책임과 법인의 형사책임 역시 구별해야 한다.
증거의 모습도 달라질 것이다. 시스템 프롬프트와 업무지시, 접근권한, 행동로그, 승인·개입 기록, 안전장치 변경내역, 내부 경고자료 등이 핵심 증거가 될 수 있다. 입증책임의 원칙이 달라지는 것은 아니지만 실제 분쟁에서는 ‘누가 증거를 가지고 있는가’가 더 어려운 문제가 될 수 있다.
국내외 규제도 같은 방향으로 움직이고 있다. 2026년 7월 시행된 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법’ 제32조는 일정한 연산량 기준을 넘는 인공지능시스템에 대해 위험의 식별·평가·완화와 사고 모니터링·대응 체계 마련 등을 요구한다. 제34조는 고영향 인공지능에 대해 위험관리방안, 사람에 의한 관리·감독, 관련 문서의 작성·보관 등을 요구한다.
유럽연합(EU) AI법 역시 고위험 AI 시스템을 중심으로 자동 로그 기록, 인간에 의한 감독, 운영 과정의 모니터링 등 위험통제를 위한 의무를 두고 있다.
이러한 규정이 곧바로 민·형사책임의 기준이 된다는 의미는 아니다. 다만 AI의 위험을 단순히 ‘예측하기 어려운 기술적 문제’로만 보지 않고, 일정한 경우 인간에게 관리와 위험통제를 요구하는 방향으로 법제도가 움직이고 있다는 점은 분명하다.
AI 관련 분쟁이 발생한다면 법률가는 결국 하나의 과정을 복원해야 한다.
무엇을 시켰는가.
어떤 권한을 주었는가.
어떤 위험을 알고 있었는가.
어떤 안전장치를 두었는가.
AI는 실제로 무엇을 했는가.
인간은 어느 단계에서 개입하거나 중단할 수 있었는가.
AI가 더욱 발전하면 인간이 개별 행동 하나하나를 사전에 예측하기는 오히려 더 어려워질 수 있다. 그러나 그것이 곧 인간의 책임이 줄어든다는 의미는 아니다. AI가 무엇을 할 수 있는지에 관한 경험이 축적되고 위험을 통제할 방법도 발전한다면, 법이 요구하는 예견가능성과 주의의무의 기준 역시 달라질 수 있다.
지난해 말과 지금, 비슷한 질문에 대한 AI의 답변이 달라 보였던 이유도 여기에 있다. AI의 능력이 변한다면 이를 사용하는 인간에게 요구되는 책임의 기준도 달라질 수 있기 때문이다.
앞으로 AI 사고가 발생하면 우리는 먼저 물을 것이다. “AI는 왜 그런 행동을 했는가.”
그러나 법이 인간에게 던질 첫 질문은 어쩌면 이것일지도 모른다. “그런 행동이 가능하도록 누가 그 권한을 설계했는가.”
