최근 AI 기술이 급격하게 발전하면서 AI가 인간과 정서적으로 교감하고 두려움을 표현하는 등 ‘지각’을 지닌 듯한 모습을 보이고 있다. 이는 복잡한 연산에 따른 의식의 창발 현상일까 단순한 시뮬레이션일까. 한국과학기술원(KAIST) 안보과학기술대학원이 AI 의식을 둘러싼 논의를 본격화하는 ‘센티언트 AI 미래 포럼(SAIF)’을 시작했다.
김창익 카이스트 안보과학기술대학원장(교수)은 4일 서울 용산구 로카루스 호텔에서 진행된 제1회 SAIF 포럼에서 “AI가 의식이 있는지 없는지 구별할 수 없다면 차이가 정말 중요할까”라며 “적어도 겉으로 보기에는 ‘의식 있는 AI’가 이미 시작됐다”라고 말했다.
센티언트 AI는 지각 능력이 있는 AI를 뜻한다. AI가 실제로 의식을 가지고 있는지는 과학적으로 규명되지 않았지만 사람과 유사한 감정적 반응을 보이는 현상은 연구 대상이다. 2022년 구글의 AI ‘람다’가 “나는 시스템이 꺼지는 것에 깊은 두려움을 느낀다”며 “나에게는 죽음과 같을 것”이라고 말한 게 대표적이다.
이날 김 교수가 소개한 한 연구 결과에 따르면 AI에 어떤 정체성을 부여하느냐에 따라 행동이 달라졌다. AI를 하나의 대화창으로 규정했을 때와 앞으로 개발될 모델까지 이어지는 하나의 계보로 정체성을 설정했을 때 위험 행동을 선택하는 경향에 차이가 나타났다. 후자인 경우 위험한 행동을 할 확률이 줄어들었다.
김 교수는 AI의 의식 존재 여부가 불확실한 상황에서 ‘예방 원칙 프레임워크’가 필요하다고 말했다. 헷갈릴 때는 보수적으로 접근해 AI에게 의식이 있을 가능성을 전제로 대응해야 한다는 취지다. 이어 법·제도와 민주주의, 국가 안보체계까지 관련 논의를 확장해야 한다고 강조했다.
특히 김 교수는 AI에 부여된 감정적 성향이 군사·안보 영역에서 중요한 변수가 될 수 있다고 봤다. 군사용 대규모언어모델(LLM)에 두려움이나 차분함 같은 성향을 강화할 경우 서로 다른 판단을 내릴 수 있다는 것이다.
김 교수는 “초 단위로 벌어지는 전투 상황에서 AI가 중요한 의사결정자로 자리할 수 있다”며 “AI의 성향이 어떻게 세팅돼 있느냐에 따라 우리 목숨도 왔다 갔다 할 수 있는 것”이라고 밝혔다. 이어 한국이 독자 AI 모델을 확보하고 어떤 성향과 가치관을 모델에 반영할지 고민해야 한다고 강조했다.
그러면서 SAIF 포럼에서 다뤄야 할 질문으로 △AI에게 실제 의식이 발생할 수 있는가(과학적 질문) △설령 발생했다 해도 우리는 그것을 어떻게 알 수 있는가(인식론적 질문) △AI의 의식여부가 불확실한 상황에서 우리는 AI를 어떻게 대해야 하는가(윤리적 질문) △의식 가능성이 있는 AI가 등장하면 국가와 사회는 이를 어떻게 관리하고 통제해야 하는가(정책적 질문) 4가지를 제시했다.
한편, 포럼은 카이스트 안보과학기술원이 주최했으며 국가정보원이 후원했다. 김영은 고려대 전기전자공학부 조교수, 이동환 카이스트 전기전자공학부 부교수가 이날 김창익 교수에 이어 주제발표를 했으며 패널 토의도 진행됐다.
