[반휘은의 AI 이야기] 컴퓨터가 그렇게 판단했습니다

▲반휘은 칼럼니스트/ AI컨설턴트. (출처=본인 제공)

이에 반해 산업은 빠르다. 기술, 트렌드, 하다못해 사내에서 쓰는 슬로건까지 최신 경향에 촉각을 곤두세우고 있지 않으면 도태되는 정글의 세계. 이러한 생존의 전장인 곳에서 최근 몇 년 사이 일터에서 AI의 도입과 그 실용성에 대한 논의가 빠르게 확산되고 있다. 기업들은 생산성과 비용 절감을 앞세워 AI 도입 및 자체적인 개발에 매진한다. AI 도입에 따른 전체적인 생산 효율성에 대한 갑론을박, 실제 사람의 노동력을 대체할만한 이점에 대한 의구심, 그리고 어떤 AI를 일컫는지에 대한 근본적인 담론은 계속되고 있지만, 적지 않은 연구 결과는 적어도 특정 업무에서 AI가 인간보다 빠른 처리 속도를 보일 수 있다는 점을 반복적으로 보여준다. 문서 요약, 데이터 분류, 법률 문서 분석과 같은 업무에서는 이미 AI가 상당한 수준의 효율성을 보이고 있다. 이런 흐름 속에서 AI는 더 이상 기술 업계의 실험적 도구가 아니라, 거의 모든 산업이 기본적으로 갖추어야 하는 인프라에 가까운 위치로 이동했다. 어떤 조직이 AI를 사용한다는 사실 자체가 더 이상 혁신의 신호가 아니라 단순히 시대에 뒤처지지 않았다는 최소한의 증명처럼 여겨지는 상황에 온 것이다.

행정 또한 예외가 아니다. 산업과 사회 전반에서 AI의 활용도가 확대될수록, 이를 규제하고 관리해야 할 의무를 가진 국가 역시 같은 기술을 행정 체계 안으로 끌어들이기 시작했다. 방대한 데이터를 관리하고, 반복적인 절차를 자동화하며, 정책 결정을 위한 분석을 빠르게 수행할 수 있다는 점에서 AI는 관료제에게 상당히 매력적인 도구다. 이미 여러 국가에서 행정 시스템에 AI가 도입되고 있다. 미국 정부는 팔란티어를 포함한 민간 기술 기업과의 협력을 통해 방대한 시민 데이터베이스를 보다 효율적으로 정리하고 분석하는 시스템을 구축하고 있다. 일부 시스템은 이민 행정이나 국경 관리와 관련된 데이터 처리에 사용되고 있으며, 정책 결정 과정에서 데이터 분석을 강화하는 역할을 한다. 한국 역시 비슷한 흐름을 보이고 있다. 행정안전부는 중앙정부와 지방자치단체의 행정 업무에 공공 AI 기술을 도입하기 위한 사업을 추진하고 있으며, 데이터 분석과 행정 자동화를 중심으로 한 시스템 구축을 계획하고 있다.

표면적으로 보면 합리적인 수순이다. 행정은 본질적으로 정보를 처리하는 조직이며, AI는 그러한 정보를 더 빠르게 분석하는 목적으로 개발된 기술이다. 복지 행정에서는 수많은 신청서를 검토해야 하고, 세무 행정에서는 방대한 거래 기록을 분석해야 하며, 치안 행정에서는 범죄 통계를 통해 위험 지역을 예측해야 한다. 공무원이 수개월에 걸쳐 수행하던 분석 작업을 AI가 몇 분 안에 처리할 수 있다면, 행정의 효율성이 크게 향상될 것이라는 기대는 쉽게 이해할 수 있다. 이러한 기대 속에서 AI 행정은 종종 ‘스마트 정부’라는 이름으로 소개된다.

그러나 문제는 행정의 효율성이 언제나 행정의 투명성과 함께 증가하지는 않는다는 점이다. 오히려 역사적으로 볼 때 효율성은 종종 불투명성을 동반해 왔다. 독일 사회학자 막스 베버는 근대 국가의 핵심 특징을 관료제에서 찾았다. 관료제는 합리적 규칙과 문서화된 절차를 통해 권력을 행사한다. 개인의 판단 대신 규정이 작동하고, 권력은 명확한 계층 구조 속에서 분배된다. 이러한 체계는 전통적 권력보다 훨씬 효율적이지만 동시에 개인에게는 거대한 구조처럼 느껴진다. 베버는 이를 ‘철창’에 비유했다. 인간은 자신이 만든 합리적 제도 속에 갇히게 되며, 행정 시스템은 인간을 개인으로 이해하기보다는 분류값으로 치부한다는 것이다.

AI가 도입된 행정은 이 철창을 새로운 방식으로 확장한다. 전통적인 관료제에서 결정은 규정과 인간 관료의 판단에 의해 이루어졌다. 시민은 행정 결정에 대해 질문할 수 있었고, 때로는 담당자를 찾아가 항의할 수도 있었다. 하지만 알고리즘이 개입한 행정에서는 상황이 달라진다. 결정은 더 빠르고 더 정확하게 내려질 수 있지만, 그 결정이 어떤 과정을 통해 만들어졌는지는 훨씬 이해하기 어려워진다.

앞서 언급했듯이 이미 여러 국가의 복지 행정에 AI 기반 심사 시스템이 도입되고 있다. 복지 신청자의 소득 기록, 가족 구성, 의료 기록, 과거의 행정 데이터 등을 종합 분석해 지원 대상 여부를 판단하는 시스템은 행정 비용을 줄이고 심사 속도를 높일 수 있다는 장점 덕분에 빠르게 확산되고 있다. 이러한 복지 심사 알고리즘이 특정 신청자를 탈락시키는 결정을 내렸다고 가정해 보자. 수백 개의 변수와 복잡한 모델 계산을 기반으로 이루어진 해당 결정의 과정은 외부에서 보이지도 이해하기도 어려운 미궁에 가깝다. 해당 시스템을 사용하는 공무원조차 어떤 방식으로 알고리즘이 작동해 결론에 도달했는지 설명하지 못하는 경우가 다반사다. 이에 지원이 거부된 시민이 이유를 물어도 돌아오는 답은 “시스템이 그렇게 판단했다”라는 것 이외엔 마땅히 없다. 결정의 결과값은 전달되지만 그 결정을 내린 주체와 책임이 흐릿해진다는 뜻이다.

난민 심사 과정에서도 비슷한 문제가 나타난다. 일부 국가에서는 난민 신청자의 데이터를 분석해 위험도를 평가하는 알고리즘이 사용되고 있다. 여행 경로, 출신 지역, 과거의 입국 기록과 같은 데이터를 기반으로 심사 과정의 우선순위를 정하는 방식이다. 이러한 시스템은 행정의 효율성을 높일 수 있지만, 동시에 판단의 기준을 더욱 불투명하게 만든다. 알고리즘이 어떤 데이터를 중요하게 평가하는지, 그리고 어떤 가정을 기반으로 결정을 내리는지 외부에서 확인하기 어렵기 때문이다.

치안 행정에서 사용되는 예측적 경찰 시스템 역시 예외는 아니다. 범죄 통계와 지역 데이터를 분석해 특정 지역이나 특정 인물이 범죄에 연루될 가능성을 예측하는 시스템은 범죄 예방을 위한 도구로 소개되지만, 동시에 과거의 편향된 데이터를 그대로 재생산할 수 있다는 비판도 받고 있다. 특정 지역이 과거에 더 많이 단속되었다면, 그 데이터는 다시 알고리즘을 통해 같은 지역을 위험 지역으로 분류할 가능성이 높아진다. 결국 AI는 과거의 행정 기록을 단순히 분석하는 것이 아니라, 필연적인 편향성이 동반된 기록을 미래의 정책으로 확장하는 역할을 하게 된다.

이러한 시스템은 효율성을 제공하지만 동시에 새로운 질문을 만든다. 알고리즘은 누구의 기준으로 위험을 계산하는가? 데이터는 어떤 방식으로 수집되었는가? 그리고 무엇보다 중요한 질문은 알고리즘의 판단이 잘못되었을 때 책임은 누구에게 있는가 하는 것이다.

기존 행정 체계에서는 책임의 위치가 비교적 명확했다. 특정 결정을 내린 공무원이 존재했고, 그 결정은 법과 규정에 따라 평가될 수 있었다. 그러나 AI 기반 행정에서는 책임의 경로가 복잡해진다. 알고리즘을 개발한 기업, 시스템을 도입한 정부 기관, 데이터를 제공한 기관 등 여러 주체가 얽혀 있기에 결정은 존재하지만 책임은 분산된다. 결과적으로 시민은 거대한 시스템 앞에서 질문을 던질 수 있지만, 명확한 답을 얻기 어려워진다.

이러한 현상을 설명하기 위해 최근 학계에서는 ‘알고리즘 거버넌스’라는 개념을 사용한다. 정책 결정 과정에서 데이터 분석과 알고리즘이 중심적 역할을 수행하는 체계를 의미하는 것이다. 알고리즘 거버넌스는 효율성과 예측 가능성을 강조하지만, 동시에 정치적 판단을 기술적 문제로 전환시키는 경향을 가진다. 정책의 논점이 가치나 철학의 문제보다는 데이터와 모델의 계산값이 되는 것이다.

AI 행정이 확산될수록 이러한 경향은 더욱 강해질 가능성이 있다. 정책은 점점 더 정교한 데이터 분석을 기반으로 설계되고, 행정은 알고리즘이 제시하는 최적의 결과를 따르는 방향으로 움직일 것이다. 표면적으로 이는 합리적인 과정처럼 보인다. 그러나 그 과정에서 정치적 논쟁의 공간은 줄어들 수 있다. 시민이 정책에 대해 논쟁하는 대신, 전문가와 시스템이 계산한 결과를 받아들이는 상황이 만들어질 수도 있다.

결국 문제는 AI가 행정을 더 효율적으로 만드는가에 대한 여부가 아니다. 효율성 자체는 이미 어느 정도 증명되고 있다. 중요한 것은 효율성과 책임, 그리고 투명성 사이의 균형이다. 기술은 행정을 더 빠르게 만들 수 있지만, 행정이 민주적 제도로 남기 위해서는 그 과정이 시민에게 이해 가능해야 한다.

근대 국가의 관료제는 문서와 기록을 통해 권력을 행사했고, 시민은 그 문서를 통해 권력을 추적해 질문할 수 있었다. 그러나 AI 기반 행정에서의 권력은 코드와 데이터라는 양탄자에 엮여 있는 실타래로 존재한다. 우리는 더 빠르고 정교한 행정을 얻을 수 있지만, 동시에 그 행정이 어떤 방식으로 작동하는지 이해하기 어려운 상황에 직면할 수도 있다. 인간의 판단이 사라지는 관료제가 아니라, 인간조차 완전히 이해할 수 없는 계산 위에 서 있는 관료제인 것이다.

행정의 역사는 언제나 권력과 책임 사이의 균형을 찾는 과정이었다. AI 행정의 미래가 아직 확정되지 않은 지금, 추후 도입될 시스템들이 그 균형을 어디로 이동시킬지는 아직 확실하지 않다. 하지만 기술 발전은 속도의 차이일 뿐, 성사 유무는 이미 목적값이 정해져 있는 과정이며, 국가가 작동하는 방식 자체를 다시 설계하는 과정은 불가피하게 이루어지고 있다. 그렇기 때문에 AI 행정의 핵심 질문은 기술의 성능이 아닌 책임의 구조로 향해야 한다. 알고리즘이 정책 결정에 참여하는 사회에서 우리는 여전히 권력의 주체를 확인할 힘이 있을까? 그리고 그 권력의 책임은 누구에게로 향할까? AI가 만든 행정은 과연 누구에게 설명 가능한 권력인가?