엔비디아·카이스트 AI공동연구소가 한국어 데이터를 합성 기술로 만들어 최소 100만 건의 학습용 데이터셋을 내년 공개한다. 영어·중국어 등 사용자 수가 많은 언어 데이터와의 격차를 극복할 수 있는 방법론도 연구해 국내 AI 모델 전반에 쓰이게 하겠다는 구상이다.
10일 코엑스 트레이드센터 엔비디아코리아 본사에서 진행된 그룹인터뷰에서 김현우 엔비디아·카이스트 AI공동연구소장은 “내년 중 100만건의 우리말 데이터셋을 학습용으로 공개하는 것이 1차 목표”라며 “누구나 활용할 수 있는 개방형 데이터와 학습 방법론을 연구해 공개하겠다”고 말했다.
김 소장은 우리나라 AI 생태계를 숲에 비유하며 “정부의 적극적인 지원으로 AI 모델이라는 나무들이 본격적으로 자라기 시작했지만 토양에 해당하는 ‘데이터’, 사슴·꽃·새 등의 ‘생태계 참여자’는 덜 강조됐다”고 지적했다.
특히 김 소장은 AI의 지능을 결정하는 데 가장 중요한 요소로 데이터를 꼽았다. 그는 mC4라는 학습 데이터셋에서 학습한 문서의 수가 영어는 39억3000만건이지만 한국어는 2400만건밖에 되지 않는다고 설명했다. 이에 따라 발생하는 대표적인 문제가 AI의 번역투 표현이다.
연구소는 영어나 중국어에 비해 한국어 사용자 수가 적은 만큼 데이터가 쌓이기를 무작정 기다릴 수 없다는 문제의식에서 출발했다. 데이터 격차를 극복하기 위해 필요한 우리말 데이터를 합성으로 만들고 가진 데이터에서 더 많이 배울 수 있도록 하는 것이 주된 연구 주제다.
그는 “영어·중국어처럼 많이 쓰이는 언어와 쿠르드족 언어처럼 소수 언어 사이에 있는 한국어를 ‘중간 자원 언어’라고 한다”며 “양질의 데이터를 많이 만들고 최대한 활용할 수 있는 방법론을 개발해 다른 우리나라 모델들에 적용될 수 있도록 하는 것이 목표”라고 밝혔다.
김 소장이 올해 공개한 대규모 한국어 데이터셋 ‘네모트론 페르소나 코리아’ 데이터셋은 허깅페이스 트렌딩 데이터셋에서 열흘간 전 세계 1위를 기록했다. 다운로드 수는 14만회에 달한다. LG AI연구원은 이 데이터셋을 활용해 한국형 AI 모델 ‘K-엑사원-2.5’을 개발하기도 했다.
김 소장은 사람 이름 하나로 시작해 대규모언어모델(LLM)에게 상황과 맥락에 따라 문서를 생성하게 하는 방식으로 합성 데이터를 만들었다. 가공되기 전의 로우(raw) 데이터 없이 프롬스크래치로 만들기 때문에 AI 슬롭 문제를 줄일 수 있다는 게 그의 설명이다.
엔비디아는 초기 5년간 총 3억달러 규모를 연구소에 지원하며 매년 5000만달러의 AI 컴퓨팅 자원이 제공된다. 총 2억5000만달러의 컴퓨팅 비용을 제외한 5000만달러가 인건비 등의 비용으로 쓰이는 셈이다. 연구자들은 국내 엔비디아 클라우드 파트너를 통해 최신 엔비디아 AI 컴퓨팅 인프라를 활용한다.
연구소는 연내 엔비디아 정규 연구직과 인턴 채용을 마무리하고 내년 본격적으로 연구에 돌입한다. 초창기 멤버를 구성한 이후에도 인원을 점차 늘려갈 계획이다. 연구소의 연구 성과는 세계 탑티어 학회에 게재하는 방식으로 공개할 방침이다.
김 소장은 “AI 빅테크 중 우리나라에 회사 산하의 리서치 조직을 설립하고 정규 연구원을 채용하는 것은 엔비디아-카이스트 AI공동연구소가 최초”라며 “우리말 데이터셋 구축 후 산업 특화·에이전틱 데이터, 멀티모달까지도 확장할 예정”이라고 밝혔다.
한편, 엔비디아·카이스트 AI공동연구소는 7월 설립됐다. 1991년생인 김 소장은 엔비디아 리서치 연구원으로 일하다 최근 카이스트 김재철AI대학원 조교수로 부임하면서 연구소장도 맡게 됐다.
