크래프톤은 음성 AI 파운데이션 모델 'A.X K2 Raon-Speech'를 글로벌 AI 플랫폼 허깅페이스(Hugging Face)에 공개했다고 29일 밝혔다. 이번 모델은 과학기술정보통신부의 '독자 AI 파운데이션 모델' 프로젝트에 참여한 SK텔레콤 정예팀의 2차 연구 성과 가운데 하나다.
A.X K2 Raon-Speech는 210억(21B) 파라미터 규모의 음성 언어 모델이다. 크래프톤에 따르면 300억(30B) 이하 공개 음성 언어 모델 가운데 한국어 종합 성능 1위, 영어 종합 성능 3위를 기록했다. 평가는 음성 인식, 음성 합성, 음성 이해, 음성 질의응답, 텍스트 질의응답, 도구 호출 등 6개 영역에서 한국어 24개, 영어 22개 등 총 46개 벤치마크를 활용해 진행됐다.
이 모델은 SK텔레콤의 A.X K2 기반 소형 언어 모델에 크래프톤이 자체 학습한 음성 인코더와 음성 코덱을 적용해 개발됐다. 음성 입력과 출력을 안정적으로 연결하는 학습 방식을 적용해 사람의 목소리에 담긴 감정과 억양 등 정보를 유지한 채 자연스러운 음성을 생성할 수 있도록 했다고 회사는 설명했다.
기존 AI 음성 대화 시스템은 음성을 텍스트로 변환한 뒤 다시 음성으로 합성하는 과정에서 감정과 억양 정보가 일부 손실될 수 있다. 반면 A.X K2 Raon-Speech는 이용자의 음성 정보를 직접 활용해 보다 자연스러운 음성 응답을 생성할 수 있는 것이 특징이다.
크래프톤은 지난 4월 AI 모델 브랜드 '라온(Raon)'을 출범하고 음성 언어 모델, 실시간 음성 대화 모델, 텍스트-음성 변환 모델, 비전 인코더 등 4종의 AI 모델을 오픈소스로 공개한 바 있다. 이번 모델은 당시 공개한 음성 언어 모델의 학습 방식을 바탕으로 자체 음성 기술을 결합해 성능을 높인 모델이다.
이강욱 크래프톤 최고AI책임자(CAIO)는 "A.X K2 Raon-Speech는 AI 파운데이션 기술을 꾸준히 연구하고 고도화해 온 결과물"이라며 "게임에 필요한 AI 파운데이션 기술을 지속적으로 고도화해 새로운 게임 경험을 만들어 나갈 것"이라고 말했다.
크래프톤은 이번 연구를 통해 확보한 음성 AI 기술을 이용자와 함께 플레이하는 AI 캐릭터(CPC·Co-Playable Character) 고도화에 활용할 계획이다. 이용자의 목소리와 의도를 이해하고 게임 상황에 맞춰 음성으로 반응하는 등 AI와 이용자가 보다 자연스럽게 상호작용하는 게임 경험 구현을 목표로 하고 있다.
