과학기술정보통신부와 한국지능정보사회진흥원(NIA)은 독파모 5개 정예팀이 1차 단계평가 과정에서 확보한 AI 학습용 데이터 29종을 AI허브에 공개한다고 27일 밝혔다. 데이터는 약 3544만건, 1조5600억 토큰 규모다.
이번 데이터는 네이버클라우드와 업스테이지, SK텔레콤, NC AI, LG AI연구원이 지난해 150억원의 데이터 구축·가공 예산을 활용해 확보했다. 사전학습용 대규모 데이터부터 영상·음성 등 멀티모달, AI 안전성 확보를 위한 레드티밍 데이터까지 포함한다. 약 700억~800억개(70~80B) 매개변수 수준의 대형 AI 모델 학습에 활용할 수 있는 규모다.
업스테이지는 1조 토큰 규모의 사전학습 데이터와 50만건의 사후학습 데이터를 공개한다. 네이버클라우드는 공개·방송 영상과 이를 기반으로 한 텍스트·음성 데이터를 구축했다. SK텔레콤은 수학·과학·법률 등 전문 영역의 추론 데이터와 한국형 레드티밍 데이터를 마련했다.
NC AI는 제조 기술문서와 민원 상담 음성 등을 활용한 데이터 7종을, LG AI연구원은 국내 50개 실제 가정에서 50종 이상의 가사 활동을 촬영한 피지컬 AI 멀티모달 데이터를 구축했다.
네이버클라우드와 업스테이지, SK텔레콤, NC AI는 품질 검증을 거친 데이터를 개방하고 LG AI연구원은 의무 개방량인 50% 이상을 선별해 공개한다. 공개 데이터는 대한민국 국민이라면 누구나 AI허브에서 무료로 내려받아 활용할 수 있다.
과기정통부는 독파모 2차 단계평가 과정에서 추가로 구축되는 데이터도 품질 검증을 거쳐 개방할 계획이다.
