온디바이스 AI 수요로 sLLM 각광
![](https://img.etoday.co.kr/pto_db/2024/01/600/20240129170003_1981197_1200_800.jpg)
거대언어모델(LLM) 개발에 주력해왔던 미국 빅테크들이 소형언어모델(sLLM)을 선보이면서 관련 시장에 관한 관심도 커지고 있다.
인공지능(AI)에는 여러 모델이 있다. 예를 들어 이미지를 인식하고 생성하는 모델, 영상을 인식하고 생성하는 모델 등이 있다. 여기서 한발 더 나아간 것이 영상과 영상 이미지 텍스트 등 여러 가지 데이터를 인식하고 학습하는 모델인 멀티모달모델(LMM)이다.
지난해 오픈AI사의 챗GPT 돌풍으로 주목받은 생성형 AI의 LLM 개발 경쟁은 LMM 개발 경쟁으로 진화함과 동시에 최근 경량화에 대한 시장 수요가 커지면서 sLLM이 AI 기술 트렌드 중 하나로 주목받고 있다.
구글은 지난해 말 거대 언어모델(LLM) ‘제미나이’를 경량화한 sLLM ‘제미나이 나노’를 내놓은 데 이어 지난 21일(현지시간) 오픈소스 형태의 sLLM ‘젬마’를 선보였다. 이보다 앞서 마이크로소프트(MS)도 지난해 말 ‘파이(Phi-2)-2’라는 sLLM을 선보였다.
일반적으로 언어 모델의 크기는 매개변수(파라미터)의 개수에 따라 결정되는데, LLM으로 분류되려면 통상 매개변수가 1000억 개 이상이어야 한다. 챗GPT에 적용된 GPT-3의 매개변수가 1750억 개였는데, 챗GPT가 나온 이후 LLM은 이 규모를 뛰어넘었다. 즉 매개변수가 많을수록 더 고도화된 모델로 분류돼 광범위한 분야를 학습하고 그에 대한 질문에 답변을 내놓을 수 있다는 이야기다.
하지만 덩치가 거대한 만큼 뒤따르는 비용이나 컴퓨터 자원도 만만치 않다. 특히 기업 입장에서는 모든 질문에 답변할 수 있는 비싼 ‘범용’ AI보다 자신이 속한 산업 분야(도메인)에 특화된 답변을 생성하는 AI가 필요하다.
반면 sLLM은 매개변수의 규모가 수십억 내지 수백억대로, 말 그대로 LLM에 비해 크기가 작다. 이 때문에 컴퓨팅 자원이나 가동 비용도 그만큼 더 적게 든다. 매개변수 수가 적어 연산 작업이 단축된 만큼 답을 얻는 시간도 짧고, 필요한 정보만 선별적으로 학습시킬 수 있어 환각 현상을 줄일 수 있다는 장점도 있다.
한 AI 업계 관계자는 “기업들이 비용뿐만 아니라 보안 측면에서 LLM보다 sLLM을 선호하는 편”이라면서 “모델로부터 답변을 얻기 위해서는 회사 정보를 입력해야 한다. 이에 보안 유지를 위해 사내 시스템 내 설치가 가능한 모델, 즉 경량화된 모델을 사용하는 경우가 대부분”이라고 말했다.
특히 클라우드를 거치지 않고 기기에 설치돼 인터넷이 연결되지 않아도 활용이 가능한 온디바이스 AI의 수요 증가로 sLLM이 더 주목받을 것으로 전망된다.
시장분석기관 글로벌마켓인사이트(GMI)는 지난해 4월 보고서를 통해 2022년 50억 달러(약 6조 6550억 원) 정도였던 세계 온디바이스 AI(에지 AI) 시장 규모가 연평균 24.8% 성장해 2032년 700억 달러 규모에 이를 것으로 전망하기도 했다.