“AI 학습과 추론 경계 무너져…속도는 HBM·용량은 HBF”

▲김정호 카이스트 교수가 3일 HBF 기술 개발 성과를 발표하고 있다. (손희정 기자 sonhj1220@)

인공지능(AI)이 실시간으로 데이터를 학습하며 추론하는 단계로 진입하면서 메모리 구조의 중요성이 빠르게 커지고 있다. 학습과 추론을 분리해 설계하던 기존 AI 반도체 구조에 한계가 있다는 지적이 나왔다.

김정호 한국과학기술원(KAIST) 전기 및 전자공학부 교수는 3일 서울 광화문 프레스센터에서 열린 ‘HBF 연구내용 및 기술개발 전략 설명회’에서 “지금은 학습과 추론이 동시에 일어난다”며 “이제 학습과 추론의 경계가 무너졌다”고 밝혔다.

김 교수는 AI 모델 고도화로 메모리 수요 구조가 근본적으로 바뀌고 있다고 설명했다. 그는 “1초 전, 10초 전에 나온 뉴스도 긁어 들여 학습해서 결과를 내야 한다”며 “질문할 때 자료를 올리면 그 자료까지 공부해서 답을 내놓는다”고 말했다. 이 과정에서 AI가 참조하는 KV 캐시(Key-Value Cache)가 급격히 늘어나고 있다는 것이다.

김 교수는 “KV 캐시는 엄청 메모리를 많이 써먹는다”며 “HBM은 쌓아봐야 200GB 수준이라 이것만으로는 안 된다”고 말했다. AI가 대화 맥락과 대규모 데이터를 동시에 처리하면서 기존 HBM 중심 구조에 용량 부담이 커지고 있다고 진단했다.

그는 AI 메모리를 ‘핫 메모리’와 ‘콜드 메모리’로 구분했다. 김 교수는 “핫 메모리는 지금 당장 필요한 데이터로 HBM이 담당하고 콜드 메모리는 평생의 기록과 같은 데이터”라며 “어렸을 때 모습을 그려달라고 하면 바로 긁어올 수 있어야 한다”고 강조했다.

콜드 메모리를 담당하는 낸드플래시 기반 메모리 수요가 급증하면서 대용량 데이터를 GPU 가까이에서 처리할 수 있는 고대역폭플래시(HBF)가 하나의 대안으로 제시되고 있다고 설명했다. 김 교수는 “낸드는 느리지만 대량으로 읽어서 쏟아내는 방식으로 설계하면 본질적인 속도가 GPU와의 성능을 결정하지는 않는다”고 말했다.

AI 성능을 좌우하는 핵심은 메모리 구조라는 점도 강조했다. 김 교수는 “속도를 결정하는 게 HBM이고 용량을 결정하는 게 HBF”라며 “AI 시대에는 메모리가 성능과 비용을 좌우하게 된다”고 했다.

AI 기술 진화에 따라 메모리 수요가 지금보다 크게 늘어날 것이라는 전망도 내놨다. 김 교수는 “실시간 학습, 연속 학습, 멀티모달, 에이전트 AI까지 가려면 지금보다 100배에서 1000배 정도의 메모리가 더 필요하다”고 제언했다.

이 같은 변화는 국내 메모리 기업들에 기회 요인으로 작용할 수 있다는 분석이다. 김 교수는 “구글은 데이터와 플랫폼은 있지만 파운드리와 메모리가 없다”며 “메모리와 파운드리, 패키징 역량은 삼성전자와 SK하이닉스의 강점이고 이건 절대 내주면 안 되는 경쟁력”이라고 강조했다. 삼성전자와 SK하이닉스는 HBM을 통해 적층·패키징기술 등을 이미 확보하고 있어 HBF 시장에서도 경쟁 우위를 점할 수 있다는 평가다.

그는 “메모리는 결국 매출과 수익, 가격, 시가총액으로 반영될 것”이라며 “AI 시대에 세계를 지배하는 건 메모리”라고 말했다.