“토큰 가격보다 사용량 빠르게 늘어”
SK하이닉스, AI 메모리 기술 방향 제시
기업들이 AI를 실질적인 사업 성과로 연결하려면 부족한 인프라를 개선하는 동시에 기존 업무 방식까지 AI에 맞게 재설계해야 한다는 제언이 나왔다. AI 에이전트 확산으로 연산량과 토큰 사용량이 급증하면서 비용 관리와 메모리 성능도 기업 AI 경쟁력을 좌우할 핵심 요소로 떠올랐다.
맷 던피 델 테크놀로지스 본사 수석부사장은 25일 서울 강남구 코엑스에서 열린 ‘델 테크놀로지스 포럼 2026’에서 델이 밴슨 본에 의뢰한 ‘2026년 모던 엔터프라이즈 레디니스 조사’를 인용해 “한국 응답자의 72%가 현재 데이터센터 환경이 대규모 AI와 분석 워크로드를 지원하기에 충분하지 않다고 답했다”며 데이터센터 현대화 필요성을 강조했다.
던피 수석부사장은 기업이 AI 성과를 창출하기 위한 3대 과제로 △데이터센터 현대화 △안전과 신뢰를 바탕으로 한 AI 확장 △현대적인 업무환경 구현을 제시했다. 국내 응답자의 84%는 여러 대의 구형 장비를 최신 서버와 스토리지로 통합·전환하는 데이터센터 현대화를 계획하고 있는 것으로 나타났다.
그는 인프라 개선만으로는 충분하지 않다고 진단했다. 던피 수석부사장은 “기업에서 20년, 30년, 40년간 이어져 온 기존 프로세스와 업무 방식에 AI를 단순히 덧붙이는 것은 최악의 선택”이라며 “AI를 활용해 고객에게 제품과 서비스를 제공하는 방식을 근본적으로 바꿔야 한다”고 말했다.
이어 “기업이 수행하는 가장 가치 있고 의미 있는 업무가 무엇인지, 경쟁사와 차별화되는 지점이 무엇인지를 찾아 그 영역에 AI를 우선 적용해야 한다”며 “AI가 조직과 사업 수익성에 미치는 실질적인 영향도 측정해야 한다”고 설명했다.
AI 에이전트 확산에 따른 비용 관리의 중요성도 언급했다. 던피 수석부사장은 델의 AI 활용 사례를 소개하며 “일부 영업 활용 사례에서는 직원 10%가 전체 토큰의 90%를 사용하고 있다”며 “토큰 가격이 하락하더라도 사용량은 그보다 훨씬 빠르게 늘고 있다”고 말했다.
이어 “언어모델마다 성능과 비용이 다른 만큼 어떤 업무에 어떤 모델을 사용하고, 클라우드와 온프레미스 중 어디에서 구동할지를 판단해야 한다”며 “IT 담당자와 재무 담당자가 함께 비용 효율적인 결정을 내려야 한다”고 덧붙였다.
AI 실행 환경도 클라우드에만 머물지 않고 PC와 온프레미스 데이터센터로 확대되고 있다. 던피 수석부사장은 업무 특성과 비용, 보안 수준을 고려해 적합한 언어모델과 구동 환경을 선택해야 한다고 강조했다. 델은 기업 환경의 PC에서 AI 에이전트를 구동하는 ‘델 데스크사이드 에이전틱 AI’도 선보였다.
던피 수석부사장은 향후 1~2년 안에 기업의 IT 담당자들이 여러 AI 에이전트를 관리하는 역할을 맡게 될 것으로 내다봤다. 개인별로 적게는 몇 개, 많게는 수백 개 또는 수천 개의 에이전트가 반복 업무를 수행하고 사람은 더 높은 가치의 업무에 집중하는 구조로 전환될 것이라는 설명이다.
델은 기업의 AI 전환을 지원하기 위해 ‘델 AI 팩토리’와 ‘델 AI 데이터 플랫폼’을 중심으로 포트폴리오를 확대하고 있다. 현재 5000곳 이상의 기업 고객이 델 AI 팩토리를 활용해 신약 발굴과 산업 자동화, 금융 서비스 등 다양한 AI 워크로드를 운영하고 있다.
기조연설 초대 연사로 나선 주영표 SK하이닉스 부사장은 에이전틱 AI 시대의 시스템 성능을 높일 핵심 요소로 메모리를 꼽았다.
주 부사장은 “에이전트끼리 통신하고 더 많은 업무를 수행하면서 훨씬 높은 토큰 처리 성능이 요구되고 있다”며 “AI 시스템에서는 메모리가 얼마나 많은 대역폭을 공급하느냐가 전체 시스템 성능을 결정하는 중요한 변수”라고 강조했다.
주 부사장은 AI 메모리의 기술 개발 방향으로 △성능 △에너지 효율 △자원 활용도 등 세 가지 축을 제시했다. 그래픽처리장치(GPU)와 메모리 가운데 한쪽의 성능만 높여서는 전체 시스템 성능을 끌어올리기 어려운 만큼 균형 있는 발전이 필요하다는 설명이다.
주 부사장은 메모리 대역폭과 에너지 효율을 높일 기술로 GPU 위에 메모리를 쌓는 3차원(3D) 적층 방식을 제시했다. 다만 GPU에서 발생하는 열을 제어하기 위한 냉각 기술이 뒷받침돼야 한다고 설명했다.
GPU 자원 활용도를 높일 해법으로는 컴퓨트익스프레스링크(CXL)를 활용한 메모리 풀링을 소개했다. AI의 프리필과 디코드 연산 사이에 이동하는 KV캐시를 별도의 메모리 풀에 저장해 고가의 GPU가 대기하는 시간을 줄이는 방식이다.
주 부사장은 “메모리 회사와 로직 반도체 회사, 가속기 개발사뿐 아니라 시스템과 인프라를 잘 아는 기업들이 냉각 문제를 함께 풀어야 한다”며 “제품 연구개발 단계부터 고객, 생태계 파트너들과 AI 인프라를 만들어 나가겠다”고 했다.
이날 행사에서는 AI와 모던 데이터센터, 모던 워크플레이스 등 3개 트랙에서 총 25개 세션이 진행됐다. AMD와 인텔, 마이크로소프트, 엔비디아, 삼성SDS, SK하이닉스 등 국내외 기업과 총판·협력사 43개사가 참여해 각사의 솔루션을 선보였다.
