AI 인프라 솔루션 기업 모레(MOREH)는 15~17일(현지시간) 미국 산타클라라 컨벤션센터에서 열린 ‘AI 인프라 서밋 2026’에 참가해 ‘토큰 팩토리 OS’와 이기종 가속기 기반 분산 추론 기술을 공개했다고 16일 밝혔다.
조강원 모레 대표는 행사 첫날 AI 컴퓨팅 세션에서 ‘이기종 가속기 데이터센터를 위한 LLM 서빙 프레임워크’를 주제로 발표했다. 조 대표는 AI 데이터센터가 GPU 자원을 제공하는 데서 나아가 AI 서비스에 필요한 토큰을 효율적으로 생산하는 방향으로 변화하고 있다고 설명했다.
모레가 제시한 ‘토큰 팩토리 OS’는 엔비디아·AMD·텐스토렌트 등 서로 다른 가속기를 하나의 자원처럼 활용해 추론 효율을 높이는 AI 인프라 소프트웨어다. 모델과 요청의 특성, 가속기별 연산 능력에 따라 작업을 나눠 데이터센터 전체의 자원 활용도를 높이는 방식이다.
모레는 엔비디아 H100과 AMD MI300X를 결합한 추론 사례도 공개했다. 프롬프트 처리는 H100이 맡고 응답 생성은 MI300X가 담당하도록 작업을 나눴다. 모레에 따르면 이 같은 구성은 동일 업체의 가속기로 구성한 시스템과 비교해 처리량이 최대 1.67배 높았다.
이를 구현하는 ‘MoAI Inference Framework’는 서로 다른 가속기를 하나의 클러스터처럼 묶어 추론 과정의 작업을 각 가속기의 특성에 맞게 배분한다. 특정 업체의 하드웨어에 의존하지 않고 여러 종류의 가속기를 함께 활용하는 것이 핵심이다.
조 대표는 “AI 데이터센터는 이제 GPU를 제공하는 공간에서 토큰을 생산하고 판매하는 ‘토큰 팩토리’로 진화하고 있다”며 “특정 GPU의 성능보다 서로 다른 가속기를 얼마나 효율적으로 활용해 낮은 비용으로 토큰을 생산하느냐가 중요하다”고 말했다.
