“초기 성능 테스트서 블랙웰과 대등한 성능”
24일(현지시간) CNBC방송에 따르면 오픈AI는 브로드컴과 협력해 대형언어모델(LLM)에 최적화된 AI 추론 칩 ‘할라페뇨’를 만들었다고 발표했다.
오픈AI는 “고급 AI를 더 빠르고 안정적이며 더 많은 사람이 접근할 수 있도록 만들기 위해 공동으로 구축 중인 다세대 컴퓨팅 플랫폼의 첫 번째 AI 가속기”라고 소개했다. 그러면서 “아직 최종 성능을 측정하고 있지만, 초기 시험 결과에 따르면 할라페뇨는 현재 최첨단 기술보다 W(와트)당 성능이 훨씬 뛰어난 것으로 나타났다”며 “자사 AI 모델을 활용해 설계부터 생산까지 9개월 만에 개발이 완료됐다”고 밝혔다.
특히 LLM을 개발하고 그 위에 제품을 구현하는 데 그치지 않고 칩 아키텍처와 네트워킹 등 AI 사업 전반을 구축했다는 점을 긍정적으로 자평했다. 오픈AI는 “이게 바로 풀스택의 장점”이라며 “스택 전반에 걸쳐 운영되기 때문에 모델을 더 빠르고 안정적이며 사용자에게 더 저렴하게 제공하는데 최적화할 수 있다”고 설명했다. 그레그 브록먼 오픈AI 사장은 “스택의 더 많은 부분을 직접 설계함으로써 더 높은 효율성으로 더 많은 인텔리전스를 제공하고 고급 AI에 대한 접근성을 더 확대해 나갈 수 있을 것”이라고 기대했다.
서버 시스템 구축은 캐나다 전자제품 제조사인 셀레스티카가 도맡기로 했고 제품 양산은 세계 최대 파운드리(반도체 위탁생산 업체) TSMC가 담당한다. 이렇게 만들어진 할라페뇨는 당장 올해부터 실전 배치된다. 호크 탄 브로드컴 최고경영자(CEO)는 “업계 최고 수준의 반도체 기술을 오픈AI와 공동 개발했다”며 “올해부터 마이크로소프트(MS) 및 기타 파트너사와 함께 GW(기가와트)급 데이터센터를 구축할 수 있게 될 것”이라고 설명했다.
언론들과 인터뷰에선 실제 성능을 자랑했다. 그는 로이터통신에 “할라페뇨는 엔비디아 블랙웰이나 구글 텐서처리장치(TPU)와 대등한 성능을 갖췄다”고 주장했다. 블룸버그통신과 인터뷰에선 “현재까지 이 가속기는 일반적인 AI 그래픽처리장치(GPU)보다 약 50%의 비용 절감 효과를 보여주고 있다”고 말했다.
다만 AI 관련 메모리 칩 수요 급증으로 인한 수익성 측면의 어려움도 인정했다. 탄 CEO는 “AI 칩에는 대량의 고대역폭메모리(HBM)가 필요해 브로드컴의 맞춤형 AI 제품 마진이 압박을 받고 있다”며 “SK하이닉스와 삼성전자가 브로드컴에 메모리 칩을 공급해주고 있다”고 밝혔다.
AI 업계의 자체 칩 생산은 가속할 전망이다. 4월 로이터는 소식통을 인용해 앤스로픽도 자체 AI 칩 개발을 검토 중이라고 보도했다. 뉴욕타임스(NYT)는 구글이나 아마존 같은 빅테크를 비롯해 AMD 같은 유서 깊은 칩 제조사, 세레브라스 같은 스타트업을 포함한 많은 기업이 엔비디아의 독주에 도전하고자 칩 개발에 나서고 있다고 전했다.
