AI 모델 훈련 시간을 획기적으로 단축할 수 있는 기술에 대한 기대감이 고조되는 가운데, AMD가 2025년 6월 12일(현지시간) 미국 산호세에서 개최된 'AI 혁신 서밋'을 통해 차세대 AI 가속기 ‘인스팅트(Instinct) MI350’ 시리즈를 공식 발표했다. 이 제품은 혁신적인 FP4/FP6 정밀도 지원, 초당 600GB(기가바이트)의 메모리 대역폭, 기존 AI 인프라와의 용이한 통합성을 특징으로하며, AI 모델 개발 비용 부담을 완화하면서도 성능을 대폭 끌어올릴 것으로전망된다.
AI 컴퓨팅 환경은 중앙처리장치(CPU) 중심에서 그래픽처리장치(GPU) 시대로, 나아가 특수 목적의 텐서 코어 및 주문형 반도체(ASIC)로 빠르게 진화해왔다. 엔비디아의 CUDA(쿠다) 플랫폼 기반 GPU가 수년간 시장을 장악했으나, 대규모 언어 모델(LLM) 및 멀티모달 시스템에 대한 수요가 폭증하면서 전력 소비와 비용 문제가 많은 기업에 부담으로 작용했다. 이는 곧 하드웨어 개발 경쟁으로 이어졌고, 그래프코어, 세레브라스, 구글 TPU 팀 등 다수 기업이 전력 소비량 대비 성능(와트당성능) 향상과 총소유비용(TCO) 절감을 목표로 경쟁에 뛰어들었다.
AMD는 2022년 ROCm(로컴) 소프트웨어 스택과 2023년 인스팅트 시리즈를 선보이며 시장 점유율 확대에 나섰다. 이전 세대인 MI300X가 견조한 성능을 입증했음에도, 데이터센터 운영자들은 여전히 전력 효율성 개선에 대한 갈증을 느껴왔다. 이에 AMD는 MI350이 이전 모델 대비 "최대 2배 향상된 FP6 성능 효율"을 제공한다고 강조했으며, 이는 주요 모델 제품군에서 1.8배 빠른 트랜스포머 추론 속도를 달성한 독립적인 벤치마크 결과로 뒷받침 된다고 밝혔다.
업계 전문가들은 MI350의 기술적 우위에 주목하고 있다. 호라이즌 애널리틱스의 리나 첸 수석 AI 아키텍트는 "FP6 정밀도는 모델의 정확도를 유지하면서 메모리 점유율을 최대 40%까지 줄일 수 있어, 예산 제약이 있는 클러스터에서 대규모 언어 모델을 훈련하는 데 매우 효과적"이라고평가했다. 클라우드랙 솔루션즈의 니틴 샤르마 최고기술책임자(CTO)는 "MI350을 활용한 파일럿 테스트 결과, 전력 비용만 25% 절감되는 효과를 확인했다. 모든 와트(W)가 중요한 상황에서 이러한 차이는 새로운 연구 프로젝트를 추진할수 있는 재원으로 이어질수 있다"고 언급했다.
MI350이 가져올 실질적인 산업 파급 효과는 다음과 같이 요약된다:
– 비용 효율성 및 처리량 향상: 경쟁사의 4 나노미터(nm) 공정 기반 제품군 대비 평균 15% 낮은 가격대로 최첨단 하드웨어에 대한 접근성을 확대한다.
– 개발 주기 단축: 대규모언어 모델(LLM) 프레임워크에 최적화된 ROCm 소프트웨어의 격주 단위 업데이트를 통해 모델 수정 및 배포에 소요되는 시간을 기존 수 일에서 수 시간 단위로 단축시킬 수 있다.
– 지속 가능성 강화: 전 세계 전력 소비량의 약 1%를 차지하는 데이터 센터의 에너지 효율을 개선함으로써 연간 수백만톤의 탄소 배출량 감축에 기여할 잠재력을 지닌다.
첫 챗봇을 개발하는 스타트업부터 수억 명의 사용자를 대상으로 추천 엔진을 고도화하는 대기업에 이르기까지, MI350은 더욱 신속한 인사이트 도출과 운영 비용 절감이라는 두 가지 목표를 동시에 달성할 수 있는 기회를 제공할 것으로 보인다. 오라클, 델, HPE 등 주요 기업과의 폭넓은 산업 파트너십은 퍼블릭 및 프라이빗 클라우드 환경에서의 호환성을 보장하며, 특정 공급업체 생태계에 대한 의존도를 낮추는데 기여할 전망이다.
향후 조(兆) 단위 매개변수를 갖는 모델과 실시간 멀티모달 추론 등 AI 워크로드의 규모가 기하급수적으로 증가함에 따라, 하드웨어는 또 다시 기술 발전의 핵심 변수로 작용할 것이다. AMD의 MI350이 현재의 성능 우위를 지속적으로 유지할 수 있을지, 혹은 경쟁사의 ASIC 및 차세대 GPU가 다시금 시장의 주도권을 확보할지는 앞으로의 기술 경쟁 양상에 달려있다.
AI 분야의 혁신은 멈추지 않는다. MI350은 현재 AI 하드웨어의 새로운 기준점을 제시하고 있지만, 미래의 기술 도약은 이 기준을 더욱 상향시킬 것이다. 데이터 파이프라인부터 하드웨어 가속기에 이르기까지 AI 스택의 모든 계층을 최적화하는 노력이 그 어느 때보다 중요해졌으며, AMD의 MI350 시리즈는 이러한 변화에 대응하는 강력한 대안이 될 수 있을 것으로 기대된다.
출처:AMD 인스팅트 MI350 발표 자료, IT Pro Live
){kind=small}
){kind=small}
){kind=small}
){kind=small}