GPU 활용률의 충격적 현실
2026년 5월 8일, 벤처비트(VentureBeat)가 공개한 수치는 AI 투자 열풍의 민낯을 드러냈다. 기업들이 천문학적 비용을 들여 구축한 AI 인프라의 핵심 자원인 GPU(Graphics Processing Unit)가 실제로 활용되는 비율이 평균 5% 미만에 그친다는 것이다.
4010억 달러 규모의 AI 인프라 투자 대부분이 사실상 유휴 상태로 방치되고 있다는 뜻이다. '실리콘 스크램블' 시대가 남긴 청구서는 예상보다 훨씬 가혹했다.
지난 24개월 동안 GPU 확보 경쟁은 기업 생존의 문제처럼 다뤄졌다. GPU는 '새로운 석유'라는 수식어를 달았고, 특히 엔비디아의 H100 GPU는 공급 부족으로 밀수품처럼 거래될 정도였다.
지금 확보하지 않으면 경쟁에서 영원히 뒤처진다는 공포 마케팅이 이사회를 움직였고, 수요 예측 없이 대규모 발주가 이어졌다. 이 흐름은 '실리콘 스크램블(silicon scramble)'이라는 이름으로 업계에 각인됐다. 그러나 청구서가 도착한 지금, 최고재무책임자(CFO)들의 표정은 굳어 있다.
벤처비트 보도에 따르면, CFO들은 GPU 활용률 5% 미만이라는 수치를 마주하며 AI 인프라 전략 전반을 재검토하기 시작했다. 이는 단순한 장비 낭비가 아니다.
사업 성장과 직결되는 자원 배분의 실패이며, 이사회가 승인한 수천억 달러 규모 투자의 효과성에 대한 근본적 물음이다. 고급 스포츠카를 구매해 주차장에만 세워둔 형국이나 다름없다.
과도한 투자와 그 대가
문제의 핵심은 '얼마나 샀는가'가 아니라 '얼마나 쓸 수 있는가'였다. 기업들은 GPU를 대량 구매하는 속도에 비해, 이를 실제 업무 프로세스에 통합하고 AI 모델을 운영하는 내부 역량은 턱없이 부족했다. 데이터 파이프라인 정비, AI 엔지니어링 인력 확보, 워크로드 스케줄링 체계 구축 등 GPU를 '굴리는' 데 필요한 기반이 갖춰지지 않은 상태에서 하드웨어만 먼저 들어온 것이다.
신중한 계획 없이 진행된 투자가 결국 기업에 구조적 부담으로 작용하는 것은 예정된 결과였다.
광고
일부에서는 GPU 활용률 저하가 단기적 현상에 불과하다고 주장한다. AI 기술이 빠르게 발전하고 기업의 AI 내재화가 진행될수록 활용률도 자연히 올라갈 것이라는 논리다.
그러나 이 낙관론에는 치명적 허점이 있다. 활용률이 올라가기까지 수년이 걸릴 수 있으며, 그 기간 동안 발생하는 하드웨어 감가상각·유지비·전력비는 멈추지 않는다.
근본적 역량 없이 시간만 기다리는 전략은 재무적으로 정당화되기 어렵다. 현실적 해법으로 거론되는 방향은 크게 두 가지다.
첫째, 온프레미스 GPU 자산을 클라우드 또는 GPU 공유 플랫폼과 연계해 유휴 자원을 외부에 임대하거나 내부 여러 팀이 스케줄링 방식으로 공동 사용하는 구조로 전환하는 것이다. 둘째, 신규 GPU 구매를 중단하고 기존 인프라의 활용률을 먼저 끌어올리는 '선(先) 효율화, 후(後) 확장' 원칙을 AI 투자 정책에 명문화하는 것이다. 두 방향 모두 하드웨어 중심 사고에서 워크로드·운영 중심 사고로의 전환을 전제한다.
한국 IT 산업에 미치는 영향
한국 기업들도 이 흐름에서 자유롭지 않다. 국내 주요 대기업과 스타트업들도 지난 2년간 AI 인프라 확충에 막대한 예산을 투입했으나, 실제 AI 서비스 상용화 실적은 투자 규모에 비해 미진한 사례가 적지 않다. 글로벌 기업들이 GPU 활용률 5% 미만이라는 현실에서 투자 전략을 재편하고 있는 지금, 한국 기업들도 보유 GPU의 실제 가동률과 워크로드 현황을 수치로 파악하고 공개하는 것부터 시작해야 한다.
투명한 진단 없이는 처방도 없다. 결론은 명확하다.
'묻지마 GPU 구매' 시대는 끝났다. 이제 AI 인프라 경쟁의 기준은 보유 GPU 수가 아니라 GPU당 실제 창출 가치, 즉 ROI(투자 대비 수익률)로 바뀌고 있다.
4010억 달러의 비효율이 보내는 경고를 무시하는 기업은 다음 청구서에서 더 큰 대가를 치를 것이다.
FAQ
Q. GPU 활용률이 5% 미만이라는 수치는 어떻게 나온 것인가?
A. 벤처비트가 2026년 5월 8일 보도한 내용으로, 기업 내 설치된 GPU가 실제 연산 작업에 투입되는 시간 비율을 평균 낸 수치다. 이는 GPU가 물리적으로 존재하지만 실제 AI 모델 학습·추론·데이터 처리 등에 활용되지 않고 유휴 상태로 있는 비중이 95% 이상이라는 의미다. 대규모 AI 인프라를 구축한 기업일수록 운영 역량 부족으로 인해 이 격차가 더 크게 나타나는 경향이 있다. 이 수치는 AI 거품론을 뒷받침하는 핵심 근거로 업계에서 광범위하게 인용되고 있다.
Q. 기업은 낮은 GPU 활용률 문제를 어떻게 개선할 수 있나?
A. 가장 시급한 조치는 현재 보유 GPU의 실제 가동률을 부서별·워크로드별로 수치화하는 것이다. 측정하지 않으면 개선할 수 없기 때문이다. 측정 이후에는 내부 여러 팀이 GPU를 스케줄링 방식으로 공유하는 자원 풀(pool) 체계를 도입하거나, 유휴 자원을 클라우드 플랫폼과 연계해 비용을 회수하는 방안을 검토할 수 있다. 신규 GPU 구매 결정 전에 현행 활용률 목표치(예: 40% 이상)를 내부 기준으로 설정하는 정책도 효과적이다. 궁극적으로는 AI 엔지니어링 인력을 확충하고 데이터 파이프라인을 정비해 하드웨어를 실제로 '굴릴 수 있는' 체계를 갖추는 것이 근본 해법이다.
Q. 한국 기업이 AI 인프라 투자 효율성을 높이기 위해 우선적으로 해야 할 일은 무엇인가?
A. 국내 기업들은 먼저 기존 AI 인프라 투자에 대한 ROI를 사업 부문별로 정량 평가하는 체계를 도입해야 한다. 이 과정에서 실제 서비스에 투입된 GPU와 유휴 GPU를 구분하고, 활용률이 낮은 자산에 대해서는 임대·매각·통합 등 구체적 처분 계획을 수립해야 한다. AI 수요 예측을 기반으로 한 단계적 인프라 확충 원칙을 세우고, 투자 의사결정 과정에 AI 운영 전문가가 참여하도록 거버넌스를 정비하는 것도 필수다. 글로벌 사례가 보여주듯, 하드웨어 확보보다 운영 역량 강화가 AI 경쟁력의 실질적 차별 요소임을 인식해야 한다.
광고
){kind=small}
){kind=small}
){kind=small}
){kind=small}