최근 인공지능(AI) 모델이 길고 복잡한 문장을 처리하는 능력이 고도화되면서, 연산 속도와 메모리 효율을 동시에 끌어올릴 수 있는 혁신적인 반도체 기술의 필요성이 대두되고 있다. 이러한 배경 속에 한국과학기술원(KAIST)과 국제 공동연구진이 거대언어모델(LLM)의 성능을 획기적으로 개선할 수 있는 차세대 AI 반도체 기술을 세계 최초로 구현하는 데 성공해 학계와 산업계의 주목을 받고 있다.
KAIST는 전산학부 박종세 교수 연구팀이 미국 조지아 공과대학교, 스웨덴 웁살라대학교와 공동연구를 통해 AI 메모리 반도체(PIM, Processing-in-Memory) 기반 기술인 **‘PIMBA’**를 개발했다고 17일 밝혔다. PIMBA는 트랜스포머(Transformer)와 맘바(Mamba)의 장점을 결합한 하이브리드 구조를 메모리 내부에서 직접 연산하는 형태로 구현한 ‘AI 반도체 핵심 두뇌’ 기술이다.
◇ 기존 GPU 대비 처리 성능 4.1배↑, 에너지 소비 2.2배↓
현재 챗GPT, GPT-4, Gemini 등 주요 LLM은 모든 단어를 동시에 보는 '트랜스포머' 구조를 기반으로 작동한다. 이 구조는 AI 모델 크기가 커지고 처리 문장이 길어질수록 연산량과 메모리 요구량이 급증하여 속도 저하와 막대한 에너지 소모를 유발하는 고질적인 문제점을 안고 있었다.
이러한 트랜스포머의 한계를 보완하기 위해 등장한 순차형 기억형 두뇌인 ‘맘바’ 구조는 효율을 높였지만, 여전히 메모리 병목 현상과 전력 소모의 제약이 남아 있었다.
이에 박종세 교수 연구팀은 트랜스포머와 맘바의 장점을 극대화한 **‘트랜스포머–맘바 하이브리드 모델’**을 위해 연산을 메모리 내부에서 직접 수행하는 신개념 반도체 구조 PIMBA를 설계했다.
기존 GPU 기반 시스템이 데이터를 메모리 밖으로 옮겨 연산을 수행하는 것과 달리, PIMBA는 데이터를 옮기지 않고 저장장치 내부에서 바로 계산을 수행한다. 이로써 데이터 이동 시간을 최소화하고 전력 소모를 대폭 줄이는 데 성공했다. 실제 실험 결과, PIMBA는 기존 GPU 시스템 대비 처리 성능이 최대 4.1배 향상되었으며, 에너지 소비는 평균 2.2배 감소하는 괄목할 만한 성과를 보였다. 이는 LLM의 추론 속도를 4배 높이고 전력 소비는 절반으로 줄인 혁신적인 결과다.
◇ 세계 최고 권위 학회 발표 및 삼성 논문대상 금상 수상
이번 연구 성과는 오는 20일 서울에서 개최되는 세계적 컴퓨터 구조 학술대회인 **‘제58회 국제 마이크로아키텍처 심포지엄(MICRO 2025)’**에서 발표될 예정이다. 또한, 이 논문은 앞서 **‘제31회 삼성휴먼테크 논문대상’**에서 금상을 수상하며 기술적 우수성을 일찌감치 인정받았다.
){kind=small}
){kind=small}
){kind=small}
){kind=small}