d-Matrix, 3D 적층 DRAM 기술 '3DIMC'로 AI 추론 메모리 병목 해결

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

AI 추론 시장에서 상호작용형 애플리케이션의 수요가 급증함에 따라 기존 SRAM 기반 아키텍처의 용량 한계를 극복할 새로운 메모리 솔루션이 필요해졌다. d-Matrix는 연산 로직 위에 DRAM을 수직으로 쌓는 3DIMC 기술을 개발하고 이를 적용한 테스트 칩 Pavehawk를 통해 성능을 입증했다. Pavehawk는 HBM4 대비 10배 높은 20TB/s의 대역폭과 0.4 pJ/bit 수준의 초저전력 효율을 달성했다. 이 기술은 차세대 AI 가속기 Raptor의 핵심 기반이 되어 대규모 추론 모델과 복잡한 에이전트 파이프라인의 지연 시간을 획기적으로 단축할 전망이다.

배경

반도체 패키징 및 3D IC 적층 기술에 대한 기초 지식, HBM 및 SRAM의 구조적 차이 이해, LLM 추론 시 발생하는 메모리 대역폭 병목 현상에 대한 이해

대상 독자

AI 하드웨어 엔지니어, LLM 인프라 설계자 및 고성능 추론 솔루션 개발자

의미 / 영향

HBM에 의존하던 기존 AI 가속기 시장에 새로운 메모리 적층 대안을 제시했다. 특히 전력 효율과 대역폭 면에서 압도적인 수치를 보여주어 온디바이스나 엣지 서버급에서도 대규모 모델의 실시간 추론이 가능한 환경을 조성할 것으로 기대된다.

섹션별 상세

d-Matrix는 기존 Corsair 가속기에서 사용하던 SRAM 기반 아키텍처의 용량 한계를 넘기 위해 3D 적층 DRAM 기술인 3DIMC를 도입했다. SRAM은 속도가 빠르지만 집적도가 낮아 대규모 모델 지원에 한계가 있으므로, 연산 다이 위에 DRAM 레이어를 수직으로 추가하여 성능과 용량을 동시에 확보했다.

Pavehawk 칩의 3D 적층 구조 다이어그램과 실제 칩 패키지 사진이다. — DiagramLogic Die 아래에 DRAM die가 위치하고 uBump와 TSV를 통해 수직으로 연결된 3DIMC 아키텍처의 세부 구조를 보여준다. 실제 대만에서 제조된 Pavehawk One 칩의 외형도 함께 포함되어 기술의 실체성을 뒷받침한다.

Pavehawk 테스트 칩은 3DIMC 기술을 통해 스택당 20TB/s의 대역폭을 구현했다. 이는 차세대 표준인 HBM4가 제공하는 대역폭의 약 10배에 달하는 수치이며, 데이터 전송 효율 또한 0.3-0.4 pJ/bit로 기존 HBM 방식(3-4 pJ/bit)보다 10배 가량 우수함이 확인됐다.

칩렛(Chiplet) 설계를 활용하여 SRAM과 DRAM 메모리 풀을 선형적으로 확장할 수 있는 구조를 갖췄다. 다이 간 상호 연결(Die-to-Die Interconnect) 최적화를 통해 여러 개의 칩렛이 마치 하나의 거대한 초고속 메모리 풀처럼 작동하도록 설계하여 대규모 추론 시 발생하는 병목 현상을 제거했다.

3DIMC 기술은 기존에 커패시터로 사용되던 수동 DRAM을 활성 스택으로 전환하여 연산 엔진에 직접 연결하는 방식을 취한다. 수백 MHz 수준의 낮은 클럭에서도 수천 개의 DRAM 뱅크를 동시에 노출함으로써 전력 소모를 낮추면서도 극단적인 대역폭을 확보하는 메커니즘을 사용한다.

연구소 내 검증 결과 Pavehawk는 다양한 전압 및 온도 범위의 스트레스 테스트에서 목표 성능을 유지했다. 최악의 시나리오에서도 0.4 pJ/bit 이하의 전력 효율을 보여주었으며, 이는 향후 출시될 2세대 가속기 Raptor에 적용되어 에이전트 파이프라인의 지연 시간을 획기적으로 개선할 예정이다.

Pavehawk 칩의 메모리 읽기/쓰기 스트레스 테스트 시 전력 소모 그래프이다. — Chart전압 변화에 따른 전류(mA) 추이를 보여주며, 최종적으로 0.3358 pJ/bit라는 초저전력 효율을 달성했음을 수치로 증명한다. 이는 기존 HBM 대비 10배 이상의 에너지 효율을 나타내는 핵심 근거이다.

실무 Takeaway

상호작용형 AI 서비스의 지연 시간을 줄이기 위해 SRAM의 속도와 DRAM의 용량을 결합한 3D 적층 구조인 3DIMC가 필수적이다.
3DIMC 기술을 적용하면 HBM4 대비 전력 효율을 10배 개선하면서도 대역폭을 20TB/s까지 끌어올려 대규모 추론 비용을 획기적으로 절감할 수 있다.
복잡한 에이전트 파이프라인에서는 각 단계의 지연 시간이 누적되므로, Pavehawk와 같은 고대역폭 메모리 솔루션이 전체 시스템 성능의 핵심 경쟁력이 된다.

언급된 리소스

문서Gimlet Labs Performance Data