섹션별 상세
d-Matrix는 기존 Corsair 가속기에서 사용하던 SRAM 기반 아키텍처의 용량 한계를 넘기 위해 3D 적층 DRAM 기술인 3DIMC를 도입했다. SRAM은 속도가 빠르지만 집적도가 낮아 대규모 모델 지원에 한계가 있으므로, 연산 다이 위에 DRAM 레이어를 수직으로 추가하여 성능과 용량을 동시에 확보했다.
Pavehawk 테스트 칩은 3DIMC 기술을 통해 스택당 20TB/s의 대역폭을 구현했다. 이는 차세대 표준인 HBM4가 제공하는 대역폭의 약 10배에 달하는 수치이며, 데이터 전송 효율 또한 0.3-0.4 pJ/bit로 기존 HBM 방식(3-4 pJ/bit)보다 10배 가량 우수함이 확인됐다.
칩렛(Chiplet) 설계를 활용하여 SRAM과 DRAM 메모리 풀을 선형적으로 확장할 수 있는 구조를 갖췄다. 다이 간 상호 연결(Die-to-Die Interconnect) 최적화를 통해 여러 개의 칩렛이 마치 하나의 거대한 초고속 메모리 풀처럼 작동하도록 설계하여 대규모 추론 시 발생하는 병목 현상을 제거했다.
3DIMC 기술은 기존에 커패시터로 사용되던 수동 DRAM을 활성 스택으로 전환하여 연산 엔진에 직접 연결하는 방식을 취한다. 수백 MHz 수준의 낮은 클럭에서도 수천 개의 DRAM 뱅크를 동시에 노출함으로써 전력 소모를 낮추면서도 극단적인 대역폭을 확보하는 메커니즘을 사용한다.
연구소 내 검증 결과 Pavehawk는 다양한 전압 및 온도 범위의 스트레스 테스트에서 목표 성능을 유지했다. 최악의 시나리오에서도 0.4 pJ/bit 이하의 전력 효율을 보여주었으며, 이는 향후 출시될 2세대 가속기 Raptor에 적용되어 에이전트 파이프라인의 지연 시간을 획기적으로 개선할 예정이다.
용어 해설
- 정적 랜덤 액세스 메모리(SRAM)
- — 데이터 유지력이 높고 속도가 매우 빠르지만 집적도가 낮아 칩 내부의 캐시 메모리로 주로 사용되는 반도체이다. AI 가속기에서 연산 데이터의 빠른 처리를 담당하는 핵심 요소이다.
- 3D 통합 온칩 메모리(3DIMC)
- — d-Matrix가 개발한 기술로, 연산 로직 다이 위에 DRAM을 수직으로 직접 적층하여 데이터 전송 경로를 단축하고 대역폭을 극대화하는 3D 패키징 방식이다.
- 4세대 고대역폭 메모리(HBM4)
- — 여러 개의 DRAM을 수직으로 쌓아 데이터 전송 속도를 높인 차세대 메모리 표준이다. AI 가속기의 성능을 결정짓는 핵심 부품이지만, 본문에서는 3DIMC가 이보다 더 높은 효율을 낸다고 비교된다.
- 칩렛(Chiplet)
- — 하나의 큰 반도체를 만드는 대신 기능을 분할한 작은 다이들을 연결하여 하나의 패키지로 구성하는 설계 방식이다. 수율을 높이고 메모리 풀을 선형적으로 확장하기에 용이하다.
- 다이 간 상호 연결(Die-to-Die Interconnect)
- — 패키지 내에서 서로 다른 반도체 칩(다이) 사이를 연결하는 고속 통신 기술이다. 칩렛 구조에서 데이터 전송 지연 시간을 최소화하고 대역폭을 확보하는 데 결정적인 역할을 한다.
기술
- 3DIMC
- SRAM
- DRAM
- TSV
- Pavehawk
- Corsair
활용 사례
- 실시간 AI 에이전트 파이프라인
- 대규모 추론 워크로드 가속
- 저지연 상호작용형 챗봇 서비스
언급된 리소스
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 03. 17.수집 2026. 03. 17.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.