TL;DR
AI 하드웨어 스타트업 Etched가 Jane Street 주도로 7억 달러를 추가 유치하며 기업가치 210억 달러를 기록했습니다. 회사는 Inference를 프롬프트 맥락을 처리하는 Prefill과 출력 토큰을 생성하는 Decode로 나누고, 각 단계에 맞춘 저전압 칩과 cluster-scale memory를 설계했습니다. 저전압 칩은 발열을 억제하면서 트랜지스터 집적도를 높이고, cluster-scale memory는 여러 칩이 공유 메모리를 낮은 지연 시간으로 사용하게 합니다. Jane Street는 칩을 직접 시험한 뒤 데이터센터에 자체 랙을 설치했지만, 기사에 구체적인 성능 수치 대신 초기 평가와 속도·비용 개선 목표가 제시됐습니다.
섹션별 상세
용어 해설
- 추론(Inference)
- — 사용자가 프롬프트를 제출한 뒤 AI 시스템이 답변을 생성하는 계산 과정입니다. 프롬프트의 맥락을 처리하는 prefill 단계와 출력 토큰을 순차적으로 생성하는 decode 단계로 나뉘며, 두 단계는 연산량과 메모리 요구가 서로 다릅니다.
- Prefill 단계(Prefill Phase)
- — Inference에서 입력 프롬프트와 그 맥락을 한꺼번에 처리하는 단계입니다. 수학 연산과 계산량이 크기 때문에 Etched는 낮은 전압에서 더 많은 트랜지스터를 집적하는 전용 칩으로 토큰 처리 속도를 높이려 합니다.
- Decode 단계(Decode Phase)
- — 모델이 사용자가 실제로 받는 출력 토큰을 생성하는 단계입니다. 메모리 접근이 핵심 병목이므로 Etched는 여러 칩이 하나의 메모리 풀을 공유하도록 구성한 cluster-scale memory와 연결 기술을 적용합니다.
- 클러스터 규모 메모리(Cluster-scale Memory)
- — 여러 칩이 빠른 연결을 통해 하나의 공유 메모리 풀을 사용하는 메모리 구조입니다. Decode 단계에서 칩 사이의 데이터 이동과 대기 시간을 줄여 대규모 Inference 시스템의 속도와 비용을 개선하려는 목적을 가집니다.
- 저전압 칩(Low-voltage Chip)
- — 낮은 전압으로 동작해 고성능 AI 칩에서 발생하는 열 문제를 줄이면서 더 많은 트랜지스터를 집적하도록 설계한 칩입니다. Etched는 이 구조를 Prefill 처리에 사용해 더 많은 토큰을 빠르게 계산하려 합니다.
기술
- frontier inference clusters
- AI factories
- Prefill chip
- cluster-scale memory
- frontier model
활용 사례
- 대규모 언어 모델 Inference
- 데이터센터용 AI 하드웨어
- 고성능 프롬프트 처리
- 출력 토큰 생성 workloads
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
