이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
OpenAI는 Broadcom과 함께 개발한 AI inference 전용 ASIC Jalapeño가 Nvidia GB200과 GB300 기반 비교 시스템보다 낮은 지연시간과 높은 전력당 처리량을 제공한다고 밝혔습니다. InferenceX에서 GPT-OSS 120B, DeepSeek R1, Kimi K2.5 1T를 측정한 결과 Jalapeño의 전력당 AI 작업량은 1.5~1.9배 높았고 종단 간 지연시간은 1.7~3.6배 낮았습니다. OpenAI는 2026년 말 소량 배포를 시작해 2027년에 물량을 늘리지만, Nvidia 같은 파트너와의 협력을 유지하고 전체 칩 라인업을 대체하지는 않을 계획입니다. 후속 2세대와 3세대 칩 개발도 함께 진행됩니다.
섹션별 상세
OpenAI는 AI 추론 전용 칩 Jalapeño가 기존 시스템의 성능 선택지를 넓힌다고 밝혔습니다. AI 시스템은 일반적으로 응답을 빠르게 만드는 낮은 지연시간과 한 번에 처리하는 작업량인 높은 처리량 사이에서 절충해야 하지만, Jalapeño는 두 지표를 함께 높이는 방향으로 설계됐습니다. OpenAI hardware vice president Richard Ho는 이를 “best of both worlds”라고 표현했습니다.
Jalapeño는 Broadcom과 협력해 만든 Application-Specific Integrated Circuit인 ASIC으로, 학습이 끝난 AI 모델을 실행하거나 에이전트를 배포하는 AI inference에 맞춰졌습니다. OpenAI는 InferenceX에서 Jalapeño를 GPT-OSS 120B, DeepSeek R1, Kimi K2.5 1T에 적용하고 당시 최고 기록인 Nvidia GB200 또는 GB300과 비교했습니다. 이 구조는 범용적인 전체 칩 라인업을 대체하기보다 추론 작업의 처리 순서와 전력 사용을 특정 목적에 맞게 최적화하는 접근입니다.
OpenAI가 공개한 결과에서 Jalapeño는 비교 시스템보다 전력당 AI 작업량이 1.5~1.9배 높았고, 세 모델 전체에서 종단 간 지연시간은 1.7~3.6배 낮았습니다. 별도 차트에서는 GPT-OSS의 처리량이 427에서 22,935 mixed tokens/second/kW로, DeepSeek R1은 118에서 12,258로, Kimi K2.5는 120에서 6,744로 제시됐습니다. 다만 수치는 OpenAI가 공개한 InferenceX 비교 결과이며, 회사는 Nvidia를 포함한 파트너와의 병행 전략을 유지한다고 밝혔습니다.
Jalapeño는 2026년 말 소량 배포를 시작하고 2027년에 물량을 늘릴 계획이지만, OpenAI는 내년 배포 칩 수를 공개하지 않았습니다. Ho는 전체 칩 라인업을 Jalapeño로 교체하지 않을 예정이며, Nvidia 같은 파트너와 협력하는 컴퓨팅 전략을 계속 유지한다고 밝혔습니다. OpenAI는 후속 2세대와 3세대 칩도 개발할 계획이어서, 이번 발표는 단일 칩 교체보다 자체 추론 인프라를 단계적으로 확대하는 움직임에 가깝습니다.
용어 해설
- 주문형 반도체(ASIC)
- — ASIC은 특정 작업에 맞춰 회로를 설계한 반도체입니다. Jalapeño는 AI 추론에 필요한 연산을 효율적으로 처리하도록 Broadcom과 함께 개발된 ASIC이며, 범용 칩보다 용도가 제한되는 대신 목표 작업의 지연시간과 전력 효율을 최적화할 수 있습니다.
- AI 추론(AI inference)
- — AI 추론은 학습을 마친 모델에 입력을 넣어 답변이나 작업 결과를 생성하는 실행 단계입니다. Jalapeño는 이 과정에 맞춰 설계됐으며, 응답 사이의 시간과 전력당 처리량을 주요 성능 지표로 삼습니다.
- 토큰 간 시간(Time Between Tokens)
- — Time Between Tokens는 AI 모델이 응답을 생성할 때 연속된 토큰 사이에 걸리는 시간입니다. 값이 낮을수록 사용자가 답변을 더 빠르게 이어서 받으며, OpenAI는 Jalapeño의 응답 지연시간을 Nvidia 시스템과 비교했습니다.
- 처리량(Throughput)
- — Throughput은 일정 시간과 전력 안에서 AI 시스템이 처리하는 작업량입니다. Jalapeño는 낮은 지연시간과 높은 처리량을 동시에 확보하는 것을 목표로 하며, OpenAI는 여러 모델에서 전력당 AI 작업량을 비교 수치로 제시했습니다.
기술
- Jalapeño
- ASIC
- Broadcom
- InferenceX
- GPT-OSS 120B
- DeepSeek R1
- Kimi K2.5 1T
- Nvidia GB200
- Nvidia GB300
활용 사례
- 학습 완료 모델의 AI inference
- AI agent 배포
- 대규모 AI 서비스의 응답 지연시간 개선
- 전력당 AI 처리량 최적화
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 08. 25.수집 2026. 08. 25.출처 타입 RSS
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
