OpenAI가 Broadcom과 공동 설계한 추론 전용 칩 'Jalapeño' 공개

OpenAI가 Broadcom과 공동으로 설계한 자체 맞춤형 추론용 칩인 Jalapeño를 공개했으며 이 칩은 실시간 추론 워크로드를 염두에 둔 전용 하드웨어라는 점에서 주목을 받는다. OpenAI는 칩 개발 과정에 자사 AI 모델을 활용했다고 밝혔고 초기 테스트에서 기존 대안보다 와트당 성능이 유의미하게 우수하다고 결과를 제시하였다.

Jalapeño는 미리 학습된 모델을 사용자 명령에 따라 실행하는 추론(inference)에 최적화된 설계로, 실시간 코딩 모델 같은 응답성 높은 애플리케이션에서 운영 비용을 낮추는 데 초점을 맞춘다. 회사는 전통적인 대규모 학습(pre‑training) 작업은 여전히 GPU에 의존할 가능성이 크지만 추론 단계의 비용을 줄이면 전체 비즈니스 경제성에 큰 영향을 줄 것으로 보고 있다.

이런 전용 칩 도입은 OpenAI가 모델·제품·인프라 전 영역을 함께 최적화하려는 전략의 일환으로, 칩 아키텍처부터 커널·메모리·네트워킹·스케줄링까지 스택 전반을 조율하면 모델의 속도·신뢰성·비용 측면에서 개선이 가능하다. 다만 공개된 수치는 정량적 상세가 부족하고 칩이 아직 시험 단계인 만큼 실전 배포와 광범위한 검증을 통해 실제 이득이 확인되어야 한다.