Taalas HC1, Llama 3.1 8B 모델에서 초당 16,960 토큰 추론 성능 달성

Taalas HC1은 TSMC 6nm 공정으로 제작된 전용 AI 추론 하드웨어로, Llama 3.1 8B 모델 구동 시 초당 16,960 토큰의 처리량을 기록했다. 이는 기존 시장의 주요 가속기 대비 수십 배 높은 성능이다. 2.5kW 전력 소비 환경에서 동작하며, 고속 추론이 필요한 서비스에 최적화된 설계를 갖췄다.