하드웨어에 모델을 직접 각인하여 초당 15,000 토큰을 생성하는 Taalas 기술

기술의 압도적인 속도와 비용 효율성에는 놀라움을 표하면서도, 모델 업데이트가 불가능한 경직성에 대해서는 우려 섞인 토론이 이어졌다.

• 특정 모델을 수만 명의 사용자에게 실시간으로 서비스해야 하는 게임 개발사라면 GPU 클러스터 대신 Taalas와 같은 ASIC 솔루션을 검토할 가치가 있다.

• Taalas는 모델을 칩에 직접 각인하여 메모리 없이 초당 15,000 토큰의 초고속 추론을 구현하는 ASIC 기반 하드웨어를 선보였다.
• 6nm 공정을 활용해 GPU보다 저렴한 비용으로 제작 가능하며, 데이터 전송 지연이 없어 실시간 상호작용이 필수적인 게임이나 스트리밍 서비스에 최적화되어 있다.
• 모델 교체가 불가능한 하드웨어적 특성상 범용성보다는 특정 고성능 모델을 장기간 대규모로 서비스해야 하는 특수 목적용 인프라에 적합하다.