TokenSpeed-Kernel: 다중 실리콘 LLM 추론을 위한 이식성 높은 API와 고성능 커널

TokenSpeed-kernel은 LLM 추론의 백엔드 복잡성을 줄이기 위해 런타임과 하드웨어 특화 커널을 분리하는 독립형 서브시스템이다. 레이어드 API와 레지스트리 시스템을 통해 런타임은 모델 실행과 스케줄링 같은 공통 책임만 관리하고, 플랫폼별 성능 최적화는 플러그형 커널들이 담당하게 하며 GPT-OSS 예시에서 AMD용 Gluon 경로가 최상급 성능을 달성한 점을 근거로 레이어드 구조가 성능을 희생하지 않음을 보여준다.

설계 측면에서는 TokenSpeed runtime이 실행·스케줄링·라우팅 상태를 소유하고 TokenSpeed-kernel이 연산자 API, 백엔드 등록·선택, 숫치 처리, 벤치마크·프로파일링을 소유하도록 책임을 명확히 구분한다. 커널들을 독립 패키지로 배포하면 특정 하드웨어용 커널만 설치하거나 별도로 업데이트할 수 있어 멀티 실리콘 환경에서 재사용성과 생태계 참여가 용이해진다.

결과적으로 명확한 커널 시스템과 경계가 없으면 모델 추가나 새로운 실리콘 지원 시 런타임과 모델 코드 전반에 걸쳐 장비 체크와 예외 처리가 누적되어 비용이 발생한다. TokenSpeed-kernel은 이런 누수를 막아 개발·운영 부담을 줄이고, 플랫폼별 고성능 경로를 커널 단위로 격리해 실전 배포에서의 확장성과 유지보수성을 높인다.