본문으로 건너뛰기
PyTorch조회 1회

TokenSpeed-Kernel: 다중 실리콘 LLM 추론을 위한 이식성 높은 API와 고성능 커널

TokenSpeed-kernel은 런타임과 하드웨어 특화 커널을 분리하는 레이어드 API·레지스트리 시스템을 제공해 다양한 GPU·벤더에서 고성능 LLM 추론을 가능하게 한다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

TokenSpeed-kernel은 LLM 추론의 백엔드 복잡성을 줄이기 위해 런타임과 하드웨어 특화 커널을 분리하는 독립형 서브시스템이다. 레이어드 API와 레지스트리 시스템을 통해 런타임은 모델 실행과 스케줄링 같은 공통 책임만 관리하고, 플랫폼별 성능 최적화는 플러그형 커널들이 담당하게 하며 GPT-OSS 예시에서 AMD용 Gluon 경로가 최상급 성능을 달성한 점을 근거로 레이어드 구조가 성능을 희생하지 않음을 보여준다.

설계 측면에서는 TokenSpeed runtime이 실행·스케줄링·라우팅 상태를 소유하고 TokenSpeed-kernel이 연산자 API, 백엔드 등록·선택, 숫치 처리, 벤치마크·프로파일링을 소유하도록 책임을 명확히 구분한다. 커널들을 독립 패키지로 배포하면 특정 하드웨어용 커널만 설치하거나 별도로 업데이트할 수 있어 멀티 실리콘 환경에서 재사용성과 생태계 참여가 용이해진다.

결과적으로 명확한 커널 시스템과 경계가 없으면 모델 추가나 새로운 실리콘 지원 시 런타임과 모델 코드 전반에 걸쳐 장비 체크와 예외 처리가 누적되어 비용이 발생한다. TokenSpeed-kernel은 이런 누수를 막아 개발·운영 부담을 줄이고, 플랫폼별 고성능 경로를 커널 단위로 격리해 실전 배포에서의 확장성과 유지보수성을 높인다.

섹션별 상세

대규모 언어모델 추론 환경에서는 모델 구조, 텐서 모양, 양자화 형식, GPU 세대, 벤더 라이브러리 여부 등 다양한 변수가 성능을 결정해 런타임이 특수 처리 경로들로 복잡해지는 문제가 있다. TokenSpeed-kernel은 런타임과 하드웨어 특화 코드 사이에 명확한 경계를 두는 레이어드 API와 레지스트리 시스템을 도입해 런타임이 플랫폼별 예외로 어지러워지지 않도록 한다. 글에서는 GPT-OSS 예시를 통해 동일한 공개 TokenSpeed-kernel API를 호출하면 AMD·NVIDIA용 플러그형 커널이 뒤에서 성능을 담당한다고 밝힌다. 이 접근은 런타임 복잡도를 낮추면서도 플랫폼별 최적화 성능을 유지하게 한다.
근거
  • TokenSpeed-kernel은 런타임과 하드웨어 특화 코드를 분리하는 레이어드 API와 레지스트리 시스템을 제공해 런타임 복잡도를 줄인다. — 도입부·Introduction 및 'The kernel-runtime interface stays generic' 문단
  • AMD의 GPT-OSS 120B에서 Gluon 커널을 사용한 경로가 최상급 성능을 달성해 레이어드 구조가 성능을 포기하지 않았음을 보여준다. — 런타임/플러그형 커널 설명(AMD 및 NVIDIA 관련 문단)
TokenSpeed의 설계에서는 런타임과 커널의 책임을 분리해 TokenSpeed runtime이 모델 실행, 스케줄링 메타데이터, 페이지 테이블, 라우팅 상태를 소유하고 TokenSpeed-kernel이 연산자 API, 백엔드 등록·선택, 숫치 처리, 벤치마크·프로파일링을 담당한다. 런타임은 공통 공용 API만 호출하고 구체적 성능 작업은 플랫폼별 커널에 국한되므로 GPU나 벤더별 코드가 모델 코드 전체로 퍼지지 않는다. 글은 AMD의 GPT-OSS 120B에서 Gluon 커널을 사용해 최상급 성능을 달성한 사례를 제시하며 레이어드 구조가 성능을 희생하지 않았음을 근거로 든다. 이렇게 책임을 분리하면 커널 개발자와 런타임 개발자가 독립적으로 최적화·검증·배포할 수 있어 유지보수성과 확장성이 높아진다.
근거
  • TokenSpeed runtime은 모델 실행·스케줄링 메타데이터·페이지 테이블·라우팅 상태를 소유하고 TokenSpeed-kernel은 연산자 API·백엔드 등록·벤치마크·프로파일링을 소유한다. — 구조적 책임 분배를 서술한 문단
TokenSpeed-kernel은 독립 패키지로 공개되어 전체 묶음으로 설치하거나 개별 커널만 설치해 사용할 수 있게 패키징되었다. 이 방식은 커널 컬렉션을 다중 실리콘에 걸쳐 재사용 가능한 포터블 자원으로 만들며, 커널만을 업데이트하거나 특정 벤더용 구현을 별도로 배포할 수 있게 한다. 글은 이러한 패키징이 생태계 차원에서 유용하며 AMD가 Gluon 커널로 생태계 지원을 하고 있다고 언급한다. 결과적으로 커널 패키지 분리는 플랫폼 채택과 커뮤니티 기여를 촉진해 전체 생태계의 기술 확산을 도운다.
커널은 attention, MoE routing, expert GEMM, 통신, 양자화, 샘플링 같은 핵심 연산을 실행해 시스템의 지연·처리량·하드웨어 효율을 결정한다. 최적 커널은 모델·텐서 형태·양자화·GPU 세대·배포 제약·해당 호출이 디코드인지 프리필인지에 따라 달라지므로 단일 고정 해답이 없다. 엔진들이 다양한 경로(in-tree 커널, 벤더 래퍼, 실험적 경로, 아키텍처 특화 경로, 레거시 폴백)를 쌓아가면 커널 선택 로직이 모델 코드와 런타임으로 누수되어 비용이 발생한다. 따라서 명확한 커널 시스템과 경계가 없으면 새 모델 추가나 새 실리콘 지원 시 광범위한 코드 변경이 필요해 생산성이 저하된다.

용어 해설

커널-런타임 인터페이스(Kernel-Runtime Interface)
— 런타임과 하드웨어 특화 커널 사이의 경계 역할을 하는 추상화 계층으로, 런타임은 모델 실행·스케줄링·상태를 관리하고 커널은 연산 API·숫치 처리·백엔드 선택을 담당해 플랫폼 독립성과 성능을 동시에 확보한다.
커널 레지스트리(Kernel Registry)
— 다양한 하드웨어·숫자 형식·최적화 경로에 대응하는 커널 구현들을 중앙에 등록하고 런타임이 상황에 맞춰 적절한 커널을 선택하도록 하는 시스템으로, 백엔드 로직의 분산을 방지하고 확장성을 높인다.
다중 실리콘(Multi-Silicon)
— 서로 다른 GPU·가속기 세대와 벤더(AI 가속기)를 함께 지원하는 환경을 가리키며, 동일한 런타임에서 다양한 하드웨어 특성(메모리, 라이브러리, 명령어)을 고려해 커널을 선택·최적화해야 한다는 점이 핵심이다.

기술

  • PyTorch
  • TokenSpeed-kernel
  • Gluon kernels
  • GPT-OSS
  • AMD
  • NVIDIA

활용 사례

  • LLM 추론 서빙
  • 다중 실리콘 환경에서의 배포
  • 하드웨어별 고성능 커널 적용
AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 06. 25.수집 2026. 06. 26.출처 타입 RSS

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.