bitgpu 데모와 리포지토리: WebGPU 기반 1비트 가중치 LLM 런타임 공개

게시물은 실행 가능한 데모와 소스코드를 함께 제시함으로써 관심을 유발했고, 작성자의 피드백 요청으로 인해 테스터들이 자신의 하드웨어 및 토큰 처리 속도 정보를 공유할 가능성이 높다. 실사용자들이 다른 시스템에서의 재현성 및 성능 차이를 보고할 경우 런타임의 호환성·성능 결함이 빠르게 드러날 수 있다. 반면에 구체적 벤치마크 수치가 본문에 포함되어 있지 않으므로 초기 반응은 구현 가능성 확인과 경험 공유에 집중될 것으로 예상된다.

• 데모 링크와 GitHub 리포지토리를 먼저 동일한 환경에서 실행해 보아야 한다는 점을 권장한다. 데모는 브라우저 기반의 실행 흐름과 가중치 스트리밍을 확인할 수 있는 최소한의 재현 환경을 제공하므로 우선 데모에서 선택한 모델의 동작 여부를 확인해야 한다. 이후 자신의 하드웨어·브라우저·드라이버 정보를 정리하여 작성자에게 토큰 처리 속도와 함께 공유하면 호환성 검증에 기여할 수 있다.
• 실행 환경을 기록할 때는 GPU 종류, 운영체제, 브라우저 버전, 드라이버 버전 및 선택한 모델 크기(예: 1.7B/4B/8B/27B)를 함께 기재해야 한다는 점을 권장한다. 이러한 상세 정보는 성능 편차의 원인을 규명하는 데 필수적이며 런타임 개선이나 최적화에 필요한 근거 자료로 활용될 수 있다. 가능하면 토큰당 지연 시간과 초당 처리 토큰 수(tok/s)를 측정해 정량적 비교자료로 제출하면 유용하다.

WebGPU

— WebGPU는 브라우저와 네이티브 환경에서 GPU 연산을 활용할 수 있게 하는 저수준 그래픽·컴퓨트 API로서, GPU에서 병렬로 행렬 연산을 수행해 LLM 추론을 클라이언트 환경으로 이전할 수 있게 한다. 이 프로젝트에서는 WebGPU를 통해 브라우저나 환경의 GPU에서 1비트 가중치 모델을 실행하는 런타임을 구동한다. WebGPU는 드라이버·플랫폼 제약을 받으므로 런타임 호환성과 메모리 관리가 중요하다.

이진 가중치(Binary-weight)

— 이진 가중치는 모델의 가중치 값을 1비트로 양자화하여 저장·연산하는 기법으로, 메모리와 대역폭을 크게 줄이는 대신 정밀도 손실을 관리하는 별도 수치처리 방식이 필요하다. 런타임은 1비트 가중치를 곧바로 GPU에서 처리하면서 모델 용량을 낮춰 로컬 실행을 가능하게 한다. 이 접근은 특히 메모리 제약이 있는 클라이언트 환경에서 유의미한 효율 개선을 제공한다.

선형 어텐션(Linear Attention)

— Linear Attention은 전통적 Transformer의 O(N^2) 어텐션 연산을 입력 길이에 대해 선형 시간·메모리 복잡도로 근사하거나 재구성하는 기법으로, 긴 시퀀스 처리에서 메모리와 계산 요구량을 줄인다. 게시물에서는 27B 모델이 'linear attention'을 이용한 하이브리드 구조로 언급되어 모델 아키텍처 차이를 나타낸다. 이 방식은 대용량 모델을 클라이언트 환경으로 옮길 때 유리하게 작용한다.

가중치 스트리밍(Weight Streaming)

— 가중치 스트리밍은 모델 가중치를 원격 저장소에서 필요할 때만 순차적으로 다운로드하여 메모리 사용을 분산시키는 방식으로, 초기 한 번만 다운로드하고 이후에는 로컬 GPU에서 직접 연산을 수행하도록 한다. 게시물에서는 Hugging Face로부터 가중치를 한 번 스트림한 뒤 로컬에서 모든 연산이 이루어진다고 명시되어 있어 데이터 전송과 프라이버시 측면에서 의도를 드러낸다. 이 방법은 네트워크 대역폭과 로컬 메모리 제약을 조율하는 데 유용하다.