모바일에서 대형 MoE 모델 실행 데모

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

작성자는 BigMoeOnEdge 엔진을 이용해 12GB RAM의 중급 안드로이드 기기에서 DeepSeek V4 Flash IQ2_M(92GB)를 약 1 tok/s로 구동한 실험 결과를 공유하고 있습니다. 원문과 첨부 스크린샷은 토큰 처리량(약 0.97 tok/s)과 compute·flash·cache 지연 분해를 제시해 현재 제약이 어디에 있는지 보여 줍니다. 작성자는 동일 구조의 모듈성 덕분에 Gemma 26B, Qwen 3 등 다른 대형 MoE 모델도 시험 가능하다고 언급하나 실용 단계로의 전환에는 추가 성능 개선과 안정성 확보가 필요하다고 명시하고 있습니다.

주요 논점

01찬성소수

작성자는 BigMoeOnEdge 엔진과 llama.cpp 모듈성으로 모바일·소비자 PC에서 다양한 대형 MoE 모델을 실행할 수 있음을 입증했다고 주장합니다.

실용적 조언

관련 리포지토리(Helldez/BigMoeOnEdge) 링크를 통해 소스와 이슈를 확인해 보시기 바랍니다. 원문은 모듈형 엔진 구조로 여러 모델을 교체해 시험할 수 있고, 실제로 12GB RAM 장치에서 0.97 tok/s 수준의 실험 결과가 보고되어 있음을 제시합니다. 다만 작성자가 '실용 단계는 아니다'라고 명시한 만큼, 실서비스 적용을 염두에 둔다면 성능·온도·안정성 측정을 별도로 수행해야 합니다.

섹션별 상세

작성자는 중형급 안드로이드 기기(12GB RAM)에서 DeepSeek V4 Flash IQ2_M(92GB)를 1 tok/s 수준으로 구동한 실험 결과를 공유하고 있습니다. 실험 결과는 스크린샷의 성능 지표(0.97 tok/s, 1033 ms/token)와 GitHub 이슈 링크로 뒷받침됩니다. 이 결과는 장치 제약이 있는 환경에서도 대형 MoE 모델을 로컬에서 실행할 수 있다는 가능성을 보여 줍니다.

엔진이 여러 모델을 지원하는 핵심은 llama.cpp와의 모듈성이라고 원문이 밝히고 있습니다. 모듈형 백엔드는 모델 포맷마다 별도 처리 로직을 넣을 수 있게 해 다양한 MoE 모델을 동일한 실행 환경에서 교체해 실행하는 과정을 단순화합니다. 이런 구조 때문에 작성자는 '한 줄의 코드'로 지원되는 모델을 실행할 수 있다고 주장하고 있습니다.

제약과 한계도 명확히 제시되어 있는데, 작성자는 아직 실사용 단계는 아니라고 명시하고 있습니다. 스크린샷에는 CPU 온도와 I/O·캐시 지연량이 함께 표시되어 있어 현재 성능은 속도와 열 관리, 저장소 접근에 의해 제한받는 것으로 보입니다. 따라서 실무 적용을 위해서는 속도 개선과 안정성 검증이 추가로 필요합니다.

이번 실험의 의미는 연구·실험 단계에서 대형 MoE 모델을 에지 장치로 옮겨와 테스트할 수 있다는 점입니다. 작성자는 Gemma 26B, Qwen 3 등 다른 대형 모델도 실행 가능하다고 언급해 범용성 가능성을 암시합니다. 다만 저속 추론과 높은 자원 사용이 병존하므로 실제 서비스 전환에는 추가 엔지니어링이 필요하다는 점이 중요합니다.

이미지 분석

Screenshot
스크린샷은 추론 성능을 수치로 제시하며 0.97 tok/s(1033 ms/token), 내부 분해로 compute 580 ms, flash wait 301 ms, cache mgmt 152 ms가 표시되어 있습니다. 또한 CPU 점유율과 온도(CPU 91.5°C)가 보이므로 현재 실행이 연산 및 I/O 대기, 캐시 관리에 의해 제약받고 있음을 확인할 수 있습니다.
실행 화면 스크린샷

Screenshot
두 번째 이미지는 첫 이미지와 동일한 성능 지표를 다른 해상도로 보여 주며, 실험 환경의 실시간 처리량이 약 0.94~0.97 tok/s 범위라는 점을 보강합니다. 이 값들과 CPU 온도 정보는 에지 장치에서의 추론 한계를 가시적으로 드러냅니다.
동일한 실행 지표의 보조 스크린샷

용어 해설

혼합 전문가 구조(Mixture-of-Experts (MoE)): — 혼합 전문가(MoE)는 모델 내부에 여러 '전문가' 서브넷을 두고 입력에 따라 일부 전문가만 활성화해 계산과 메모리 효율을 높이는 아키텍처로, 대형 매개변수를 부분적으로만 사용해 대규모 모델 확장이 가능하게 합니다.
디바이스 내 추론(On-device inference): — 디바이스 내 추론은 서버 대신 휴대폰이나 소비자 PC에서 모델을 로컬로 실행하는 방식으로, 네트워크 의존성을 줄이고 응답성을 확보하는 대신 메모리·연산 제약을 해결해야 하는 과제를 안고 있습니다.
초당 토큰 처리량(tokens/s): — 초당 토큰 처리량은 모델 추론 성능을 나타내는 지표로, 한 토큰을 생성하는 데 걸리는 평균 시간(ms/token)과 역관계에 있으며 장치 성능·I/O 대기·캐시 효율이 총합 성능에 직접적인 영향을 미칩니다.
llama.cpp 기반 모듈성(modularity with llama.cpp): — llama.cpp와의 모듈성은 백엔드 인터페이스를 분리해 다양한 모델 형식과 실행 전략을 플러그인처럼 교체할 수 있게 하는 설계로, 동일 플랫폼에서 여러 모델을 시험하고 호환성을 확보하는 데 유리합니다.

언급된 도구

BigMoeOnEdge추천링크

모바일 및 소비자 PC에서 대형 MoE 모델을 실행하기 위한 오픈소스 엔진

llama.cpp추천

경량화된 모델 런타임 인터페이스로 엔진의 모듈성 확보에 기여

언급된 리소스

GitHubHelldez/BigMoeOnEdge

문서Issue #147: Running DeepSeek on Android