BigMoeOnEdge 플래시 스트리밍으로 모바일에서 MoE 실행

커뮤니티는 코드와 성능 수치가 첨부된 실험 결과에 호기심을 보이며 실무 적용 가능성에 관심을 보였다. 일부 사용자는 mmap과 페이지 캐시 관련 병목 현상에 공감하며 동일 환경에서의 재측정을 제안했고, 다른 일부는 스트리밍 방식의 오버헤드와 절대 처리량 한계에 대해 우려를 표명했다. 전반적으로 공개 리포지토리와 바이트 단위 정합성 테스트를 긍정적으로 받아들였으며, 모바일 메모리 리클레임 동작에 대한 추가 데이터 요청이 다수 존재했다.

• 모바일에서 동일한 실험을 반복할 경우 mmap과 스트리밍 경로 모두에서 바이트 단위 동일성 검증을 수행해 출력 정합성을 보장해야 한다.
• 데모 앱보다 CLI 경로에서 더 높은 처리량이 관찰되었으므로 초기 성능 실험은 CLI 환경에서도 병행해 측정할 것을 권장한다.
• 모바일 메모리 리클레임 동작이 결과에 큰 영향을 줄 수 있으므로 다양한 안드로이드 기기와 OS 버전에서 페이지 캐시·리클레임 행태를 측정해 병목 요인을 규명해야 한다.

Mixture of Experts (MoE)

— Mixture of Experts는 각 토큰마다 전체 네트워크가 아니라 일부 '전문가' 서브네트워크만 활성화되는 아키텍처로, 토큰별로 선택된 전문가에 대해서만 계산과 가중치 접근이 이루어지기 때문에 전체 모델의 모든 가중치를 메모리에 상주시킬 필요가 없다. 라우터가 각 층에서 선택한 전문가를 결정하면 해당 전문가의 텐서 슬라이스만 로드해 연산 전 포인터를 재결합하는 방식으로 동작한다. 이 방식을 통해 큰 모델을 제한된 RAM 환경에서 부분적으로 실행할 수 있다.

mmap

— mmap은 디스크 파일을 프로세스 주소 공간에 매핑해 파일 I/O를 가상 메모리 접근으로 처리하는 기법으로, 커널은 페이지 캐시를 통해 매핑된 페이지를 관리한다. 대규모 모델을 mmap으로 그대로 실행하면 페이지 캐시 스래싱이 발생해 실질적인 처리량이 극도로 저하될 수 있다. 게시물에서는 단순 mmap이 안드로이드 환경에서 약 0.1 tok/s 수준으로 성능 병목을 일으킨다고 보고되었다.

GGUF

— GGUF는 모델 가중치와 메타데이터를 담는 포맷 및 로드 API로, 게시물에서는 gguf API를 통해 스트리밍·평가 콜백 경로로 모든 실행이 흐르도록 구성해 llama.cpp 상위 모듈로 통합했다. 이 구조는 업스트림 업그레이드를 단순 버전 변경으로 유연하게 처리할 수 있게 하며, 파일 단위 접근으로 필요한 텐서 슬라이스만 불러오는 스트리밍 구현과 결합되었다. 공개 API를 이용해 스트리밍된 출력의 정합성을 검증하는 방식이 사용되었다.

Router hook

— 라우터 훅은 각 토큰 처리 시 어떤 전문가(expert)가 선택되었는지를 관찰하고 그 정보를 외부로 제공하는 콜백 지점으로, 선택된 전문가 목록을 기반으로 필요한 텐서 슬라이스를 스토리지에서 읽어오는 판독기(reader)를 트리거한다. 이 훅은 토큰별 라우팅 결정과 실제 데이터 로드 시점을 연결해 메모리 거주 단위를 '전문가 단위'로 전환하게 한다. 게시물에서는 이 훅을 통해 필요한 슬라이스만 플래시에서 직접 스트리밍하는 것이 핵심으로 제시되었다.