온디바이스 bounded 툴 호출 실험과 Gemma GGUF 빌드(2.45GB)의 메모리·디코드 성능 보고

커뮤니티 반응은 실험적 결과와 수치에 대해 관심을 보이면서도 재현 가능성에 대한 검증 요청이 함께 제기되었다. 다수의 참여자가 RSS와 지속 디코드율을 자신의 장치에서 측정해 비교하려는 의지를 표명했고, mmap 기반의 메모리 관리와 구조화된 툴 호출 패턴에 대해 실전 적용 가능성을 긍정적으로 본 의견이 있었다. 동시에 KLD 매트릭스의 불완전성과 스키마 열화 위험을 문제 삼는 의견도 있어 추가 로그와 완전한 검증 데이터를 요구하는 목소리가 있었다.

• mmap 기반 로딩을 적용해 모델 파일을 디스크에 두고 필요한 페이지만 페이지 인으로 처리하면 활성 RSS를 크게 낮출 수 있으므로 모바일에서 메모리 여유가 부족한 경우 우선 적용을 권장한다.
• LLM이 직접 액션을 수행하지 않고 구조화된 툴 호출 포맷을 정의한 뒤 앱 레이어에서 스키마 검증과 EventKit 호출을 수행하면 민감 데이터의 외부 유출을 방지할 수 있다.
• 퀀타이즈된 빌드의 품질 검증을 위해 KLD와 같은 분포 기반 지표를 계산해 비교하고, 전체 매트릭스가 완성될 때까지 베타 테스트에서 회귀를 모니터링해야 한다.

메모리 매핑(mmap)(mmap)

— 프로세스가 파일의 내용을 가상 메모리 주소에 매핑하여 필요할 때만 페이지를 물리 메모리로 로드하는 기법이다. 이 방식은 전체 모델 파일을 상주 메모리에 두지 않고 디스크에서 페이징해 활성 RSS를 줄이는 데 사용된다. 로컬 디바이스에서 대용량 모델을 실행할 때 메모리 사용량과 OS 백그라운드 종료 위험을 낮추는 핵심 수단이다.

GGUF 파일 포맷(GGUF)

— LLM 가중치와 메타데이터를 저장하는 경량 파일 포맷으로, 여러 런타임에서 빠르게 로드되도록 설계되었다. 로컬 추론 환경에서는 디스크 크기와 페이지 전략이 성능·메모리 거동에 직접적인 영향을 미치므로 GGUF 빌드 방식이 중요하다. 제공된 빌드명(SmartEdge-IQ3XXS.gguf)은 특정 퀀타이즈·구성으로 생성된 아티팩트를 가리킨다.

Kullback-Leibler 발산(KLD)(KLD)

— 원본 분포와 퀀타이즈된 모델 분포의 차이를 수치로 나타내는 정보 이론 지표이다. 모델 퀀타이즈의 품질 평가는 코드/수학 표현과 일반 텍스트 분포에서의 KLD 감소량으로 이루어지며, 낮을수록 원본과의 분포 차이가 적다. 기사에서는 Hi‑Fi 계열 퀀트에서 KLD 감소 비율을 정량적 근거로 사용했다.

Resident Set Size (RSS)(RSS)

— 프로세스가 실제 물리 메모리에 점유하고 있는 메모리 용량을 뜻한다. 로컬 모바일 환경에서는 RSS 수치가 OS의 메모리 관리 정책과 직접 연관되어 백그라운드 종료나 서멀 스로틀링 발생 가능성을 판단하는 지표로 쓰인다. 본 실험에서는 mmap을 사용해 RSS를 약 516MB 수준으로 유지한 점이 핵심 결과이다.

EventKit (iOS 캘린더 API)(EventKit)

— iOS 애플리케이션이 로컬 캘린더와 이벤트를 읽고 생성·수정할 수 있도록 제공되는 프레임워크이다. 본 구현에서는 LLM이 직접 액션을 수행하지 않고 구조화된 툴 호출을 통해 Swift 코드가 EventKit을 검증하고 이벤트를 기록하는 흐름으로 보안·프라이버시 노출을 최소화했다. 장치 오프라인 환경에서도 로컬 캘린더 조작이 가능하도록 설계되었다.