엣지에서의 효율적인 추론: 모바일 기기를 위한 경량화된 사고의 사슬 프레임워크

기존의 똑똑한 AI 모델들은 답변이 너무 길어 스마트폰에서 실행하기엔 너무 느리고 배터리 소모가 심했다. 이 연구는 답변의 핵심 논리만 남기고 길이를 획기적으로 줄이는 기술을 통해, 클라우드 연결 없이 내 폰 안에서 실시간으로 복잡한 문제를 푸는 AI 비서를 가능하게 한다.

Transformer 기반 LLM이 복잡한 문제를 풀 때 사용하는 Chain-of-Thought(CoT)는 중간 사고 과정을 텍스트로 내뱉는다. 이 과정에서 생성되는 토큰 수가 많아질수록 KV Cache 메모리 점유율이 급증하고 추론 속도가 느려져, 자원이 제한된 모바일 기기에서는 배포가 불가능에 가까웠다. 이 논문은 '생각의 군더더기'를 줄이는 데 집중한다. LoRA 어댑터로 추론 능력을 주입한 뒤, 강화학습 과정에서 답변이 길어지면 벌점을 주는 'Budget Forcing' 기법을 사용한다. 이는 모델이 정답에 도달하는 데 꼭 필요한 핵심 논리만 남기도록 유도하여 연산량을 줄이는 원리다. 또한, 모든 질문에 깊은 생각이 필요하지 않다는 점에 착안해 'Switcher'라는 경량 분류기를 앞에 둔다. 단순 질문은 기본 모델이 즉시 답하고, 수학 문제 같은 복잡한 질문만 추론 어댑터를 깨워 처리함으로써 전체적인 반응 속도와 에너지 효율을 극대화한다.

LoRA 기반 SFT 및 GRPO 강화학습을 수행한다. 고품질 추론 데이터셋으로 SFT를 진행한 후, GRPO를 통해 정확도와 효율성을 동시에 최적화한다. [입력 쿼리에 대해 여러 답변 후보를 생성 → 그룹 내 상대적 보상을 계산 → 정책 업데이트 → 더 짧고 정확한 답변 생성 유도]

Soft-Barrier Reward Formulation을 적용한다. 답변 길이 L이 설정된 예산 B를 초과할 때 급격한 벌점을 주는 대신, piecewise-linear 함수를 통해 부드럽게 보상을 깎는다. [생성된 토큰 길이 L 입력 → 예산 범위 L_low~L_high 확인 → 보상 계수 R_budget 산출 → 최종 보상 결정]

Masked LoRA Training 및 KV Cache 공유 전략을 사용한다. Prefill 단계에서 LoRA 가중치를 마스킹하여 기본 모델과 어댑터 모델이 동일한 KV Cache를 공유하게 한다. 이를 통해 모드 전환 시 프롬프트를 다시 인코딩해야 하는 지연 시간 문제를 해결한다.

병렬 추론 및 경량 검증기(Verifier)를 구축한다. N개의 독립적인 CoT 경로를 병렬로 생성한 뒤, 마지막 토큰 임베딩에 Sigmoid 활성화를 적용한 선형 레이어를 통해 각 답변의 정답 확률 점수를 매긴다. [N개 답변 생성 → 검증기 헤드 통과 → 가중 다수결 수행 → 최종 답안 도출]

Qwen2.5-7B 모델에서 Budget Forcing 적용 시 MATH500 벤치마크 정확도를 유지하면서도 답변 길이를 평균 2.4배 감소시켰다. 1K 토큰 예산 제약 하에서 SFT 베이스라인의 정확도가 34%에 그친 반면, 제안 기법은 62~72%의 높은 정확도를 기록했다.

양자화 실험 결과, FPTQuant와 QAMR 기법을 적용한 4비트(W4A16KV8) 모델이 풀프리시전(BF16) 모델 성능의 98% 수준을 회복했다. 이는 단순 양자화 시 모델 출력이 무너지는 현상을 효과적으로 방지했음을 입증한다.

병렬 추론(N=8)과 가중 다수결을 결합했을 때, 단일 추론 대비 정확도가 약 10%p 향상되었다. 검증기 헤드는 단 1개의 추가 토큰 연산량만으로도 다수결 방식보다 더 안정적인 정답 선택 능력을 보였다.

아키텍처는 Frozen Base LLM 위에 LoRA 어댑터를 동적으로 탈부착하는 구조다. Switcher는 마지막 Transformer 레이어의 hidden state를 평균 내어 8차원 MLP로 분류를 수행하며, 추론 시 오버헤드는 무시할 수 있는 수준이다.

강화학습은 GRPO를 사용하며, KL Divergence 페널티 계수를 조절하여 답변의 간결성과 포맷 준수 사이의 균형을 맞춘다. 실험 결과 beta_KL=10^-3 설정이 최적의 성능-길이 트레이드오프를 제공함이 확인됐다.

양자화는 FPTQuant의 함수 보존 변환(FPT)을 활용한다. RoPE 이전 변환, Up/Down 프로젝션 스케일러, Value 변환, Residual 회전 등 4가지 변환을 통해 활성화 분포를 양자화 친화적으로 재구성하여 4비트 환경에서도 성능을 보존한다.

온디바이스 배포를 위해 모델을 ONNX 형식으로 변환하고 Qualcomm GENIE SDK를 통해 QNN(Qualcomm Neural Network) 추론 엔진에 최적화된 정적 그래프로 컴파일하여 실행 효율을 극대화한다.

현재 스위처는 지도 학습 기반의 분류기에 의존하고 있어 쿼리 복잡도 판단의 유연성이 제한적이다. 또한 모든 토큰에 동일한 비용을 가정하고 있으나, 실제로는 논리적 도약이 필요한 토큰과 단순 문법적 토큰의 가치가 다르다는 점을 반영하지 못하고 있다.