TL;DR

Needle은 Gemini 3.1을 증류해 만든 26M 파라미터의 경량 인코더-디코더 모델로서 순수 어텐션 구조와 GQA·RoPE·gated residual을 결합해 함수 호출과 도구 사용 출력에 초점을 맞췄다. 학습은 JAX/Flax로 200B 토큰을 16x TPU v6e에서 수행했으며 bfloat16과 INT4 QAT를 적용해 양자화 친화적인 배포 준비를 마쳤고 후처리로 2B 토큰의 function-calling 데이터를 추가 학습했다. 가중치와 데이터셋 생성 파이프라인이 MIT 라이선스로 공개되어 로컬 미세조정이 가능하며 프로덕션에서는 Cactus 런타임에서 prefill 6000 toks/sec, decode 1200 toks/sec의 처리량을 보고했다. 이러한 설계는 온디바이스 환경에서 구조화된 도구 호출 워크플로우를 구현할 때 유의미한 처리량과 배포 유연성을 제공하지만 문서상에는 표준 벤치마크 성능 지표(예: MMLU 등)가 제시되지 않아 일반적인 언어 이해·생성 벤치마크와의 직접 비교는 불가능하다.

핵심 포인트

• Gemini 3.1을 증류해 26M로 극단적으로 축소한 점이 핵심 차별점이며, 이로 인해 대형 기반 모델의 능력을 경량 환경에 이식할 수 있는 구조적 기반이 마련되었다. 증류 과정은 사전학습과 후처리 function-calling 데이터로 보강되어 실제 도구 호출 품질을 높이는 데 초점이 맞춰졌다. 결과적으로 대형 모델 없이도 도구 연동 워크플로우를 실현할 수 있다.
• 인코더에서 FFN을 제거한 순수 어텐션 설계를 통해 파라미터 효율과 연산 단순화를 달성한 점이 구체적 차별점이다. 이 설계는 메모리·연산 비용을 낮춰 온디바이스 배포를 용이하게 했으며, 대신 GQA·gated residual·RoPE 같은 구조적 보완을 통해 표현력을 유지했다. 따라서 동일 규모 대비 도구 호출 특화 작업에서 효율적인 처리 성능을 보인다.
• 학습 파이프라인에 INT4 QAT를 통합하고 bfloat16을 사용한 점이 배포 효율성 측면에서 차별화되었다. 이 조합은 낮은 비트폭 환경에서도 성능 저하를 최소화하도록 설계되어 엣지 디바이스에서의 실행 가능성을 높였다. 또한 가중치와 데이터셋이 공개되어 로컬 미세조정과 재학습이 가능한 점이 실용적 유연성을 제공한다.
• 매우 작은 파라미터 수(26M)로 Gemini 3.1 기반의 증류 효과를 유지하여 온디바이스 미세조정과 배포가 가능하다. 경량화 덕분에 Mac/PC 수준의 로컬 환경에서도 실험과 튜닝이 실용적으로 이루어질 수 있다. 가중치와 데이터 생성 파이프라인이 공개되어 재현성과 확장성이 확보되었다.

벤치마크