TL;DR

Leanstral은 Mistral Small 4 계열로 설계된 대형 MoE 언어모델로, 119B 전체 파라미터와 토큰당 6.5B 활성화라는 MoE 특유의 효율 지표를 사용한다. 모델은 텍스트와 이미지 입력을 받아 텍스트 출력을 생성하며, 도구 호출을 통해 외부 코드 실행·검증을 통합하는 증명 에이전트로 목표가 설정되어 있다. 런타임 측면에서 vLLM 사용을 권장하며 FLASH_ATTN_MLA, tensor-parallel-size 등 구체적 서버 옵션과 함께 최대 256k 컨텍스트를 지원한다. Mistral Vibe와의 통합으로 시스템 프롬프트·도구 체인을 포함한 에이전트 워크플로우가 가능하고, reasoning_effort 옵션으로 추론 강도를 조절할 수 있다. 이 설계는 대규모 문맥과 증명·코드 실행이 필요한 워크로드에서 장점이 있으나, README에는 학습 절차(SFT/DPO 등)나 공개된 벤치마크 수치가 명시되지 않아 학습 데이터·성능 비교의 구체적 판단 근거는 부족하다. Apache-2.0 라이선스와 멀티모달·도구연동은 제품화 관점의 실용적 이점으로 남는다.

핵심 역량

• Lean 4 코드·증명 관련 질의에 대한 생성 및 추론
• 도구 호출(tool-calling)을 통한 코드 실행·컴파일·검증 결과 통합
• 이미지 입력을 받아 시각적 정보 기반 설명·분석 제공
• 대규모 컨텍스트(최대 256k 토큰) 내 문서 이해 및 장기 문맥 추론
• 다국어(영어·프랑스어·스페인어·독일어·이탈리아어·포르투갈어·네덜란드어·중국어·일본어·한국어·아랍어) 응답
• 시스템 프롬프트 강한 준수 및 속도 최적화된 추론

강점

• 대규모 MoE 설계로 전체 파라미터는 119B지만 토큰당 활성화 파라미터를 6.5B로 제한해 용량 대비 추론 효율을 확보한다고 README가 명시했다.
• 컨텍스트 길이 256k를 지원해 장기 문맥을 다루는 작업에서 유리하며, vLLM과의 조합으로 대형 컨텍스트 운영을 권장한다.
• Apache-2.0 라이선스로 상업적 사용이 가능해 제품적용 시 라이선스 제약이 적다.

알아두면 좋은 것

• 아키텍처: MoE 128 experts, token당 4 active, 전체 119B 파라미터, token당 활성화 6.5B, 최대 컨텍스트 256k 토큰.
• vLLM 사용 권장: vLLM nightly 설치와 FLASH_ATTN_MLA, tensor-parallel-size 등 최적화 플래그를 포함한 서버 런치 예시를 제공한다.
• 도구 호출 통합: Mistral Vibe와 연동되는 tool-calling 지원과 lean_run_code 같은 도구 인터페이스 예시가 포함되어 있다.
• 라이선스: Apache-2.0으로 상업적·비상업적 사용 모두 허용한다.

기술적 특징

• MoE 아키텍처(128 experts, token당 4 active): 입력 토큰마다 소수의 전문가만 활성화해 전체 모델 용량(119B)을 유지하면서 토큰당 연산량과 메모리 비용을 낮춘다. README는 이로 인해 '6.5B activated per token'라는 수치를 제시해 효율적 추론을 목표로 하고 있다.
• 대용량 컨텍스트(256k tokens): 모델과 권장 실행 플래그(vLLM의 --max-model-len 200000 등)는 매우 긴 문서나 대규모 증명 보조 작업에서 문맥 손실을 줄이며, 복잡한 증명 상태를 장기간 추적하는 데 설계되었다.
• 멀티모달 입력·도구호출 통합: 텍스트와 이미지를 입력받아 텍스트 출력을 생성하며 Mistral Vibe와의 tool-calling을 통해 외부 코드 실행·검증을 연결한다. 이로써 단순 생성이 아닌 실행 기반 피드백 루프를 구성할 수 있다.
• 추론 최적화 권장 설정: vLLM 사용을 권장하고 FLASH_ATTN_MLA, tensor-parallel-size 등 구체적 런치 옵션을 제시하여 대규모 모델의 실제 서비스 성능(속도·메모리)을 개선하는 운영적 선택을 명확히 제시했다.
• 리저닝 모드 제어(reasoning_effort): 'none'/'high' 설정으로 추론 시 추론 강도를 제어하도록 설계되어 복잡한 증명에는 높은 reasoning 설정을 권장하여 계산 전략을 분리한다.

차별점

• MoE(128 experts) 기반으로 토큰당 활성화 파라미터를 6.5B로 제한한 설계
• 256k 토큰의 대규모 컨텍스트 지원을 명시한 점
• Lean 4 전용 증명 에이전트로 도구 호출(실행·컴파일)과의 긴밀한 통합을 제공
• Apache-2.0 라이선스로 공개되어 상업적 활용 제약이 낮음