TL;DR

Leanstral 1.5 119B A6B는 Mistral Small 4 계열의 오픈소스 코드 에이전트로서 Lean 4 증명과 코드 작업을 장기간 처리하도록 설계되었고 Apache-2.0 라이선스로 공개되어 있다. 모델은 Mixture of Experts(MoE)를 채택해 128개의 전문가를 구성하고 토큰당 4개만 활성화해 총 119B 파라미터 가운데 토큰당 6.5B만 활성화되도록 하여 표현력과 추론 효율을 모두 고려한 설계를 택했다. 또한 멀티모달 입력과 256k 토큰의 대용량 컨텍스트를 지원하며 Mistral Vibe와 vLLM 기반의 로컬 서빙·툴 호출 연동을 통해 Lean 코드의 컴파일·실행 검증을 포함한 에이전트형 워크플로를 구성할 수 있다. README에는 구체적 훈련 파이프라인 상세는 누락되어 있으므로 기반 모델(mistralai/Leanstral-2603)에서 업데이트된 점만 확인되며 성능·비용 비교는 제공된 벤치마크 이미지로 일부 확인할 수 있다.

핵심 역량

• Lean 4 환경에서 정리 증명(proof) 및 코드 수정을 수행할 수 있으며, 사용자의 코드베이스 문맥을 장기간 유지한 상태에서 연속적 작업을 진행할 수 있다. 모델은 텍스트와 이미지를 입력으로 받아 텍스트 출력을 생성하는 멀티모달 처리를 지원하며, 툴 호출 인터페이스를 통해 외부 컴파일기나 실행기를 연동해 실전 검증을 수행할 수 있다. vLLM과 Mistral Vibe 통합을 통해 원격 API 또는 로컬 서버 방식으로 서비스화하여 에이전트 워크플로에서 자동화된 작업 흐름을 구성할 수 있다.

강점

• 모델은 Apache-2.0 라이선스로 공개되어 있어 상업적·연구적 사용에 유리하고, README에서 공개 소스임에도 닫힌 소스 대안보다 성능 및 비용 측면에서 효율적이라고 언급하고 있다. MoE 구조를 채택해 전체 파라미터 규모는 크지만 토큰당 활성화되는 파라미터를 제한해 실제 추론 비용을 낮추려는 설계적 장점을 가진다. 또한 256k 토큰의 긴 컨텍스트 지원은 증명이나 장거리 코드 작업처럼 세션 간 문맥 유지를 필요로 하는 작업에서 실용적 이점을 제공한다.

훈련 방식

문서상 Leanstral 1.5는 기존에 공개된 mistralai/Leanstral-2603을 기반으로 업데이트된 모델이라고 표기되어 있으며 Mistral Small 4 패밀리의 일원으로 개발된 것으로 확인된다. README에는 구체적인 Fine-tuning 기법이나 데이터셋의 세부 기술 내용은 포함되어 있지 않아 정확한 SFT/DPO/RLHF 등의 적용 여부는 명시되어 있지 않다. 따라서 기반 모델로부터의 업데이트 형식이라는 일반적 정보만 확인되며 세부 훈련 파이프라인 정보는 제공되지 않았다.

알아두면 좋은 것

• 모델은 119B 파라미터 규모이며 토큰당 활성화되는 파라미터는 6.5B로 보고되어 MoE 아키텍처 하에서 전체 파라미터와 실제 활성화 파라미터가 분리되어 운영된다는 점을 드러내고 있다. 이 구조는 대규모 용량을 유지하면서 토큰당 연산량을 낮춰 비용 효율화를 도모하는 설계 선택임이 README에 명시되어 있다. 또한 라이선스는 Apache-2.0으로 공개되어 있어 상업적 활용 가능성이 열려 있다는 점이 강조되어 있다.
• 컨텍스트 길이는 256k 토큰으로 명시되어 있어 매우 긴 증명 과정이나 대규모 코드 문맥을 단일 세션에서 다룰 수 있는 환경을 제공한다는 점이 README에서 강조되어 있다. 권장 설정으로는 실사용 시 200k 토큰 이하를 권장하고 있으며 reasoning 옵션을 'high'로 설정하면 복잡한 프롬프트에 대해 추론을 활성화하도록 권장하고 있다. 이 권고는 긴 러닝타임 작업에서 모델의 추론 품질을 개선하려는 사용 지침으로 해석될 수 있다.
• README는 Mistral Vibe와의 통합 사용을 전제로 하는 동작 절차를 제시하며 로컬 vLLM 서버로의 배포 예시와 vibe 에이전트 설정, lean-lsp-mcp 연동을 포함해 실무 환경에서의 배포·운용 방법을 구체적으로 제시하고 있다. 또한 lean_run_code 같은 도구 타입을 통해 코드 컴파일·실행을 외부에서 호출해 응답에 포함시키는 방식의 툴 호출 사용 예시를 포함하고 있다. 이로 인해 모델은 단순 생성기에서 벗어나 외부 검증 루프와 결합된 에이전트형 워크플로에 적합하다는 점이 드러난다.

기술적 특징

• Mixture of Experts(MoE)를 채택해 총 128개의 전문가를 구성하고 토큰당 4개의 전문가만 활성화하도록 설계되어 있다. 이 구조는 전체 파라미터를 119B 규모로 유지하면서도 토큰당 활성화되는 연산량은 6.5B 수준으로 제한해 대규모 모델의 용량과 추론 효율 사이 균형을 맞추는 목적을 가진다. 결과적으로 모델은 높은 표현력을 확보하면서 실무 추론 비용을 제어하는 기법을 적용했다.
• 컨텍스트 길이를 256k 토큰으로 설계해 매우 긴 증명 과정이나 대규모 코드베이스의 문맥을 단일 세션에서 유지할 수 있도록 지원한다. README에서는 실사용 권장 범위로 200k 토큰 이하를 권고해 긴 컨텍스트가 가능한 반면 메모리·추론 비용 관점에서 제한을 둔 운영 지침을 제공하고 있다. 긴 컨텍스트는 장기간 작동하는 에이전트 작업에서 상태 연속성을 확보하는 데 기여한다.
• 멀티모달 입력을 지원해 텍스트와 이미지를 함께 받아 텍스트 출력을 생성하도록 설계되어 있으며, 이 특성은 증명 과정에서 도식이나 시각적 자료를 함께 참조해야 할 때 유용하다. README는 툴 호출을 통한 외부 컴파일·실행 기능과 결합된 워크플로를 권장하고 있어 모델이 단순 생성이 아니라 외부 검증과 상호작용하는 에이전트 패턴을 지원함이 확인된다. 이러한 설계는 자동화된 검증 루프와 연계된 실전 증명 작업에 적합하다.
• vLLM 기반 배포와 Mistral Vibe 통합을 권장하며 예시 명령과 toml 구성으로 로컬 서버 운영을 상세히 안내하고 있다. vLLM serve 옵션에서는 tensor-parallel-size, attention-backend로 FLASH_ATTN_MLA 등을 지정해 대규모 모델의 효율적 서빙을 고려한 설정을 제시하고 있다. 이 항목들은 모델 배포와 운영을 실무 환경에 맞게 구성하는 구체적 지침을 포함하고 있다.

차별점

• 128 experts의 MoE 설계와 토큰당 4개 활성화라는 구체적 라우팅 구성은 동일 세대 모델군 내에서 고용량 파라미터를 효율적으로 활용하려는 차별점이다. 이 구조는 전체 모델 용량과 실제 활성화 연산량을 분리해 대규모 모델의 표현력과 실전 추론 비용을 조화시키려는 의도를 반영한다. 결과적으로 증명과 같은 고난도 논리 작업에 필요한 표현력을 유지하면서 비용 최적화를 도모하는 점이 주요 차별화 요소이다.
• 256k 토큰의 대용량 컨텍스트 지원은 장시간의 증명·코드 수정을 연속 세션으로 처리할 수 있게 해 에이전트형 워크플로에서 지속적 작업을 가능하게 만든다. README는 이 긴 컨텍스트를 활용하되 200k 토큰 이하 사용을 권장해 운영 상의 현실적 제약을 함께 고려하고 있다. 긴 문맥 처리 능력은 증명 보조와 대규모 코드베이스 이해에 있어서 실질적 이점을 제공한다.
• Mistral Vibe와의 통합, lean-lsp-mcp 권장, 그리고 tool-calling 예시(lean_run_code) 제공은 단순 모델 배포를 넘어서 개발환경과의 긴밀한 연동을 목표로 한다. README는 로컬 vLLM 서버 구성과 vibe 에이전트 설정 예시를 포함해 실제 개발자 워크플로에 바로 적용 가능한 운영 지침을 제공하고 있다. 이러한 통합 지원은 모델을 단독 생성기로 쓰는 대신 외부 검증·실행 루프와 결합된 에이전트로서 운영하려는 차별적 접근이다.

이미지 분석