mistralai/Leanstral-1.5-119B-A6B
Leanstral 1.5 119B A6B는 128 experts의 MoE와 256k 토큰 컨텍스트를 갖춘 멀티모달 오픈소스 코드 에이전트로서 Lean 4 증명·코드 작업을 장기간 처리하도록 설계되었다.
학습 방식 · 문서상 Leanstral 1.5는 기존에 공개된 mistralai/Leanstral-2603을 기반으로 업데이트된 모델이라고 표기되어 있으며 Mistral Small 4 패밀리의 일원으로 개발된 것으로 확인된다. README에는 구체적인 Fine-tuning 기법이나 데이터셋의 세부 기술 내용은 포함되어 있지 않아 정확한 SFT/DPO/RLHF 등의 적용 여부는 명시되어 있지 않다. 따라서 기반 모델로부터의 업데이트 형식이라는 일반적 정보만 확인되며 세부 훈련 파이프라인 정보는 제공되지 않았다.
TL;DR
Leanstral 1.5 119B A6B는 Mistral Small 4 계열의 오픈소스 코드 에이전트로서 Lean 4 증명과 코드 작업을 장기간 처리하도록 설계되었고 Apache-2.0 라이선스로 공개되어 있다. 모델은 Mixture of Experts(MoE)를 채택해 128개의 전문가를 구성하고 토큰당 4개만 활성화해 총 119B 파라미터 가운데 토큰당 6.5B만 활성화되도록 하여 표현력과 추론 효율을 모두 고려한 설계를 택했다. 또한 멀티모달 입력과 256k 토큰의 대용량 컨텍스트를 지원하며 Mistral Vibe와 vLLM 기반의 로컬 서빙·툴 호출 연동을 통해 Lean 코드의 컴파일·실행 검증을 포함한 에이전트형 워크플로를 구성할 수 있다. README에는 구체적 훈련 파이프라인 상세는 누락되어 있으므로 기반 모델(mistralai/Leanstral-2603)에서 업데이트된 점만 확인되며 성능·비용 비교는 제공된 벤치마크 이미지로 일부 확인할 수 있다.
핵심 포인트
- 128 experts의 MoE 설계와 토큰당 4개 활성화라는 구체적 라우팅 구성은 동일 세대 모델군 내에서 고용량 파라미터를 효율적으로 활용하려는 차별점이다. 이 구조는 전체 모델 용량과 실제 활성화 연산량을 분리해 대규모 모델의 표현력과 실전 추론 비용을 조화시키려는 의도를 반영한다. 결과적으로 증명과 같은 고난도 논리 작업에 필요한 표현력을 유지하면서 비용 최적화를 도모하는 점이 주요 차별화 요소이다.
- 256k 토큰의 대용량 컨텍스트 지원은 장시간의 증명·코드 수정을 연속 세션으로 처리할 수 있게 해 에이전트형 워크플로에서 지속적 작업을 가능하게 만든다. README는 이 긴 컨텍스트를 활용하되 200k 토큰 이하 사용을 권장해 운영 상의 현실적 제약을 함께 고려하고 있다. 긴 문맥 처리 능력은 증명 보조와 대규모 코드베이스 이해에 있어서 실질적 이점을 제공한다.
- Mistral Vibe와의 통합, lean-lsp-mcp 권장, 그리고 tool-calling 예시(lean_run_code) 제공은 단순 모델 배포를 넘어서 개발환경과의 긴밀한 연동을 목표로 한다. README는 로컬 vLLM 서버 구성과 vibe 에이전트 설정 예시를 포함해 실제 개발자 워크플로에 바로 적용 가능한 운영 지침을 제공하고 있다. 이러한 통합 지원은 모델을 단독 생성기로 쓰는 대신 외부 검증·실행 루프와 결합된 에이전트로서 운영하려는 차별적 접근이다.
- 모델은 Apache-2.0 라이선스로 공개되어 있어 상업적·연구적 사용에 유리하고, README에서 공개 소스임에도 닫힌 소스 대안보다 성능 및 비용 측면에서 효율적이라고 언급하고 있다. MoE 구조를 채택해 전체 파라미터 규모는 크지만 토큰당 활성화되는 파라미터를 제한해 실제 추론 비용을 낮추려는 설계적 장점을 가진다. 또한 256k 토큰의 긴 컨텍스트 지원은 증명이나 장거리 코드 작업처럼 세션 간 문맥 유지를 필요로 하는 작업에서 실용적 이점을 제공한다.
이미지 분석

196
LIKES
358
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.