peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF-MTP
에이전트형 코드 생성·수정, 이미지-텍스트 입력, 긴 대화 처리35B-A3B262K 컨텍스트MIT
Ornith-1.5 기반 Dynamic 4-bit GGUF coder로 코드 수정과 장문 대화에 최적화
학습 방식 · Ornith-1.5-35B-A3B를 기반으로 49M자·약 150만 토큰의 코드 중심 corpus에서 만든 자체 importance matrix를 사용해 Dynamic GGUF 재양자화를 수행하고 Sharp chat template와 학습된 MTP head를 포함합니다.
TL;DR
Tiel-Coder는 Ornith-1.5-35B-A3B를 기반으로 자체 importance matrix와 Dynamic 4-bit 양자화를 적용하고 Sharp chat template를 내장한 GGUF coder입니다. MoE 구조와 MTP head를 llama.cpp에서 활용해 23.3GB Q4_K_XL 기준 코드 수정과 긴 대화에 초점을 맞추며, `--spec-type draft-mtp`를 켜면 검증 과정에서 여러 토큰을 한 번에 처리합니다. SWE-bench-Live에서 25개 중 12개를 해결했지만 MMLU-Pro는 73.7점으로 지식·시험형 작업에는 불리합니다.
핵심 포인트
- Ornith-1.5-35B-A3B를 자체 imatrix로 Dynamic 재양자화해 코드 중심 성능을 보존합니다.
- MTP head가 여러 토큰을 초안 생성한 뒤 본 모델의 한 번의 forward pass로 검증합니다.
- Q4_K_XL에서 MTP 사용 시 측정 환경 기준 77.4에서 94.4 tok/s로 증가했습니다.
- SWE-bench-Live 해결 수는 12/25로 Opus 4.6과 같지만 MMLU-Pro는 73.7점입니다.
제한사항
- MMLU-Pro 점수는 Nail보다 10.3점 낮아 시험형 지식·추론 작업에 약합니다.
- 기반 모델보다 clarifying questions 점수가 5.1점 낮아 모호한 요청을 먼저 묻기보다 답변할 가능성이 높습니다.
- SWE-bench-Live는 문제당 1회, MMLU-Pro는 3개 seed로 측정해 작은 차이는 잡음일 수 있습니다.
벤치마크
| 벤치마크 | 지표 | 값 | 비교 |
|---|---|---|---|
| SWE-bench-Live | 해결 문제 수 | 12 / 25 | Opus 4.6과 동일; Ornith-1.5보다 4개 많음 |
| SWE-bench-Live | 시도당 시간 중앙값 | 8.6분 | Nail 7.2분보다 느림 |
| SWE-bench-Live | 시도당 시간 평균 | 12.3분 | Nail 15.7분보다 짧음 |
| Claw-Eval 멀티턴 | overall score | 67.2 | Ornith 1.5 65.3, Nail 3.6 60.5 |
| Claw-Eval 멀티턴 | answer quality | 72.4% | Ornith 1.5 68.7%보다 3.8점 높음 |
| Claw-Eval 멀티턴 | clarifying questions | 46.5% | Ornith 1.5 51.5%보다 5.1점 낮음 |
| MMLU-Pro | accuracy | 73.7 ±2.3 | Nail 3.6 84.0 ±0.0보다 10.3점 낮음 |
| MTP 추론 속도 | tok/s | 94.4 | 동일 모델에서 speculation off 77.4 tok/s 대비 1.22배; 제공 환경 측정치 |
| MTP 추론 | accepted | 83.3% | `--spec-draft-n-max 1`, `--spec-draft-p-min 0.0` 설정의 제공 환경 측정치 |
이미지 분석
78
LIKES
89.5k
DOWNLOADS
0 / 0
조회수
관련 토론
아직 관련 토론이 없습니다.
댓글
댓글을 작성하려면 로그인이 필요합니다.
