본문으로 건너뛰기

트렌딩 - GitHub 인기 레포 & HuggingFace 모델

돌아가기
모델 이동

peculiar-ragdoll/Tiel-Coder-35B-A3B-GGUF

이미지 입력을 활용한 agentic coding과 장문 대화35B-A3BMIT

Ornith 기반 동적 GGUF 양자화 모델로 로컬 코드 수정과 장문 대화에 강하지만 시험형 지식 점수는 낮습니다.

학습 방식 · Ornith-1.5-35B-A3B BF16 가중치를 자체 imatrix와 unsloth-style Dynamic quantization으로 GGUF 양자화하고, Sharp chat template을 내장했습니다.

TL;DR

Tiel-Coder-35B-A3B-GGUF는 Ornith-1.5-35B-A3B를 자체 imatrix로 동적 양자화한 GGUF 모델이며 Sharp chat template을 내장했습니다. 22.4GB Q4_K_XL 기준 SWE-bench-Live에서 25개 중 12개를 해결하고 시도당 평균 12.3분을 기록해 로컬 agentic coding에 초점을 맞춥니다. Claw-Eval multi-turn 점수는 67.2점으로 기반 모델과 Nail을 앞섰지만, 명확화 질문은 줄고 MMLU-Pro는 73.7점으로 Nail보다 낮습니다. 코드 수정과 장문 대화에는 유리하고 시험형 지식 평가에는 불리한 선택입니다.

핵심 포인트

  • Ornith-1.5-35B-A3B를 기반으로 만든 4-bit 중심 GGUF 양자화 모델입니다. 자체 imatrix와 per-tensor Dynamic recipe를 적용하고 Sharp chat template을 GGUF에 포함했습니다. 원본 가중치를 Fine-tuning한 모델이 아니라 코딩 작업에 맞춘 양자화·템플릿 조합입니다.
  • Agentic coding에서는 25개 SWE-bench-Live 문제 중 12개를 해결했습니다. 22.4GB Q4_K_XL 기준 시도당 중앙값은 8.6분, 평균은 12.3분으로 기록됐습니다. Nail보다 평균 시간이 짧고 고비용 시도의 꼬리가 작아 로컬 코드 수정 작업에 적합한 구성을 지향합니다.
  • Claw-Eval multi-turn에서 전체 점수 67.2점을 기록해 Ornith-1.5의 65.3점과 Nail의 60.5점을 앞섰습니다. 기반 모델보다 답변 품질은 3.8점 높았지만 명확화 질문 점수는 5.1점 낮아 모호한 요청에도 먼저 답하는 경향이 있습니다. 답변 점수에 80% 가중치를 두는 평가 방식이 이 trade-off를 전체 점수에 유리하게 반영했습니다.
  • MMLU-Pro에서는 73.7점으로 Nail의 84.0점보다 10.3점 낮았습니다. Ornith 자체 템플릿을 유지한 동일 양자화본은 Ornith 점수와 같은 결과를 내므로 양자화보다 Sharp template의 짧은 응답 방식과 기반 모델 성능이 주요 차이로 남습니다. 따라서 시험형 지식 평가보다 실제 저장소 수정과 긴 작업 대화가 우선인 환경에 맞습니다.

제한사항

  • MMLU-Pro 점수가 73.7점으로 Nail보다 10.3점 낮습니다. 기반 Ornith-1.5도 stock Qwen3.6-35B-A3B보다 낮은 78.0점을 기록했습니다. 시험형 지식과 어려운 reasoning을 우선하면 다른 모델이 더 적합합니다.
  • 기반 모델보다 명확화 질문 점수가 5.1점 낮습니다. 모호한 요청을 되묻기보다 짧게 답변하는 방향으로 template이 바뀌었습니다. 요구사항 확인이 중요한 작업에서는 이 동작이 오류를 키울 수 있습니다.
  • SWE-bench-Live는 문제당 1회, MMLU-Pro는 3개 seed로 측정됐습니다. README는 작은 점수 차이를 noise로 취급하라고 명시합니다. 중국어와 영어만 지원하며 이 범위는 기반 모델에서 이어졌습니다.

벤치마크

벤치마크지표값비교
SWE-bench-Live해결 문제 수12 / 25Opus 4.6 medium과 동일하며 Ornith-1.5보다 4개, Nail보다 3개 많음
SWE-bench-Live시도당 시간 중앙값 / 평균8.6분 / 12.3분Nail 7.2분 / 15.7분보다 평균 시간이 짧음
Claw-Eval multi-turnoverall score67.2Ornith-1.5 base 65.3, Nail 3.6 60.5
Claw-Eval multi-turnanswer quality72.4%Ornith-1.5 base 68.7%, Nail 3.6 67.0%
Claw-Eval multi-turnclarifying questions46.5%Ornith-1.5 base 51.4%, Nail 3.6 34.5%
MMLU-Proaccuracy73.7 ±2.3Nail 3.6 84.0 ±0.0보다 10.3점 낮음
MMLU-Protokens per answer2183동일 차트에서 Nail 3.6 2615, Ornith 1.5 2687보다 적음

이미지 분석

Tiel-Coder와 여러 35B급 모델의 SWE-bench-Live 해결 수와 시도당 시간 중앙값·평균을 비교한 차트입니다.
왼쪽 차트에서 Tiel-Coder와 Opus 4.6이 각각 25개 중 12개를 해결하고, KAT-Coder는 10개, Nail 3.6은 9개, Sonnet 5와 Qwen3.6·Ornith 1.5는 각각 8개를 기록합니다. 오른쪽에서는 Tiel-Coder가 8.6분 중앙값과 12.3분 평균을 기록해 Nail의 7.2분 중앙값과 15.7분 평균보다 평균 시간이 짧습니다. 로컬 22GB 4-bit 환경에서 해결 수와 시간의 균형을 비교하는 자료입니다.
Pi coding agent로 로컬 실행한 네 모델의 SWE-bench-Live 해결 수와 시도당 시간을 비교한 차트입니다.
Qwen3.8-27B가 25개 중 16개로 가장 많은 문제를 해결했고 Dirk가 15개, TielCoder가 12개, Qwen3.6-35B-A3B가 8개를 해결했습니다. 시도당 중앙값과 평균은 각각 Qwen3.8-27B가 50.2분·66.2분, Dirk가 20.1분·53.0분, TielCoder가 8.6분·12.3분, Qwen3.6이 5.5분·14.2분입니다. TielCoder는 해결 수는 상위 dense 모델보다 적지만 로컬 비교군에서 훨씬 짧은 처리 시간을 기록합니다.
Claw-Eval multi-turn에서 Tiel-Coder, Ornith 1.5 base, Nail 3.6의 전체·답변 품질·명확화 질문 점수를 비교한 차트입니다.
Tiel-Coder의 overall score는 67.2%로 Ornith 1.5 base의 65.3%와 Nail 3.6의 60.5%보다 높습니다. 답변 품질은 Tiel-Coder 72.4%, Ornith 1.5 68.7%, Nail 3.6 67.0%이고, 명확화 질문은 각각 46.5%, 51.4%, 34.5%입니다. Tiel-Coder는 질문을 더 많이 던지는 방식보다 답변 품질을 높이는 방향으로 multi-turn 점수를 끌어올린 구성입니다.
4-bit 실행 조건에서 Nail 3.6, Ornith 1.5, Ornith template 양자화본, Tiel-Coder의 MMLU-Pro 정확도와 답변 토큰 수를 비교한 차트입니다.
정확도는 Nail 3.6이 84.0 ±0.0, Ornith 1.5와 Ornith template 양자화본이 각각 78.0 ±2.6, Tiel-Coder가 73.7 ±2.3입니다. 답변 토큰 수는 Nail 2615, Ornith 1.5 2687, Ornith template 양자화본 2729, Tiel-Coder 2183으로 Tiel-Coder가 가장 적습니다. 차트는 Sharp template이 답변을 짧게 만드는 대신 MMLU-Pro 점수 일부를 교환하는 관계를 수치로 나타냅니다.

80

LIKES

16k

DOWNLOADS

0 / 0

조회수

관련 토론

아직 관련 토론이 없습니다.

댓글

댓글을 작성하려면 로그인이 필요합니다.