TL;DR

Ornith-1.0-35B는 에이전트형 코딩을 목표로 Gemma 4와 Qwen 3.5 위에서 포스트트레이닝된 35B 규모 모델로, MoE 변형과 강화학습 기반의 self-improving 프레임워크를 결합해 해법과 이를 생성하는 scaffold를 공동 최적화하도록 설계되었다. README에 제시된 여러 벤치마크에서 Terminal-Bench 64.2, SWE-bench Verified 75.6, Claw-eval Avg 69.8 등 동급 공개 모델 대비 우수한 점수를 기록하여 코드 작성을 포함한 에이전트 작업에서 실용적 성능 우위를 확보했다. 긴 컨텍스트(최대 262144 토큰)와 <think> reasoning 블록 및 tool_call 파서 같은 출력 분리 기능이 도구 연동과 추론 근거 추적을 지원하며 vLLM·SGLang·Transformers와의 서빙 레시피 및 GGUF 빌드로 다양한 배포 시나리오를 지원한다. 다만 공식 서빙 예시는 최신 런타임 요구와 다수의 GPU 설정을 포함하므로 실제 단일 GPU 운영에서는 제공된 GGUF 기반 경량 경로와 런타임 호환성 검증이 필요하다.

핵심 역량

• Ornith-1.0-35B는 코드 생성과 터미널 상호작용을 포함한 에이전트 코딩 작업을 수행할 수 있다. 모델이 생성하는 출력에는 <think> … </think> 형태의 reasoning 블록이 포함되어 추론 과정과 최종 답변을 분리할 수 있으므로 자동화 파이프라인에서 판단 근거를 검토하는 작업이 수월하다. 또한 OpenAI 호환의 tool_calls 형태로 함수 호출을 출력하므로 도구 연동과 실행 흐름을 직접 연결할 수 있다.
• 이 모델은 대규모 컨텍스트를 처리하도록 설계되어 262144 토큰을 염두에 둔 설정이 README에 포함되어 있다. 긴 히스토리나 대형 코드베이스 전반을 입력으로 받아 내부 상태와 문맥을 유지하면서 연속적 생성 작업을 수행할 수 있다. 긴 컨텍스트를 활용하는 에이전트 시나리오에서 상태 유지와 긴 플로우의 일관성 확보에 기여한다.
• 로컬 환경에서 GGUF 빌드를 통해 llama.cpp나 Ollama로 직접 로드하여 경량 런타임에서 빠르게 실험할 수 있다. README에 제시된 vLLM·SGLang·Transformers용 서빙 레시피는 다양한 inference 엔진과 호환되는 운영 흐름을 제공한다. 이 호환성은 실무에서 기존 도구 체인에 모델을 통합할 때 이점을 제공한다.

강점

• 여러 공개 코딩·에이전트 벤치마크에서 동급 공개 모델 대비 높은 점수를 달성한 수치가 README 표에 수록되어 있어 실무적 성능 우위가 확인된다. 예컨대 Terminal-Bench 2.1(Top row)에서 64.2 점수를 기록하여 동일 크기 비교 모델들보다 높은 성능을 기록했다. 또한 MIT 라이선스로 배포되어 규제·상업적 사용에 제약이 적다는 운영상의 이점이 있다.
• 긴 컨텍스트 처리(최대 262144 토큰)와 reasoning_content 및 tool_call 파서를 통한 출력 분리가 제공되어 에이전트형 워크로드와 도구 결합 시 추론 근거 추적과 자동화 연동이 용이하다. README에 제시된 vLLM/SGLang/Transformers 서빙 레시피는 다양한 런타임과 상호운용성을 보장하여 실무 배포 시 선택지가 넓다. GGUF 빌드 지원으로 경량 런타임에서 빠른 실험과 배포가 가능하다.

훈련 방식

기본적으로 Gemma 4와 Qwen 3.5 위에 포스트트레이닝을 수행했으며, 강화학습(RL)을 통해 해법과 해법을 이끌어내는 scaffold를 공동 최적화하는 self-improving 프레임워크를 적용했다.

알아두면 좋은 것

• Ornith-1.0 계열은 9B부터 397B까지 다양한 규모를 제공하며 35B는 MoE 변형으로 에이전트 코딩 벤치마크에서 경쟁력 있는 성능을 기록했다. README는 Terminal-Bench, SWE-Bench, NL2Repo, Claw-eval 등 여러 코딩 및 에이전트 지향 벤치마크 수치를 표로 정리하여 동급 공개 모델과의 비교 기반 성능 우위를 주장한다. 벤치마크는 동일한 템플릿·하이퍼파라미터·다중 러닝 런 설정으로 평균을 취한 결과를 제시한다고 명시되어 있다.
• self-improving training 프레임워크는 RL을 통해 해법과 이를 생성하는 scaffold를 공동 최적화하도록 설계되어 탐색 경로 개선과 생성 품질 향상을 목표로 한다. README는 이 접근이 더 나은 검색 궤적(search trajectories)과 고품질 솔루션 생성을 촉진한다고 기술하고 있다. 이 학습 방향은 단일 출력 정답을 넘는 전체 생성 과정의 구조를 개선하려는 목적을 반영한다.
• 서빙과 통합을 위한 구체적 요구사항으로 Transformers >= 5.8.1, vLLM >= 0.19.1, SGLang >= 0.5.9이 명시되어 있어 최신 런타임을 전제로 한다. vLLM 예시는 tensor-parallel 8 노드 구성과 max_model_len 262144 등의 구체적 파라미터를 포함하며 prefix caching과 reasoning/parser 옵션 사용을 권장한다. 또한 GGUF 빌드가 제공되어 경량 런타임으로의 배포가 가능한 점을 강조하고 있다.
• 모델은 MIT 라이선스로 공개되어 상업적·비상업적으로 광범위한 사용이 가능하며 라이선스 원문 링크가 README 메타에 포함되어 있다. 이와 함께 OpenHands·Unsloth Studio·OpenClaw 같은 에코시스템 도구와의 연계를 염두에 둔 사용 사례 예시가 포함되어 있어 실무 통합이 용이하다. 라이선스와 생태계 연계는 오픈소스 활용 측면에서 중요한 이점으로 작용한다.

기술적 특징

• Ornith-1.0-35B는 35B 규모의 MoE 변형을 포함하여 전문가 집단을 동적으로 활성화하는 아키텍처 설계를 사용했다. 라우터 기반의 일부 전문가만 활성화하는 방식이므로 동일 외형 파라미터보다 계산 효율을 개선하면서 다양한 코드·추론 패턴에 적응할 수 있다. 이 아키텍처 선택은 에이전트 코딩에서 요구되는 복합적 행동 패턴을 학습하는 데 유리하다.
• self-improving 학습 프레임워크는 강화학습을 통해 스캐폴드(scaffold) 생성과 최종 솔루션 생성을 공동으로 최적화하도록 구성되어 있다. 이 방식은 모델이 단순히 정답을 생성하는 것을 넘어서 더 나은 탐색 경로(search trajectories)를 발견하도록 유도하므로 복잡한 코드 검색 문제에서 높은 품질의 결과를 얻을 가능성을 높였다. README는 이 접근이 에이전트형 벤치마크 성능 향상으로 연결되었다고 기술하고 있다.
• 출력 형식 측면에서 기본 대화 턴에 <think> … </think> reasoning 블록을 삽입하는 기본 행위를 취하며 서버 측에서 reasoning_parser와 tool-call parser로 이를 분리할 수 있게 설계되었다. 이 설계는 체인오브소트(Chain-of-Thought) 형태의 내부 추론을 별도 필드(reasoning_content)로 제공하여 자동화 파이프라인이 추론 근거를 캡처하고 도구 호출을 표준화된 tool_calls로 변환할 수 있게 한다. 그 결과 도구 기반 에이전트 통합에서 생성물의 해석 가능성과 연동성이 향상된다.
• 서빙 측면에서는 vLLM과 SGLang, Transformers 등 최신 런타임을 공식적으로 지원하며 구체적 파라미터 예시(max_model_len=262144, tensor-parallel-size 설정, gpu-memory-utilization 등)를 제공한다. README는 prefix caching, tool-call 파서, reasoning parser 같은 운영 최적화 옵션을 권장하여 실시간 에이전트 환경에서 지연과 비용을 저감할 수 있는 조합을 제시한다. 또한 GGUF 빌드로 경량 런타임 지원이 가능하여 실험 단계에서 빠른 검증이 가능하다.

차별점

• 강화학습으로 scaffold와 솔루션을 공동 최적화하는 self-improving 프레임워크를 채택했다.
• 35B 규모에서 MoE 변형을 제공하여 계산 효율과 표현력을 동시에 겨냥했다.
• 기본적으로 <think> reasoning 블록과 tool_call 출력 포맷을 갖춘 점이 에이전트 통합을 용이하게 만든다.
• MIT 라이선스로 공개되어 상업적 사용에 제약이 적고 GGUF 빌드를 통해 경량 런타임에서도 이용할 수 있다.

벤치마크

이미지 분석