TL;DR

Ornith-1.0-397B는 Gemma 4와 Qwen 3.5 위에 포스트트레이닝된 MoE 아키텍처 기반의 397B 모델로 에이전트형 코딩과 툴 호출을 염두에 둔 출력 형식을 지원한다. 모델은 강화학습 기반의 자체 개선 프레임워크로 솔루션 롤아웃과 이를 생성하는 scaffold를 공동 최적화하도록 학습되었으며 README의 벤치마크에서 Terminal-Bench 2.1: 77.5, SWE-bench Verified: 82.4, Claw-eval Avg: 77.1 같은 수치를 보고했다. 서빙 측면에서는 reasoning_parser와 tool-call_parser를 통해 <think> 블록과 <tool_call> 블록을 별도 필드로 분리해 에이전트 파이프라인에 바로 연동할 수 있고 Transformers≥5.8.1, vLLM≥0.19.1, SGLang≥0.5.9 같은 런타임 요구사항과 tensor-parallel 구성 예시가 포함되어 있다. 모델은 MIT 라이선스로 공개되어 광범위한 사용이 가능하지만 배포 예시에서 8×80GB GPU 같은 고사양 노드 설정이 병행 제시되는 점은 실제 운영환경에서의 하드웨어 요구를 확인해야 할 부분이다.

핵심 역량

• 터미널 환경에서 명령 실행과 코드 생성 워크플로우를 처리해 터미널-기반 코딩 벤치마크에서 높은 점수를 획득한다. 모델은 코드 스니펫 생성과 리팩터링, 리포지토리 이해 작업을 일관된 응답 흐름으로 생성할 수 있다.
• 툴 콜(tool_call) 형태의 출력과 reasoning_content 필드를 지원해 외부 함수 호출과 체인-오브-생각을 분리하여 서버 수준에서 파싱하고 실행할 수 있다. 이로 인해 에이전트형 파이프라인에 바로 연동 가능한 출력이 생성된다.
• 긴 컨텍스트 처리가 가능하도록 서버 레시피에서 최대 262144 토큰을 설정해 긴 코드베이스와 문맥을 다룰 수 있게 구성되어 있다. 토크나이저와 generation 템플릿을 조정해 일관된 대화/코드 생성이 이루어지도록 설계되었다.
• 경량 배포와 관련해 FP8/압축된 텐서 형식과 호환되는 점이 메타데이터에 표기되어 있어 메모리 사용을 줄인 채 대형 모델을 실행하는 옵션을 제공한다.

강점

• README에서 동일 규모의 오픈소스 모델과 비교해 코딩 관련 벤치마크에서 우수한 성능을 기록했다고 명시되어 있는데, Terminal-Bench 2.1에서 77.5, SWE-bench Verified에서 82.4, Claw-eval 평균에서 77.1을 보고하고 있다. 이러한 수치가 에이전트형 코딩 성능을 뒷받침한다.
• 모델이 툴 호출과 추론 블록을 명시적으로 출력하도록 설계되어 서버 레벨의 파싱과 에이전트 통합이 용이하다. OpenHands, Hermes, OpenClaw 같은 에이전트 허브와의 연동 예시가 포함되어 있어 실무 연동경로가 명확하다.
• MIT 라이선스로 배포되어 상용 포함 광범위한 사용이 가능하며 라이선스 제약이 적다. 라이선스의 개방성은 기업 및 연구 환경에서 실험적 적용을 촉진하는 장점이다.

훈련 방식

Gemma 4와 Qwen 3.5 위에 포스트트레이닝된 MoE 계열 모델이며 강화학습(RL)을 통해 솔루션 롤아웃과 이를 생성하는 scaffold를 공동 최적화하는 자체 개선 프레임워크로 학습이 진행되었다.

알아두면 좋은 것

• Ornith-1.0 계열은 9B, 31B, 35B-MoE, 397B-MoE 구성으로 제공되며 397B 모델은 Gemma 4와 Qwen 3.5 위에 포스트트레이닝된 구성이다. README에서 해당 계열이 여러 크기로 제공되어 용도에 따라 선택 가능함이 명시되어 있다.
• 자체 개선(self-improving) 훈련 프레임워크를 사용해 RL로 솔루션 롤아웃과 이를 생성하는 scaffold를 공동 최적화한다고 명시되어 있다. 이 방식이 더 나은 검색 궤적과 고품질 솔루션 생성으로 이어진다고 기술되어 있다.
• 오픈소스 MIT 라이선스로 배포되어 글로벌 접근이 가능하다고 표기되어 있다. 라이선스 링크와 함께 자유 사용 가능성을 명확히 밝히고 있다.
• 서빙 레시피에서 Transformers ≥ 5.8.1, vLLM ≥ 0.19.1, SGLang ≥ 0.5.9를 요구하며 vLLM과 SGLang 예제가 포함되어 있다. 또한 tensor-parallel 구성 예시를 통해 대규모 GPU 클러스터 환경에서의 배포 방법을 제공하고 있다.

기술적 특징

• 모델 계열에 35B-MoE와 397B-MoE가 포함되어 MoE 아키텍처를 활용해 파라미터 수를 크게 늘리면서도 실제 활성화되는 Expert를 제한해 연산 효율을 제어한다. README는 397B 모델을 MoE로 표기하고 있으며, 이는 대규모 파라미터를 에이전트형 코드 생성에 집중시키는 설계 선택이다.
• 자체 개선 학습 프레임워크는 강화학습을 사용해 모델이 솔루션 롤아웃뿐만 아니라 롤아웃을 생성하는 scaffold까지 공동으로 최적화하도록 구성되어 있다. 이 방식은 탐색 궤적을 개선해 더 높은 품질의 솔루션을 찾게 하는 학습 제어를 목표로 한다.
• 서빙 파이프라인에서 reasoning-parser와 tool-call-parser를 제공해 모델의 <think> 블록과 <tool_call> 블록을 별도 필드로 분리한다. 분리된 출력은 서버에서 reasoning_content와 tool_calls로 구조화되어 에이전트 로직이 직접 추론 트레이스와 함수 호출을 활용할 수 있게 한다.
• 배포 레시피는 vLLM과 SGLang 예제를 포함하며 tensor-parallel-size와 GPU 메모리 비율 같은 세부 매개변수를 제시한다. max-model-len=262144 같은 설정을 통해 긴 컨텍스트(수십만 토큰)를 다루는 환경에서 운영 가능한 구성을 제공한다.
• 모델 ID에 FP8 표기가 있고 README에 압축 텐서 및 경량화 요소가 언급되어 있어 저정밀도 형식을 통한 메모리 절감 및 단일 GPU 배포 옵션을 염두에 둔 설계가 반영되어 있다. 다만 실제 단일 GPU 운영 가능성은 배포 예시에서 tensor-parallel 8과 8×80GB GPU 노드를 명시하고 있어 하드웨어 요구사항에 따라 달라진다.

차별점

• 강화학습 기반의 자체 개선 프레임워크로 scaffold와 솔루션을 공동 최적화하는 학습 흐름을 채택한 점이다. 이 구조는 단순한 SFT보다 탐색 전략을 개선하는 데 초점을 맞춘다.
• 모델 출력에서 체인-오브-생각(<think>)과 툴 호출(<tool_call>)을 명시적으로 구분해 서버에서 reasoning_content와 tool_calls로 노출하는 엔드투엔드 파이프라인을 제공하는 점이다. 에이전트형 워크플로와의 직결성이 높다.
• MIT 라이선스로 배포되어 상업적 사용을 포함한 광범위한 활용이 가능하다는 점이다. 라이선스 제약이 적어 실무 도입이 쉬운 편이다.

벤치마크

이미지 분석