TL;DR

Ornith-1.0-397B는 Gemma 4와 Qwen 3.5 기반으로 post-trained된 397B MoE 모델로, self-improving RL 프레임워크를 통해 스캐폴드와 솔루션을 공동 최적화하도록 설계되었다. 모델은 기본적으로 <think> 추론 블록과 OpenAI 호환의 tool_calls 출력을 제공하여 에이전트형 코드 생성과 외부 툴 연동을 바로 수행할 수 있게 구성되어 있으며 vLLM과 SGLang 같은 런타임에 대한 구체적 serving 레시피를 포함한다. README의 벤치마크 표는 Terminal-Bench 77.5, SWE-bench Verified 82.4, Claw-eval Avg 77.1 등 에이전트형 코드 평가에서 높은 절대 점수를 제시하고 있어 코드 에이전트 목적에서의 실무적 유용성이 확인된다. 다만 구체적 데이터셋 목록과 일부 학습 세부는 제한적으로 공개되어 있어 재현과 추가 검증을 위해서는 더 많은 메타데이터가 필요하다.

핵심 역량

• Ornith-1.0-397B는 복잡한 코드 작성과 코드베이스 탐색을 수행할 수 있으며 툴 호출을 통해 셸 명령 실행과 파일 시스템 조작 같은 외부 작업을 자동화할 수 있다. 모델은 OpenAI 호환의 tool_calls 출력을 만들어 서버 측에서 함수 형태로 툴을 실행하고 그 결과를 후속 입력으로 재활용할 수 있다. 이로 인해 반복적 코드 수정, 테스트 실행, 리포지토리 분석 같은 에이전트형 워크플로우에서 직접적인 자동화가 가능하다.
• 이 모델은 Chain-of-Thought 형식의 reasoning_content를 기본 출력에 포함시키므로 복잡한 계획과 디버깅 과정에서 중간 추론을 추적할 수 있다. reasoning_parser와 tool-call-parser를 통해 추론 트레이스와 툴 호출을 별도 필드로 분리하여 클라이언트가 내부 논리와 외부 호출을 독립적으로 소비하도록 설계되었다. 이 구조는 디버깅 로그 생성, 감사 추적, 외부 툴 제어 정책 적용에 유리하다.
• Ornith-1.0-397B는 대규모 MoE 파라미터를 유지하면서도 vLLM이나 SGLang 같은 최신 런타임에서 단일 노드(8×80GB)로 배포될 수 있도록 serving 레시피와 메모리·컨텍스트 튜닝을 제공한다. 서버 구성 예시는 tensor-parallel size나 메모리 할당 비율, prefix caching 옵션을 포함하여 현실적인 운영 파라미터를 제시한다. 또한 Transformers API를 통한 로컬 테스트와 OpenAI 호환 Chat Completions API를 통한 통합 모두를 지원한다.
• 모델은 에이전틱 코드 벤치마크에서 높은 성능을 보였으며 여러 벤치마크 표에서 최상위권 점수를 기록했다. README의 벤치마크 테이블은 Terminal-Bench, SWE-Bench, Claw-eval 같은 에이전트형·코드 중심 평가에서 Ornith-1.0-397B의 점수를 직접 제시하고 있다. 따라서 코드 에이전트 목적의 평가 성능이 우수하다는 사실은 메타데이터로 명확히 확인된다.

강점

• Ornith-1.0-397B는 에이전트형 코드 벤치마크에서 높은 절대 점수를 기록하여 코드 에이전트 시나리오에서 경쟁 우위를 확인할 수 있다. README의 표는 Terminal-Bench 77.5, SWE-bench Verified 82.4, Claw-eval Avg 77.1 같은 수치를 명시하고 있어 객관적 성능 근거가 존재한다. 또한 모델 배포를 위한 구체적 serving 레시피와 런타임 권장 버전이 제공되어 실무 적용의 진입 장벽이 낮다.
• 라이선스가 MIT로 공개되어 상업적·비상업적 사용 모두에서 제약이 적고 글로벌 배포가 가능하다. 공개 라이선스는 커뮤니티 기반 개선, 포크, 통합 테스트 같은 개발 활동을 촉진한다. README에 다운로드와 엔드포인트 호환 정보가 명시되어 있어 엔지니어링 통합이 수월하다.

훈련 방식

Ornith-1.0-397B는 Gemma 4와 Qwen 3.5를 기반으로 post-training을 거쳤으며 reinforcement learning 기반의 self-improving 프레임워크로 스캐폴드(검색 전략)와 최종 솔루션을 공동 최적화하는 방식으로 학습되었다. 이 학습 방식은 모델이 단순히 솔루션을 생성하는 것을 넘어 더 나은 탐색 경로를 발견하도록 설계된 점이 특이하다. 특수 데이터셋 명시는 README에 제한적으로만 제공되었고 자세한 데이터셋 목록은 명시되어 있지 않다.

알아두면 좋은 것

• 모델은 Gemma 4와 Qwen 3.5 기반으로 post-trained 되었고, self-improving 트레이닝 프레임워크에서 RL을 사용하여 스캐폴드와 최종 솔루션을 공동 최적화하도록 설계되었다. 이 공동 최적화는 더 나은 탐색 경로와 높은 품질의 솔루션 생성으로 이어지는 것을 목표로 한다. 라이선스는 MIT로 공개되어 지역 제한 없이 사용 가능하다.
• Serving 레시피는 vLLM, SGLang, Transformers 세 가지 경로를 제공하며 각 경로에 대해 텐서 병렬 크기, 최대 컨텍스트 길이, 메모리 이용 비율 같은 운영 파라미터를 구체적으로 제시하고 있다. vLLM 예시는 reasoning_parser와 tool-call-parser 설정을 포함하여 에이전트형 사용에 필요한 파싱 옵션을 명시하고 있다. 이로 인해 실무 배포 시 호환성·성능 조정이 용이하도록 도와준다.
• Ornith은 기본적으로 <think> ... </think> 블록을 사용해 Chain-of-Thought를 생성하며 서버는 이를 reasoning_content 필드로 분리해 제공한다. 모델은 또한 잘 구조화된 tool_calls 출력을 생성하여 OpenAI 스타일의 툴 호출을 서버가 표준화된 함수 호출로 변환할 수 있도록 설계되었다. 이러한 출력 형식은 외부 에이전트 프레임워크와의 즉시 통합을 가능하게 한다.
• 벤치마크는 Terminal-Bench, SWE-Bench, NL2Repo, Claw-eval 등 에이전트형 코드 평가를 포함하며 각 실험에 사용된 온도, top_p, 컨텍스트 길이, 평균 실행 횟수 같은 평가 설정을 부연하고 있다. Terminal-Bench 평가에서는 Harbor/Terminus-2 프레임워크를 사용하고 결과는 5회 평균으로 제시되었다. Claw-eval은 실제 사용자 작업 분포를 반영한 에이전트형 코드 벤치마크로 temp=0.6, 256K 컨텍스트 등의 설정이 적용되었다.

기술적 특징

• 모델은 Mixture-of-Experts 아키텍처를 채택하여 397B 규모의 파라미터를 보유하면서도 실사용 시 활성화되는 전문가 수를 제한해 연산 효율성을 확보하도록 설계되었다. 라우터 기반의 전문가 선택은 추론 시 불필요한 연산을 줄여 단일 노드에서 대형 모델을 운영 가능하게 만든다. 이 구조는 특히 코드 생성과 같은 고차원 표현이 필요한 작업에서 파라미터 규모와 실사용 비용의 균형을 맞추는 목적이다.
• Self-improving 학습 프레임워크는 reinforcement learning을 사용하여 모델이 솔루션 롤아웃뿐 아니라 그 롤아웃을 유도하는 스캐폴드를 함께 학습하도록 설계되었다. 즉, 모델은 단순 생성 결과만 최적화하지 않고 검색·생성 전략 자체를 개선하는 보상 신호를 학습한다. 이 접근은 탐색 경로의 품질을 높여 더 일관된 자동화된 코드 생성 성능으로 이어지도록 의도되었다.
• 응답 포맷 설계에서 Chain-of-Thought 형식의 <think> 블록과 OpenAI 스타일의 tool_calls를 기본으로 지원하도록 구성되어 실무에서의 에이전트 통합을 바로 수행할 수 있다. README는 reasoning_parser와 tool-call-parser 설정 예시를 포함하여 서버가 추론 트레이스와 툴 호출을 분리·파싱하는 방법을 명시했다. 이 덕분에 외부 툴 실행, 로그 보존, 감사 추적 같은 운영 요건을 충족하기 쉬워졌다.
• 배포 측면에서는 vLLM, SGLang, Transformers 세 가지 경로에 맞춘 상세한 serving 레시피를 제공하여 단일 8×80GB GPU 노드에서의 실무 운영을 지원한다. 각 레시피는 텐서 병렬 크기, 최대 컨텍스트 길이, GPU 메모리 활용 비율 등 운영 파라미터를 구체적으로 제시한다. 또한 prefix caching과 자동 툴 선택 같은 성능·사용성 옵션을 통해 대화형 에이전트 워크로드에서의 지연과 비용을 줄이도록 설계되었다.

차별점

• Ornith은 post-trained된 대형 MoE 모델이면서 self-improving RL 프레임워크로 스캐폴드와 솔루션을 공동 최적화하도록 학습되어 에이전트형 코드 생성에서 탐색 전략까지 개선하는 설계를 갖추었다. 이 설계는 단순한 fine-tuning이나 SFT와 달리 생성 과정 자체의 탐색 효율성을 향상시키는 데 초점이 있다. 따라서 실험 결과에서 높은 코드 에이전트 벤치마크 점수와 연결되는 차별적 요소로 작용한다.
• 기본 출력 형식이 <think> 체인을 포함하는 reasoning_content와 표준화된 tool_calls를 제공하도록 설계되어 외부 에이전트 프레임워크로의 즉시 통합이 가능하다. README에서 제공하는 parsers와 서버 설정은 이 통합을 실무적으로 간소화한다. 이 점은 다른 오픈소스 LLM들이 별도 포매팅·파싱 작업을 요구하는 것과 구별되는 운영상 이점이다.
• 단일 노드(8×80GB)로 동작 가능한 serving 레시피와 메모리·컨텍스트 튜닝 가이드를 명시하여 대규모 MoE 모델임에도 실제 배포 현실성을 확보하려는 점이 차별화 요소다. vLLM과 SGLang 같은 최신 런타임과의 호환성도 명시되어 있어 실무 적용에서의 엔드투엔드 흐름을 단축시킨다. 이는 대형 모델을 실서비스에 연결하려는 팀의 엔지니어링 비용을 줄이는 데 도움을 준다.

벤치마크

이미지 분석