본문으로 건너뛰기

트렌딩 - GitHub 인기 레포 & HuggingFace 모델

돌아가기
모델 이동

ornith-ai/Ornith-1.5-397B

추론·도구 호출·터미널 기반 소프트웨어 개발을 위한 text-generation397B Mixture-of-Experts262K 컨텍스트MIT

과제 생성과 rollout을 함께 학습한 397B 코드·에이전트용 reasoning model

학습 방식 · Ornith-1.0을 거쳐 Qwen3.5와 Gemma4 계열에 continued pretraining·mid-training·post-training을 적용한 뒤, 과제 생성·scaffold 구성·solution rollout을 공동 최적화하는 Reinforcement Learning 루프를 확장했습니다.

TL;DR

Ornith-1.5-397B는 Ornith-1.0을 확장한 397B Mixture-of-Experts reasoning model로, Qwen3.5와 Gemma4 계열의 추가 학습 위에 과제 생성·scaffold 구성·solution rollout을 함께 최적화하는 Reinforcement Learning 루프를 적용했습니다. 기본 출력은 <think> 블록을 거치며, vLLM이나 SGLang의 reasoning parser와 tool-call parser를 사용하면 reasoning_content와 OpenAI 형식의 tool_calls를 분리할 수 있습니다. Terminal-Bench 2.1에서 86.1, SWE-bench Verified에서 86, GPQA Diamond에서 92.8, BrowseComp에서 86.6을 기록해 코드 에이전트와 도구 사용 작업에 강점을 보였습니다. 다만 bf16 기준 약 800GB가 필요한 대형 모델이며, 기본 컨텍스트는 262,144토큰이고 YaRN을 통한 약 1M토큰 확장은 일반 길이 입력의 품질 저하 가능성을 고려해야 합니다.

핵심 포인트

  • 397B Mixture-of-Experts 구조로 코드 수정과 장시간 에이전트 작업에 맞춘 reasoning model입니다.
  • 고정된 사람 작성 과제 대신 과제·scaffold·solution rollout을 함께 생성하고 Reinforcement Learning으로 개선합니다.
  • 기본 응답은 <think> 블록을 거치며 서버 설정에 따라 reasoning_content와 tool_calls를 분리합니다.
  • 최대 262,144토큰 컨텍스트를 지원하고 YaRN factor 4.0으로 약 1M토큰까지 확장할 수 있습니다.

제한사항

  • 약 397B 규모라 bf16 기준 약 800GB 메모리가 필요하며, README는 8-way tensor parallelism과 8× H200 141GB 구성을 예시로 제시합니다.
  • Transformers ≥ 5.8.1, vLLM ≥ 0.19.1 또는 SGLang ≥ 0.5.9 같은 최신 런타임이 필요합니다.
  • YaRN은 모든 요청에 같은 scaling factor를 적용하므로 일반 길이 입력에서 품질이 소폭 낮아질 수 있어 긴 컨텍스트가 필요한 경우에만 사용해야 합니다.

벤치마크

벤치마크지표값비교
Terminal-Bench 2.1 (Terminus-2)score86.1Claude Opus 4.8 85.0, DeepSeek-V4-Flash-0731 82.7, GLM-5.2 81, Kimi K3 88.3, Ornith-1.0-397B 77.5
Terminal-Bench 2.1 (Claude Code)score85.2Claude Opus 4.8 78.9, DeepSeek-V4-Flash-0731 81.8, GLM-5.2 82.7, Ornith-1.0-397B 78.2
SWE-bench Verifiedscore86Claude Opus 4.8 85.8, DeepSeek-V4-Flash-0731 81.6, GLM-5.2 83, Kimi K3 86.2, Ornith-1.0-397B 82.4
SWE-bench Proscore65.1Claude Opus 4.8 68, DeepSeek-V4-Flash-0731 64.4, GLM-5.2 62.1, Ornith-1.0-397B 62.2
SWE-bench Multilingualscore79.6Claude Opus 4.8 75.7, DeepSeek-V4-Flash-0731 77.9, GLM-5.2 78.4, Ornith-1.0-397B 78.9
DeepSWEscore56Claude Opus 4.8 59, DeepSeek-V4-Flash-0731 54.4, GLM-5.2 46.2, Ornith-1.0-397B 8
Frontier-Bench v0.1score13.5Claude Opus 4.8 21.1, DeepSeek-V4-Flash-0731 6.1, GLM-5.2 5.1, Kimi K3 23, Ornith-1.0-397B 2.7
NL2Reposcore59.5Claude Opus 4.8 69.7, DeepSeek-V4-Flash-0731 54.2, GLM-5.2 48.9, Ornith-1.0-397B 48.2
SWE Atlas - QnAscore55.6Claude Opus 4.8 59.7, DeepSeek-V4-Flash-0731 51.6, GLM-5.2 50, Kimi K3 59.7, Ornith-1.0-397B 41.2
HLE (no tools)score44.6Claude Opus 4.8 49.8, DeepSeek-V4-Flash-0731 35, GLM-5.2 40.5, Kimi K3 43.5, Ornith-1.0-397B 30.2
HLE (with tools)score56.1Claude Opus 4.8 57.9, DeepSeek-V4-Flash-0731 50.8, GLM-5.2 54.7, Kimi K3 56, Ornith-1.0-397B 47.5
GPQA Diamondscore92.8Claude Opus 4.8 93.6, DeepSeek-V4-Flash-0731 91.4, GLM-5.2 91.2, Kimi K3 93.5, Ornith-1.0-397B 88.1
MCP-Atlasscore80Claude Opus 4.8 82.2, DeepSeek-V4-Flash-0731 74.6, GLM-5.2 77.8, Kimi K3 82.3, Ornith-1.0-397B 76.4
Toolathlon-Verifiedscore71.2Claude Opus 4.8 76.2, DeepSeek-V4-Flash-0731 70.3, GLM-5.2 48.2, Kimi K3 73.2, Ornith-1.0-397B 43.2
WideSearchscore80.8Claude Opus 4.8 72.9, DeepSeek-V4-Flash-0731 77.3, GLM-5.2 79, Ornith-1.0-397B 75.2
BrowseCompscore86.6Claude Opus 4.8 84.3, DeepSeek-V4-Flash-0731 84.8, GLM-5.2 85.6, Kimi K3 91.2, Ornith-1.0-397B 79.7
ClawEvalscore81.4Claude Opus 4.8 80.2, DeepSeek-V4-Flash-0731 77.6, GLM-5.2 78.8, Ornith-1.0-397B 77.1

이미지 분석

Ornith-1.5-397B와 DeepSeek-V4-Flash-0731, GLM-5.2, Claude Opus 4.8 등의 16개 평가 점수를 코딩·추론·에이전트 작업별 막대그래프로 비교한 이미지입니다.
Ornith-1.5-397B는 이미지에 표시된 대부분의 코딩 및 에이전트 평가에서 비교 대상 오픈 모델보다 높은 점수를 기록하며, Terminal-Bench 2.1은 86.1, SWE-bench Verified는 86, BrowseComp는 86.6입니다. 다만 Claude Opus 4.8과 비교하면 GPQA Diamond 92.8 대 93.6, DeepSWE 56 대 59처럼 일부 추론·코딩 지표에서 낮고, WideSearch 80.8 대 72.9처럼 에이전트 작업에서는 앞서는 항목도 있습니다.

76

LIKES

34.9k

DOWNLOADS

0 / 0

조회수

관련 토론

아직 관련 토론이 없습니다.

댓글

댓글을 작성하려면 로그인이 필요합니다.