본문으로 건너뛰기

트렌딩 - GitHub 인기 레포 & HuggingFace 모델

돌아가기
모델 이동

Agnes-AI/Agnes-3.0-Flash

텍스트·이미지·비디오 이해와 추론, 코드 생성, 대화, tool calling33B262K 컨텍스트Apache-2.0

delta rule과 global attention을 결합한 33B 멀티모달 장문맥 모델

TL;DR

Agnes-3.0-Flash Preview는 별도 base model을 밝히지 않은 33B open-weight 멀티모달 Preview checkpoint로, 텍스트·이미지·비디오 입력과 reasoning을 처리합니다. 72개 decoder layer 중 54개는 sequence length와 무관한 recurrent delta rule을 사용하고 18개만 global attention과 KV cache를 유지해 262,144-token context를 구성합니다. `high`·`medium`·`low` reasoning effort, tool calling, streaming을 제공하지만 bf16 실행에는 H100 80GB 또는 H200 141GB급 GPU가 권장되며 `trust_remote_code=True`가 필요합니다. README의 벤치마크 수치는 이 Preview checkpoint에 해당하지만 서로 다른 harness와 snapshot에서 수집돼 통제된 대조 결과로 볼 수 없습니다.

핵심 포인트

  • 72개 layer 중 54개가 recurrent delta rule로 동작해 긴 입력에서 KV cache 증가 구간을 18개 global attention layer로 제한합니다.
  • 텍스트·이미지·비디오를 하나의 processor로 받아 262,144-token context와 세 단계 reasoning effort를 함께 제공합니다.
  • GPQA Diamond 85.05, IFBench 74.20, SciCode 38.08, AA-LCR 68.33을 기록했지만 비교 수치는 동일 조건의 대조 결과가 아닙니다.
  • bf16 checkpoint 약 66GB와 128GB 이상 host memory가 필요하며 자체 구현 로딩에 `trust_remote_code=True`가 요구됩니다.

제한사항

  • bf16 실행 권장 사양이 NVIDIA H100 80GB 또는 H200 141GB급 GPU이며 실제 context length와 동시성은 KV-cache 할당 및 runtime overhead에 좌우됩니다.
  • 모델 자체 구현을 불러오므로 `trust_remote_code=True`가 필요하고, 이미지·비디오 입력에는 `torchvision`이 포함된 bundled processor가 필요합니다.
  • README의 모델 간 수치는 서로 다른 출처·harness·snapshot에서 수집돼 통제된 head-to-head 평가로 해석하기 어렵습니다.

벤치마크

벤치마크지표값비교
IFBenchscore74.20Qwen3.6-35B-A3B 64.4, Kimi K2.5 43.7, Qwen3.8 79.5; 출처·harness·snapshot이 달라 통제된 비교가 아님
SciCodescore38.08Qwen3.6-35B-A3B 35.8, Kimi K2.5 39.6, Qwen3.8 46.6; 비교 열은 서로 다른 평가 조건의 참고 수치
GPQA Diamondscore85.05Qwen3.6-35B-A3B 84.1, Kimi K2.5 78.9, Qwen3.8 90.5; Preview checkpoint와 동일 조건의 대조 결과 아님
AA-LCRscore68.33Qwen3.6-35B-A3B 66.7, Kimi K2.5 59.0, Qwen3.8 82.0; 서로 다른 출처와 snapshot을 사용한 참고 비교
AA-Omniscience Accuracyaccuracy23.00Qwen3.6-35B-A3B 18.8, Kimi K2.5 22.9, Qwen3.8 18.4; 통제된 동일 조건 평가가 아닌 참고 수치

115

LIKES

34

DOWNLOADS

0 / 0

조회수

관련 토론

아직 관련 토론이 없습니다.

댓글

댓글을 작성하려면 로그인이 필요합니다.