Latent Space 주간 요약: DiffusionGemma 출시, Anthropic Fable 5 논란, 그리고 '훈련 불가능한' 영역

섹션별 상세

Sarah Guo는 'The Untrainable'에서 모델 랩과 에이전트 랩을 구분하며, 기업의 비공개 데이터를 활용해 실제 워크플로를 자동화하는 '에이전트 랩'의 경쟁 우위를 강조합니다.

Anthropic의 Fable 5는 에이전트 및 코딩 작업에서 최상위 성능을 보였으나, 연구용 프롬프트에 대한 성능 저하와 데이터 보존 정책으로 인해 커뮤니티의 신뢰성 비판을 받았습니다.

Google이 공개한 DiffusionGemma는 26B MoE 구조의 텍스트 생성 모델로, 기존의 자기회귀 방식이 아닌 동시 생성 방식을 통해 추론 속도를 높이는 새로운 연구 방향을 제시합니다.

에이전트 벤치마크는 단순한 인간 선호도 평가에서 벗어나, Agent Arena와 같이 도구 사용 오류나 트레이스 기반의 객관적 지표를 측정하는 방식으로 진화하고 있습니다.

최적화 및 인프라 분야에서는 late-interaction 커널의 효율화와 Distributed Shampoo와 같은 옵티마이저의 구현 세부 사항이 성능에 미치는 영향이 지속적으로 논의되고 있습니다.