TL;DR
이번 기간에는 GLM-5.3의 코딩·사이버보안 성능과 Post-training 효과가 가장 많이 결집됐다. ARC 3에서는 LLM이 실행 가능한 코드를 작성해 인과적 세계 모델과 문제별 하네스를 구성하는 방식이 상위 성과와 연결됐다. 여러 에이전트와 모델을 함께 쓰면 토큰 비용이 급증하고, 프롬프트만으로는 운영 코드의 복잡도와 회귀를 통제하기 어렵다는 실무 우려도 이어졌다. Grok 4.6의 모델 개발 작업 학습과 오픈 웨이트 모델 출시 속도는 모델 경쟁의 평가 기준을 성능뿐 아니라 개발 자동화와 실행 비용으로 넓혔다.
𝕏 실시간 트렌드 토픽
🔥 GLM-5.3의 Post-training 성능 도약과 실행 효율포스트 4
GLM-5.3을 둘러싸고 코딩·에이전트·사이버보안 성능과 로컬 실행 효율을 함께 측정하는 포스트가 결집됐다. 동일한 기반 모델에 적용한 Post-training이 성능을 크게 바꿀 수 있다는 해석도 나왔다.
- GLM-5.3 발표 뒤 관심은 743B 기반 모델의 코딩·에이전트·사이버보안 능력과 공개 가중치 실행 비용에 모였다. 한 테스트에서는 Prefill 약 1ktok/s, thinking/output 약 60tok/s가 측정됐고, 다른 효율화 방식에서는 단일 DGX Spark 또는 AMD Strix Halo에서 7 token/s decode와 250 tok/s 초과 prefill을 목표로 제시했다. 같은 기반 모델에서도 DeepSeek flash와 GLM-5.3의 성능이 frontier 수준으로 상승했다는 관찰이 이어져 Post-training의 영향 범위가 핵심 쟁점이 됐다.
- GLM-5.3은 긴 사고 추적을 포함한 테스트에서 GLM 5.2와 Fable+Claude Code를 앞섰다는 사용 후기가 나왔고, 3D 표현·모델링 작업에서 시각 입력 없이 Kubota 트랙터와 부품을 구성했다는 사례도 공유됐다. 다만 Z.ai는 학습 중 완전한 소프트웨어 익스플로잇 연결 능력이 예상보다 빠르게 나타나 오픈 웨이트 공개를 약 2주 늦추고 안전 보강을 진행한다고 밝혔다.
- 이번 묶음은 모델 성능을 단일 벤치마크 점수로만 보지 않고 코딩 정확도, 긴 작업 처리, 3D 구조 생성, 사이버보안 위험, 단일 장비의 처리량으로 나눠 평가하는 흐름을 담았다.
GLM-5.3과 DeepSeek flash 사례는 기반 모델 자체를 바꾸지 않아도 Post-training과 효율화만으로 frontier 수준의 코딩·에이전트 성능에 접근할 가능성을 뒷받침한다.
사이버보안 능력이 예상보다 빠르게 확장된 사례는 성능 향상과 공개 가중치 배포를 같은 속도로 추진하기 어렵다는 안전 제약을 드러낸다.
원문 트윗 2개 보기
Tim Dettmers
@Tim_Dettmers
Trying GLM 5.3 right now. Avg: Prefill ~1 ktok/s, thinking/output ~60 tok/s. In our harness, we already see with full thinking traces GLM 5.2 > Fable+Claude Code. But GLM 5.3 is just on another level. It is very precise and concise. Just testing long-task performance. Exciting!
Introducing GLM-5.3: Built to Code. Ready for Cyber Defense. - Top-tier coding and agentic capabilities, achieved through post-training on the 743B base model - A major leap in cybersecurity, setting a new standard among open models Tech Blog: https:// z.ai/blog/glm-5.3
Tim Dettmers
@Tim_Dettmers
With our new efficiency methods, you will be able to run this on a single DGX Spark or AMD Strix Halo at 7 token/s decode and >250 tok/s prefill. Stay tuned!
Introducing GLM-5.3: Built to Code. Ready for Cyber Defense. - Top-tier coding and agentic capabilities, achieved through post-training on the 743B base model - A major leap in cybersecurity, setting a new standard among open models Tech Blog: https:// z.ai/blog/glm-5.3
📈 ARC 3에서 실행 코드로 구성하는 기호적 세계 모델포스트 4
ARC 3 관련 포스트는 공개 demonstration set과 비공개 평가 세트를 구분하고, 상위 성과의 공통 방식으로 LLM-guided symbolic world model synthesis를 짚었다. 문제의 규칙을 코드로 추출하고 시뮬레이터와 검색 함수를 만드는 과정이 중심이다.
- ARC 3의 공개 데이터는 training set이나 eval set이 아닌 demonstration set이며, 형식 이해와 인간 참여를 위한 자료라는 구분이 제시됐다. 공개 demonstration set의 최고 점수는 2.70%였지만 실제 benchmark의 비공개 세트는 더 어렵고 새로운 문제로 구성돼 공개 점수가 실제 성능을 대표하지 않는다는 조건이 붙었다.
- 한 사례에서 Opus는 한 번의 실행으로 269개 프로그램과 약 12,700줄의 코드를 작성했고, 25개 게임의 parser, 23개 게임의 search function, 9개 게임의 simulator를 만들었다. 문제마다 다른 harness를 구성하고 filesystem memory를 활용해 각 게임의 규칙과 실행 구조를 코드로 축적하는 입력→합성→시뮬레이션 흐름이 핵심이었다.
- François Chollet은 이 방식이 ARC 3에만 국한되지 않고 직관에 이끌린 symbolic world modeling, 즉 deep learning-guided program synthesis로 AI가 장기적으로 수렴할 방향이라고 설명했다. 과학의 상징적 모델도 적은 관측에서 간결한 수학 구조를 만들며 일반화한다는 비유가 함께 제시됐다.
문제의 인과적 규칙을 실행 가능한 프로그램과 시뮬레이터로 바꾸면 적은 데이터에서 재사용 가능한 구조를 만들 수 있어 ARC 3의 새로운 문제에 대응하기 유리하다.
공개 demonstration set 점수는 비공개 평가 세트의 성능을 뜻하지 않으므로, 현재 결과는 접근 방식의 가능성과 실제 일반화 능력을 분리해 읽어야 한다.
원문 트윗 2개 보기
François Chollet
@fchollet
Jeremy's excellent work here is a great illustration of a very powerful type of approach: LLM-guided on-the-fly synthesis of a symbolic world model, i.e. making sense of the world by writing executable code that encodes your understanding of the causal mechanics of the world. So far, all of the top-performing harnesses on ARC-AGI-3 use this style of approach. Which is also the approach we recommended when we initially released the benchmark (Jeremy would know this better than most, as a former Ndea member of technical staff). I'm happy that ARC 3 has incentivized more research and more progress in this area.
In one pass Opus wrote 269 programs (~12,700 lines). It built parsers for all 25 games, searching functions for 23, and game simulators for 9. It built a different harness for each problem. The filesystem memory idea came from the excellent PRO-LONG harness:
François Chollet
@fchollet
Regular reminder -- the set of public ARC 3 games is called "demonstration set", not "eval set" nor "training set". It is not meant to be used as training data, and it is not meant to be used as an eval. Scores on the public demonstration set are not indicative of scores on the actual benchmark. The demonstration set is intended to demonstrate the format and drive human engagement. The private eval set is substantially more difficult and more novel. The top score on the Kaggle leaderboard today is 2.70% (that's the semi-private set -- at the end of the competition, the submissions are scored on the fully private set).
➖ 멀티 에이전트 확산 뒤 토큰 비용과 품질 게이트포스트 5
여러 에이전트가 여러 모델을 호출하는 구조에서 비용이 빠르게 불어나고, 프롬프트만으로 운영 코드의 복잡도와 회귀를 막기 어렵다는 실무 경험이 모였다. 비용 통제와 결정론적 품질 게이트가 에이전트 도입의 조건으로 떠올랐다.
- 소프트웨어 개발에 투입하는 주당 노동 시간과 노력은 줄지 않았지만 토큰 지출은 크게 늘었다는 경험이 공유됐다. 여러 에이전트가 여러 모델을 부르는 환경에서는 호출량과 모델별 단가를 일관된 통제 규칙으로 관리하지 않으면 비용 급증을 뒤늦게 발견하게 되므로, LangSmith LLM Gateway를 통한 정책 적용이 실무 해법으로 제시됐다.
- 운영 코드에서 에이전트가 아키텍처를 반복 개선하도록 맡기면 context와 adversarial review만으로는 복잡도 증가를 막지 못하고 무작위적인 instruction-following 회귀가 생긴다는 우려가 나왔다. 이에 따라 아키텍처와 유지보수성을 검사하는 결정론적 품질 게이트가 필요하며, 프롬프트는 강제 규칙이 아니라 제안에 가깝다는 구분이 강조됐다.
- 개발자가 더 많은 소프트웨어를 더 나은 품질로 출하할 가능성은 있지만 인력 감축으로 비용이 자동 절감되지는 않는다는 관찰도 함께 나왔다. 엔지니어가 hill climbing에 강하더라도 먼저 오를 언덕을 정하는 일이 필요하다는 비유는 에이전트의 실행 능력보다 목표 선택과 통제 설계가 먼저라는 의미를 담았다.
Gateway 기반 비용 정책과 결정론적 품질 게이트를 함께 두면 멀티 에이전트의 호출량과 코드 변경 범위를 관리하면서 생산성 향상을 활용할 수 있다.
토큰 비용은 늘고 개발자의 노동 시간은 그대로이며, 프롬프트와 리뷰만으로는 아키텍처 sprawl과 회귀를 막기 어려워 에이전트 도입 효과가 제한적이다.
원문 트윗 2개 보기
LangChain
@LangChain
Reining in LLM spend gets harder once your team has started using multiple agents calling multiple models. Without the proper controls, costs can spike before you realize what happened. In this walkthrough, learn how to set and enforce consistent cost controls using LangSmith LLM Gateway. Watch the demo:
Peter Bell
@PeterBell
OK, so after chating with @_lopopolo @GeoffreyHuntley @sschillace and @rwitoff what I really want to see is examples of the deterministic quality gates that are rigorous enough to avoid sprawl when you go full agent mode on your prod code base. Esp for architecture and maintainability. So far my context and adversarial reviews have NOT supported letting the agents iteratively improve my architecture without review without sprawling complexity :( Unfortunately, prompts will always be suggestions - and I also find random regressions in instruction following as model labs tune their harnesses and prompts against a released model version
📈 Grok 4.6의 모델 개발 작업 학습과 에이전트 평가포스트 3
Grok 4.6이 모델 개발 자체를 가속하는 내부 작업으로 학습됐다는 소식과, 어려운 에이전트 작업에서 DeepSeek-V4-Pro와 비교한 수치가 함께 확산됐다. 학습 대상이 결과물 생성에서 개발 파이프라인 개선으로 이동하는 흐름이다.
- Grok 4.6은 production inference와 kernel optimization을 포함해 모델 개발을 빠르게 만드는 내부 작업으로 학습됐다고 전해졌다. 한 포스트는 모델이 297개 아이디어를 탐색하고 사람의 직접 지시 없이 실제 개선을 배포했으며, Prefill은 3.1%, Decode는 1.5% 향상됐다고 적었다.
- 30개 어려운 agentic task 비교에서는 Grok 4.6의 성공률이 77%, DeepSeek-V4-Pro가 60%였고, 처리 시간은 184초 대 400초, 성공 1건당 비용은 0.48달러 대 0.60달러로 제시됐다. 내부 MTS Eval과 InferenceEval에서 선두라는 주장도 함께 공유됐다.
- 모델이 모델 개발에 필요한 실험과 최적화 작업을 직접 수행하면 학습→평가→배포의 피드백 루프가 짧아진다는 기대가 생긴다. 다만 제시된 수치는 내부 평가와 특정 실험에 근거하므로 외부 작업 전반의 우위를 뜻하는지 여부는 별도 검증이 필요하다.
모델 개발 작업을 직접 학습한 시스템은 inference와 kernel 최적화를 반복하며 개발 루프를 줄이고, 에이전트 작업의 성공률·속도·비용을 동시에 개선할 수 있다.
30개 작업과 내부 평가에서 나온 수치는 유의미한 신호지만, 평가 범위와 재현 조건이 제한돼 일반적인 자기 개선으로 확대하려면 추가 검증이 필요하다.
원문 트윗 2개 보기
Md Ismail Šojal
@0x0SojalSec
Read this carefully. Grok 4.6 was trained on the very tasks that accelerate model development itself. It start improving their own development pipeline, the feedback loop tightens fast. Prefill +3.1%. Decode +1.5%. It explored 297 ideas and shipped real improvements without human hand-holding. Recursive self-improvement may no longer be a future concept.
Grok 4.6 was the first model trained on internal model-development tasks. My team built the training and evaluation stack that enabled Grok to learn from work that accelerates model development itself, including production inference and kernel optimization. Grok 4.6 now leads
Md Ismail Šojal
@0x0SojalSec
Grok 4.6 outperformed DeepSeek-V4-Pro on 30 hard agentic tasks. - Higher success rate (77% vs 60%) - Faster (184s vs 400s) - Lower cost per success ($0.48 vs $0.60)
🔥 오픈 웨이트 모델 출시 주기와 장기 작업 확장포스트 5
Qwen3.8-27B 예고와 DeepSeek-V4-Pro, DeepSeek Harness, dots3-note preview, MiniMax-Music3 등 여러 공개 모델 소식이 짧은 기간에 겹쳤다. 텍스트·비전·오디오, 긴 컨텍스트, 로컬 실행과 에이전트 메모리 갱신이 출시 경쟁의 축이다.
- Qwen3.8-27B 출시 예고와 GLM-5.3, DeepSeek-V4-Pro, DeepSeek Harness, Muse-Glimmer, Nemotron-Lighting 등의 목록이 한 주에 쏟아졌다는 포스트가 나왔다. DeepSeek-V4-Pro는 작업 난도에 따라 reasoning effort를 조절하고 OpenAI Responses API를 지원하는 Agent 기능을 내세웠으며, DeepSeek Harness는 Cordis meta-framework 기반 코드베이스를 MIT license로 Developer Preview 공개했다.
- dots3-note preview는 280B MoE 구조에서 16B active parameters만 사용하고 512K context와 text·vision·audio 입력을 지원한다고 전해졌다. TEMPO라는 RL 방법으로 에이전트가 실행 중 스스로 비평하고 기억을 갱신하도록 설계해 장기 작업을 겨냥했다.
- MiniMax-Music3는 0.6B 모델을 potato computer에서 로컬 실행할 수 있고 Suno와 경쟁할 수 있다는 주장이 공유됐다. 여러 모델이 동시에 공개되면서 실제 성능을 충분히 테스트하기 전에 다음 출시가 이어진다는 반응이 나와, 공개 속도 자체가 개발자 평가 부담으로 연결됐다.
작은 active parameter 수, 긴 context, 다중 모달 입력과 실행 중 메모리 갱신을 결합하면 제한된 하드웨어에서도 장기 작업 에이전트를 운용할 여지가 커진다.
출시 수와 기능 목록은 빠르게 늘었지만, 각 모델의 실제 작업 성능과 안정성을 비교할 충분한 테스트가 뒤따라야 한다.
원문 트윗 2개 보기
Md Ismail Šojal
@0x0SojalSec
New open-weight releases this week: - GLM-5.3 - Qwen-3.8-Max - DeepSeek-V4-Pro - DeepSeek-Harness - Muse-Glimmer - Nemotron-Lighting - Qwen3.8-27B (tomorrow) We can’t keep up anymore, models are dropping faster than we can test them.
Md Ismail Šojal
@0x0SojalSec
Wtf, Singapore labs dots Another open-source model drop, RedNote open-sourced a 280B multimodal MoE built specifically for agents that can work for hours. - Only 16B active parameters, - 512K context, - Full multimodal (text + vision + audio) - and a new RL method called TEMPO that a reinforcement learning approach that lets agent self-critique and update its own memory on the fly. and learning while the agent is still running.
Introducing dots3-note preview — a small but mighty step toward long-horizon agency in real life. 280B MoE with 16B active parameters, a 512K context window, and multimodal understanding across text, vision, and audio Introduces TEMPO, a new RL approach for long-horizon
용어 해설
- 사후 학습(Post-training)
- — 기반 모델을 고정한 뒤 추가 데이터와 학습 절차로 코딩·추론·보안 같은 특정 능력을 끌어올리는 과정이다. GLM-5.3 관련 포스트에서는 같은 기반 모델에서도 성능이 크게 변한 원인으로 거론됐다.
- 기호적 세계 모델(Symbolic World Model)
- — 현상의 인과 구조를 실행 가능한 코드나 수학적 기호로 표현해 재사용 가능한 내부 모델을 만드는 방식이다. ARC 3 관련 포스트에서는 LLM이 코드를 작성하며 문제의 규칙을 구성하는 흐름으로 연결됐다.
- 에이전트 하네스(Agent Harness)
- — 에이전트가 문제를 풀도록 도구 호출, 메모리, 실행 과정과 평가 절차를 묶은 운영 구조다. ARC 3에서는 문제별 하네스를 만들고, DeepSeek Harness에서는 개발자용 하네스를 공개하는 맥락으로 등장했다.
- 장기 작업 에이전시(Long-Horizon Agency)
- — 에이전트가 긴 시간 동안 여러 단계를 이어 가며 작업하고, 실행 중 기억과 전략을 갱신하는 능력이다. dots3-note preview는 512K 컨텍스트와 TEMPO를 이 목표에 결합한 모델로 소개됐다.
- 결정론적 품질 게이트(Deterministic Quality Gate)
- — 에이전트가 코드를 반복 수정하기 전에 정해진 검사 기준으로 아키텍처와 유지보수성을 통과시키는 통제 장치다. 관련 포스트에서는 프롬프트만으로는 복잡도 증가와 회귀를 막기 어렵다는 문제와 함께 제기됐다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
