TL;DR
이번 기간에는 Codex의 rate limit 조정과 음성 기반 hands-free 작업, 운영 환경에서 지속적으로 관리하는 LLM judge, Marin 535B-A23B의 공개 학습 과정이 함께 부각됐다. Codex는 장시간 이미지 세션과 Computer History, 대화 제목 생성 기능에서 발생한 usage 비효율을 줄이고 계정에 reset을 적용했으며, 별도 발표에서는 desktop과 mobile의 voice workflow를 예고했다. Netflix 사례는 사람 라벨과 curated benchmark로 평가자를 만들고, Reasoning-Aligned Rubric Tuning과 지속적인 human-in-the-loop monitoring으로 재조정하는 lifecycle을 사용했다. 동시에 FreeToken의 CPU–GPU 실행과 semantic-aware caching, 무료 T4에서의 Qwen 3.8 27B 실행, 단일 장비에서의 DeepSeek-V4-Flash 0731 구동처럼 local inference의 비용·메모리 제약을 낮추려는 시도가 이어졌다. 에이전트가 재료 문제를 풀고 3D-printed parts까지 만드는 사례와 AGENTS.md·CLAUDE.md 중심의 코딩 연구는 AI가 문서 읽기와 실제 물리 작업을 거쳐 행동하는 범위를 넓히고 있음을 드러냈다.
𝕏 실시간 트렌드 토픽
🔥 Codex rate limit 조정과 음성 기반 hands-free workflow포스트 3
Codex의 usage 비효율 수정과 계정 reset이 진행되는 동시에 desktop·mobile 음성 작업 흐름이 예고됐다.
세부 내용 보기
- Codex의 rate limit 문제는 장시간 세션에서 이미지를 사용하며 여러 차례 compaction을 거치는 경우, Computer History의 높은 p95+ usage, 대화 제목 생성 기능의 추가 usage에서 발생했다. 계정에 reset을 전파하고 관련 수정 사항을 반영한 뒤 사용량 체감 변화를 예고했으며, OpenAIDevs는 desktop과 mobile에서 voice로 Codex를 hands-free 방식으로 사용하는 구축 과정을 공개할 예정이라고 밝혔다. 장시간 코딩 세션의 비용 제어와 키보드 밖의 작업 실행이 한 흐름으로 연결된 사례이다.
원문 트윗 2개 보기
Tibo
Good Sunday. Reset has been propagated to accounts and we landed some fixes to usage for things mentioned yesterday as issues we found. You should feel a positive difference. More to come tomorrow and will keep communicating.
Update on rate limits in Codex. We’ve found (a) some inefficiencies when using images in long sessions with multiple compactions (b) high p95+ usage for Computer History (c) a feature that was meant to generate conversation titles that was draining a bit more usage than x.com/thsottiaux/sta…
OpenAI Developers
What if you could spend less time at your desk and still get more done? Hint: you already can @AlexFinn joins us in the studio tomorrow to show how he builds hands-free using voice in Codex—on desktop and mobile.
📈 Netflix의 운영형 LLM judge lifecycle포스트 1
Netflix는 수백만 명의 모바일 추천 설명을 대상으로 LLM judge를 일회성 검증물이 아닌 지속 관리 체계로 운용했다.
세부 내용 보기
- 대규모 추천 설명의 품질을 판정하려면 한 번 검증한 평가자보다 기준 변화와 drift를 계속 관리하는 구조가 필요하다. Netflix의 lifecycle은 Birth에서 사람 라벨과 rationale이 포함된 curated benchmark 및 복수 평가 기준을 만들고, Training에서 Reasoning-Aligned Rubric Tuning과 meta-judge를 사용해 rubric을 조정하며, Deployment에서 quality gating과 reflective generation을 맡기고, Monitoring에서 human-in-the-loop alignment와 review gate를 거쳐 재튜닝한다. 수천만 명을 대상으로 한 5주 A/B test에서는 설명이 없는 대조군보다 이전에 보지 않은 콘텐츠로 시청이 이동하고 browse-to-play 성공 세션이 늘었으며 quality-related takedown은 없었다.
📈 Marin 535B-A23B의 공개 학습 과정포스트 1
Marin은 코드·데이터·학습 레시피·실험 결과를 공개하는 방식으로 535B-A23B 학습을 시작했다.
세부 내용 보기
- Marin 프로젝트는 모델 학습의 결과물뿐 아니라 코드, 데이터, recipes, 실험 결과를 공개하는 접근을 취한다. 535B-A23B는 18.75T tokens를 대상으로 pretraining 80%와 midtraining 20%를 배정하고, 11 x GB200 NVL72에서 약 3개월 동안 2.7e24 FLOPs 규모로 학습한 뒤 post-training을 진행하는 계획으로 제시됐다. 학습 전에는 4-rung 실험을 수행했으며, 각 단계의 계획과 결과를 외부에서 추적할 수 있게 만든다는 점이 공개 연구 재현성의 핵심이다.
AndrewYNg는 Marin을 코드·데이터·학습 레시피·실험 결과까지 공개하는 개방형 모델 학습의 사례로 평가했다.
📈 로컬 모델 실행을 낮추는 캐싱·저가 GPU 구성포스트 4
FreeToken과 무료 T4·단일 장비 구성 사례가 CPU–GPU 분산 실행, 캐싱, 메모리 절약을 앞세웠다.
세부 내용 보기
- 로컬 모델 사용의 병목은 GPU 비용과 prefill·decode 속도, 긴 context를 수용할 메모리이다. FreeToken은 bandwidth-adaptive CPU–GPU execution과 agent turns 사이의 semantic-aware caching으로 Ollama 대비 3–4× 빠른 decode와 6–30× 빠른 prefill을 주장했으며, 별도 구성에서는 무료 Kaggle의 2x NVIDIA T4로 Qwen 3.8 27B를 120k context와 FP16 KV 조건에서 14 t/s로 실행하고 총 26.6 GB VRAM을 사용했다. DeepSeek-V4-Flash 0731은 단일 DGX Spark에서 384k+ context, 1,000 tok/s prefill, 37–44 tok/s decode, GSM8K 87%라는 수치와 함께 제시돼 로컬 추론의 하드웨어 진입 장벽을 낮추는 방향을 드러냈다.
FreeToken의 성능 수치는 기술 보고서에 근거하지만, 인용된 게시물도 해당 주장이 사실일 경우 local model 사용자에게 도움이 된다고 전제했다.
원문 트윗 2개 보기
Teknium
This could help a lot of local model users if claims are true
FreeToken is fast. Comparing to Ollama, we have 3–4× faster decode, and 6–30× faster prefill How? We introduce bandwidth-adaptive CPU–GPU execution + semantic-aware caching across agent turns. More details in the technical report: http:// arxiv.org/abs/2608.16157
Md Ismail Šojal
Free GPUs 2x NVIDIA T4s & run Qwen 3.8 27B at 14 t/s with 120k context - 120k context on FREE Kaggle T4s. - FP16 KV - 14 t/s - No credit card. - No expensive GPU. - Total VRAM used: only 26.6 GB across both cards. - Under 5 minutes setup. - Kaggle gives you 30 hours/week of dual T4 for free. Free kaggle notebook from Alok : - http:// kaggle.com/code/bertpro/q wen-3-8-27b-2x-t4-gpus …
➖ 에이전트 코딩에서 지시 파일과 즉시 피드백 루프포스트 2
AGENTS.md·CLAUDE.md 같은 지시 파일이 에이전트가 읽는 정보의 대부분을 차지했고, 제품 개발 쪽에서는 feedback-to-action 자율 루프가 강조됐다.
세부 내용 보기
- 에이전트 코딩은 일반 기술 문서보다 저장소 안의 지시 파일과 working notes에 크게 의존한다. 557개 agentic coding sessions의 94K development events와 33K agentic pull requests의 690K file-level change records를 추적한 연구에서 instruction files와 working notes는 에이전트가 읽은 정보의 60.5%를 차지했고, classical technical docs는 10.6%, API references는 1.3%였다. 문서 참조는 즉시 testing 감소와 연관됐지만 consultation의 70.2%는 실패가 아니라 에이전트의 자발적 판단으로 시작됐고, 여러 커밋이 있는 pull request에서는 코드가 먼저 수정되는 빈도가 4.7배 높았다. 별도 실무 관점에서는 이러한 실행을 feedback-to-action autonomous loop로 묶어 배포까지 연결해야 하며, 조직의 shipping gatekeeping 문화가 도입을 막을 수 있다는 조건도 함께 제시됐다.
연구 수치는 에이전트가 읽는 정보의 구성과 코드 수정 순서를 측정했으며, 실무 관점의 글은 자율 실행 도입이 조직의 배포 문화에 좌우된다고 봤다.
📈 텍스트·영상 생성 모델의 로컬 실행 범위 확장포스트 3
Qwen 3.8 27B의 제한 없는 실행 주장과 MiniMax H3의 로컬 text-to-video·image-to-video 구성이 함께 등장했다.
세부 내용 보기
- 로컬 생성 모델 사례는 모델을 클라우드 서비스가 아닌 개인 하드웨어에서 실행하는 경로에 초점을 맞췄다. Qwen3.8-27B는 24GB Mac의 MLX 4-bit 환경에서 native vision과 tool calling, 262K context를 지원하고 제한 카테고리 11개에서 110/110, refusals 0이라는 게시물 수치로 제시됐다. MiniMax H3는 RTX 3090에서 text-to-video, image-to-video, reference-to-video와 native stereo audio를 실행하고 character consistency를 유지하는 ComfyUI R2V workflow 사례로 소개됐으며, 12GB GPU에서의 구동 가능성도 함께 언급됐다. 게시물에 제시된 수치는 각 작성자의 실행·주장에 기반하므로 실제 재현 조건 확인이 필요하다.
Qwen3.8-27B와 MiniMax H3의 로컬 실행 수치와 기능이 제시됐지만, 게시물은 일부 성능을 주장 형태로 전달했다.
원문 트윗 2개 보기
Md Ismail Šojal
Qwen3.8-27B just went fully uncensored with zero guardrails. - Zero refusals. - scored 110/110 on every restricted category. - Tested across 11 categories - Result: 100% compliance, 0 refusals. - currently one of the most unrestricted open models available.
You can run locally fully Qwen3.8-27B Uncensored for red-teaming smooth on 24GB Macs in MLX 4-bit. - Full abliteration (zero refusals) - Native vision & tool calling - 262K context If you’re on Mac and want real unrestricted 27B performance this is currently one of the best
Md Ismail Šojal
Omg Seedance 2.0 level video model run locally on 12GB GPUs
basically, you can run generate this quality of unrestricted Seedance2.0/Sora2-level Ai-video model locally on RTX 3090 MiniMax H3 runs on your own hardware for text-to-video, image-to-video, and reference-to-video with native stereo audio. This clip was made locally x.com/0x0SojalSec/st…
📈 Grok 에이전트의 재료 문제 해결과 3D 프린팅포스트 1
Grok 에이전트 팀이 자연 구조 사진에서 출발해 3D-printed parts 제작과 인간 알림까지 연결한 사례가 공유됐다.
세부 내용 보기
- 이 사례에서 에이전트는 자연 구조의 사진 네 장을 입력으로 받아 복잡한 materials problem을 end-to-end로 처리하고, 최종적으로 Bambu Lab bed 위에 놓인 3D-printed parts를 만들었다. 작업 과정에는 출력 중 Apple Watch를 통한 인간 알림도 포함됐으며, 입력 이미지와 설계·제작 단계를 거쳐 실제 물리 결과물로 이어지는 흐름이 핵심이다. 텍스트 답변에 머무르지 않고 설계와 제조 과정에 개입하는 agent의 범위를 보여주는 사례로 공유됐다.
용어 해설
- LLM 평가자(LLM judge)
- — LLM의 답변이나 생성 결과를 미리 정한 기준에 따라 자동 평가하는 모델 또는 시스템입니다. 사람의 라벨과 평가 기준을 바탕으로 학습한 뒤 품질 판정과 생성 과정의 자기 점검에 활용하며, 운영 중에는 사람의 재검토와 재학습으로 성능 변화를 관리합니다.
- 추론 정렬 루브릭 튜닝(Reasoning-Aligned Rubric Tuning)
- — 평가자의 추론 결과를 기준으로 평가 루브릭을 조정하는 학습 방식입니다. 메타 평가자가 추론 과정을 학습 신호로 제공해 평가 기준을 다듬고, 사람의 라벨과 결합해 운영 환경의 판정 품질을 높입니다.
- 의미 인식 캐싱(semantic-aware caching)
- — 에이전트 작업의 이전 실행 결과를 의미 단위로 저장하고 다음 턴에서 재사용하는 방식입니다. 단순한 문자열 일치보다 요청의 의미와 실행 맥락을 고려해 캐시를 조회하며, 반복적인 prefill 계산과 데이터 이동을 줄이는 데 쓰입니다.
- 에이전트 기반 풀 리퀘스트(agentic pull request)
- — 코딩 에이전트가 여러 파일을 수정하고 커밋을 쌓아 생성한 풀 리퀘스트입니다. 연구에서는 이러한 작업의 파일 변경 기록과 에이전트의 문서 참조 순서를 추적해 코드 수정과 테스트 사이의 관계를 측정했습니다.
- 사전 학습(pretraining)
- — 대규모 토큰을 사용해 모델이 언어와 데이터의 일반적인 패턴을 익히는 학습 단계입니다. Marin 535B-A23B 계획에서는 전체 학습 토큰의 80%를 이 단계에 배정하고, 이후 midtraining과 post-training을 이어갈 예정입니다.
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
