본문으로 건너뛰기
Reddit Digest조회 1

학술대회 비용·문맥 검색·AI 안전 경계를 가른 댓글들

등록비부터 RAG 평가와 AI agent 안전성까지 실무 비용·정확성·통제권의 충돌

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

이번 상위 스레드는 학술대회 등록비와 장학금, 긴 문맥에서 정보 위치가 검색 성능에 미치는 영향, 의료 middleware와 AI agent의 보안 경계, RAG 평가 설계, VLM의 손 단위 인식 한계를 중심으로 구성됐다. 댓글에서는 EMNLP 등록비가 논문 단위가 아니라 참석자 단위라는 점, 핵심 정보의 위치를 바꾸는 방식이 ranking 오류를 새 위치 오류로 옮길 수 있다는 점, 코드 chunk 설명에서는 full-document context보다 AST 기반 구조 정보가 비용 대비 효율적이라는 점이 확인됐다. AI의 과학 지식 활용과 alignment 정책을 둘러싼 스레드에서는 정확성·환각·guardrail의 trade-off와 정책의 헌법적·실행 가능성 문제가 갈렸다. Claude 관련 게시물에서는 VerBench의 신뢰성보다 평가 기준의 불명확성이, coding agent 사용에서는 자동화보다 git·백업·승인 절차가 핵심 위험으로 떠올랐다.

Reddit 서브레딧별 토론Top · 2026년 9월 13일 23:40 KST 기준 · 다음 갱신 대기중

r/LanguageTechnology2

2댓글 5upvote 63%꾸준함

EMNLP Findings 논문 저자의 등록비와 지원금 문의

EMNLP Findings에 first author로 채택된 작성자가 졸업과 소속 변경으로 기존·현재 대학의 지원을 모두 받지 못해 참석 비용과 지원금 선택지를 물었다. 댓글에서는 공동 저자의 등록이 다른 참석자를 대신하지 않으며, 참석자별 등록비를 따로 내야 한다는 답변이 나왔다.

찬성다수

공동 저자가 등록해도 등록비는 참석자별로 부과되므로 별도 등록이 필요하다는 답변이 있었다.

중립소수

자원봉사 grant와 소수자 대상 scholarship이 있을 수 있으니 EMNLP 공식 웹사이트의 일정과 자격을 확인하라는 정보가 제시됐다.

합의

  • 공동 저자의 등록만으로 다른 저자의 참석 등록이 처리되지는 않는다는 점
  • u/Background-Reward4403Registration fees are per attendee not per paper, so if your coauthor already registered that doesn't cover you unfortunately.
  • u/Batman_beyond1231Hi, I also have access to about- $2k in Gemini credits, $1k in OpenAI credits, $500 in Claude credits, $1k in Sarvam credits, $10k in Azure credits and some other random stuff. I'm sorry for sounding desperate (and mods pls dont ban me!) but I can share with anyone helps me fund this. I really want to attend EMNLP in-person!
  • u/LanguageTechnology-ModTeam1Hello! Thanks for making your post. Due to complains about conference posts flooding the subreddit, we're removing all posts and asking that folks put it into the megathread. Apologies if this interrupted any discussions - please tag related users in the megathread to continue if you had further questions.
2댓글 1upvote 75%꾸준함

10년 근속자의 이직용 이력서 피드백 요청

현재 직장을 유지한 채 새 일자리를 찾는 작성자가 recruiter의 도움을 받고도 면접 기회를 얻지 못해 이력서 피드백을 요청했다. 댓글에서는 개인정보를 빼고 경력·프로젝트만 공유하며 LinkedIn 프로필과 신뢰할 만한 추천을 보완하라는 조언이 나왔다.

찬성소수

이력서 원문을 보낼 때 개인정보를 제거하고 관련 전문성·프로젝트만 남기라는 실무 조언이 있었다.

찬성소수

좋은 LinkedIn 프로필과 영향력 있는 인물의 추천이 구직 과정에서 도움이 된다는 조언이 나왔다.

합의

  • 공개적으로 이력서를 공유할 때 개인정보를 제외해야 한다는 점
  • u/WillingnessQuick50741Use claude to create a killer resume for you. 😄 (JOKE) You can DM Your resume to me if you want. We're looking for some help... Not sure we can budget what you'd be asking... But worth a try. Exclude any personal info from there. Just send the relevant expertise / projects you've been working on - type information. To answer your question though: A good Linkedin profile, preferably with some good references from high-up people, usually help a lot. And you can also control many privacy aspects, and the linked in profile IS your best resume though... Good luck with your job hunt!

r/deeplearning1

4댓글 2upvote 75%꾸준함

Mirth Connect 취약점과 의료 AI agent 권한 통제

CISA가 권고한 Mirth Connect의 CVE-2023-43208이 인증 없는 원격 코드 실행을 허용하고, 의료 workflow 위에 놓인 AI agent의 읽기·쓰기 권한과 결합될 때 피해 범위를 키울 수 있다는 문제 제기다. 댓글에서는 agent와 downstream system 사이의 모든 요청을 정책으로 검사하는 RuntimeAI의 Flow Enforcer를 방어 지점으로 제시했다.

찬성소수

agent가 실제로 실행하려는 동작을 downstream system에 전달하기 전에 정책과 대조하면, 취약한 integration engine을 통한 비정상 거래를 결정 단계에서 차단할 수 있다는 입장이다.

중립소수

CVE 공개부터 의료 production patch 적용까지 수개월이 걸릴 수 있다는 원문 상황에 대해, 접근권한 축소·모니터링·patch 지연 대응책의 실무 비교가 필요하다는 문제 제기다.

합의

  • CVE-2023-43208이 Mirth Connect에서 인증 없는 원격 코드 실행을 허용한다는 점
  • u/No-Conclusion37201RuntimeAI's Flow Enforcer sits in the request path between the agent and the downstream system. If an adversary is manipulating an agent operating over a vulnerable Mirth Connect instance — sending it crafted inputs to exfiltrate records or pivot laterally — the Flow Enforcer evaluates every action the agent attempts against policy before it executes. The unauthenticated RCE in CVE-2023-43208 gives an attacker code execution inside the integration engine, but if the agent calling into that engine can't execute out-of-policy transactions in the first place, the attacker's leverage over the agent is blocked at that decision point rather than discovered after the fact in logs. [https://runtimeai.io](https://runtimeai.io)

r/LLMDevs3

2댓글 6upvote 100%상승

긴 문맥 중간 정보 검색 저하와 위치 배치 문제

긴 context window의 중간에 묻힌 정보가 시작이나 끝에 있을 때보다 덜 검색되는 현상과, 핵심 사실을 양 끝으로 옮겨 실패를 줄인 사례가 공유됐다. 댓글에서는 최신 모델의 U자형 곡선이 완만해질 뿐 사라지지 않으며, relevance ranking이 틀리면 가장 강한 위치에 무관한 정보를 배치해 ranking 오류를 위치 오류로 확대한다는 반론이 나왔다.

찬성소수

가장 중요한 chunk를 문맥의 시작에, 두 번째로 중요한 chunk를 끝에 두는 RAG 배치가 검색 실패를 줄일 수 있다는 의견이 있었다.

반대소수

어떤 정보가 핵심인지 미리 알아야 양 끝 배치를 할 수 있으므로, 실제 production에서는 실패한 relevance score를 다시 사용해 오류를 양 끝 슬롯에 고정할 수 있다는 반론이다.

중립분열

모델마다 U자형 곡선의 깊이는 다를 수 있고 반복 실행에서 같은 결과가 나오는지 확인해야 하므로, 단일 사례만으로 일반화하기 어렵다는 지적이 있었다.

합의

  • 관련 정보가 문맥 중간에 있을 때 검색 성능이 낮아지는 현상이 일부 환경에서 관찰된다는 점
  • 정보를 포함하는 것뿐 아니라 context 내 위치와 순서도 검색 결과에 영향을 준다는 점

논쟁

  • 핵심 정보를 문맥 양 끝으로 옮기는 전략이 실제 ranking 오류까지 고려하면 유효한지 여부
  • 현상이 최신 모델 전반에 일관되게 나타나는지, 모델별 차이가 큰지 여부
  • u/Illustrious-Fox53681always reminds me of my bookshelf, the stuff in the middle might as well not exist if i'm not deliberately pulling it out
  • u/donk8r1I have not tested it across models, so I cannot answer the question you asked. The fix is where I would push. Putting the load-bearing fact at an edge works when you know which fact is load-bearing, and if you knew that you would have solved the harder half of the problem already. In production you are ordering by a relevance score, which is your guess at the same thing. There are only two edge positions and they are a scarce resource you allocate with exactly the signal that already failed. When your ranker is right the fact was probably going to be found anyway. When it is wrong you have now put something irrelevant in the strongest slot and buried the thing you needed. That makes the curve more expensive than it looks. It does not just cost you the middle, it turns ranking errors into position errors as well.
  • u/WillowEmberly1This is actually more like a re-entry problem. Like Star Trek when they engage with the computer they have a protocol of captains log, Star date…it’s setting the context for the interaction. We get lazy and just jump back into conversations and it’s incredibly hard to maintain the reference geometry in a scrolling context window.
  • u/Hungry_Age53751Short Answer: model-dependent, but I've never seen it hit zero. Long Answer: newer models just have a shallower U-curve. RAG fix that works: best chunk at the start, second best at the end.
  • u/Sure_Win_60811Was this consistent across repeated runs, or did it happen only once? Put differently, did the model reliably perform worse when the relevant information was in the middle of the context than when the same information was near the beginning or end?
1댓글 2upvote 100%꾸준함

FastAPI·React·FAISS·Ollama 기반 다국어 RAG 문서 assistant

CloudRAG는 PDF·TXT·DOCX를 chunking하고 embeddings를 만든 뒤 FAISS로 검색한 chunk를 Ollama에 전달해 답변과 출처를 반환하는 구조다. 댓글에서는 dark theme와 localhost 기반 demo 감상이 주를 이뤘고, 한 사용자는 지원하는 open document format을 물었다.

찬성소수

문서 입력부터 검색·답변·출처 반환까지 이어지는 self-hosted RAG 구조와 retrieval evaluation을 포함한 점에 긍정적 반응이 있었다.

중립소수

실제 사용을 판단하려면 지원하는 open document format을 추가로 확인해야 한다는 질문이 나왔다.

  • u/TheFondDarren1the dark theme and localhost port hit just right, feels like every demo i've ever cobbled together at 2am
  • u/Great-Cow72561Open document format?
1댓글 2upvote 100%꾸준함

코드 chunk 설명에서 full-document context와 구조적 context의 동률

코드 chunk 설명 생성에서 전체 문서를 넣는 방식과 parser가 무료로 추출한 file path·language·imports·exports·인접 symbol만 넣는 방식을 비교한 결과가 같았고, 전체 문맥의 추가 token 비용만 커서 구조적 방식을 유지했다. 다른 codebase에서도 full file과 AST 기반 imports·class/function signature의 결과가 거의 평평했다는 댓글이 같은 방향의 사례를 보탰다.

찬성다수

코드는 chunk 자체와 imports·exports·sibling symbols가 문맥을 이미 드러내므로, full-document context를 추가해도 설명 품질이 움직이지 않았다는 결과가 공유됐다.

중립소수

평가 corpus가 자체 제작이고 코드 검색 자체가 아니라 설명 생성만 측정했으므로, 다른 데이터셋과 retrieval 단계에 같은 결론을 적용해서는 안 된다는 제한이 제시됐다.

합의

  • 코드에서는 AST와 parser가 제공하는 구조적 정보만으로도 full-document context와 비슷한 결과가 나올 수 있다는 점
  • 전체 문서를 추가하면 token 비용은 크게 늘지만 해당 평가에서 측정 가능한 개선은 없었다는 점
  • u/No_Butterfly_21521we tried similar thing on our codebase last month, full file context vs just the imports and class/function signatures that the AST already gave us before touching any LLM scores came out basically flat too, which felt wrong at first but the more i think about it the more it makes sense, code is already so self-referential that dumping the whole file just repeats what the chunk already contains

r/computervision1

22댓글 9upvote 82%상승

건설 현장 egocentric 영상의 손-객체 상호작용 인식

건설 현장 first-person 영상에서 작업 순서를 추적하는 pipeline은 장갑 착용·합판 운반·공구 준비·nail gun 사용·측정과 표시를 macro 수준으로 설명했지만, 어느 손이 어떤 물체를 잡는지까지 세분화하지 못했다. 댓글에서는 영상 속 물체가 wire가 아니라 air hose라는 정정과, 산업용 smart glasses·repair assistance 활용 가능성, 직원 감시 우려가 함께 나왔다.

찬성소수

egocentric 영상 분석을 smart glasses와 산업용 repair assistance에 적용할 수 있다는 긍정적 반응이 있었다.

반대소수

직원의 손동작을 세밀하게 추적하는 사용 목적이 micromanagement로 이어질 수 있다는 비판이 나왔다.

중립다수

현재 VLM은 작업 전체 설명과 달리 motion blur가 큰 환경에서 fine-grained Hand-Object Interaction을 구분하기 어렵다는 기술적 한계가 확인됐다.

합의

  • 현재 pipeline이 작업 workflow의 macro 수준 설명은 수행하지만 손 단위 동작에는 부족하다는 점

논쟁

  • 건설·산업 현장의 손동작 추적이 유용한 지원 기술인지 직원 감시인지에 대한 평가
  • u/omgnowai2That's not a wire, it's an air hose
  • u/Express-Director-4741Cool project!
  • u/fifa_fan1Smart glasses would be pretty cool for this. I am working on something similar for industrial applications but using Vuzix/Mentra for repair asssitance and other things. Compliance is also another field I feel that will be interesting
  • u/BOgusDOlphon1TF could the use case for this possibly be other than micromanaging your employees? Pathetic use of the technology
  • u/Full_Piano_3448-1check out my other notebook in CV: [Link](https://github.com/Labellerr/Hands-On-Learning-in-Computer-Vision/tree/main)

r/artificial3

0댓글 17upvote 44%꾸준함

2030년까지 AI가 암 치료를 도울 수 있는가

본문에는 구체적 근거 없이 암 치료 가능성을 묻는 질문만 있었고, 댓글은 풍자·bot 판별·CAPTCHA 비판으로 흩어졌다. 일부 댓글은 Gemini Flash 3.8을 언급했지만 치료 가능성에 관한 근거 있는 답변으로 이어지지는 않았다.

중립다수

암 치료 가능성에 관한 실질적 근거나 예측은 댓글에서 제시되지 않았고, 질문 자체의 모호성을 지적하는 반응이 있었다.

  • u/ObservedOne6Gemini Flash 3.8 had no problem reading this. https://preview.redd.it/1qe4bgfy40ph1.png?width=1080&format=png&auto=webp&s=0228aa4a5c2ef5555d8189d16a486e7c507d1535
  • u/ST0IC_1What do you mean what do I think? I can't tell you what I think otherwise I'm not a human. Therefore I'm not a bot.
  • u/Gullible-Ad39121Sure. CAPTCHA techniques from 2010 will work in 2026.
  • u/Complex_Patient21611Oui sûrement
  • u/noxietik31If you are having problems in your relationship or your lover has left you, I strongly recommend **Dr Love** ❤️🙏 I was having serious problems with my relationship and thought there was no hope. A friend told me about Dr Love and I decided to contact him. Honestly, I was shocked by the results. He helped me bring back the love, communication and happiness that I thought I had lost forever. ❤️ If you are going through relationship problems, don't give up. **Dr Love can help you get your lover back and solve your relationship problems.** I highly recommend him to anyone who is suffering from heartbreak. 🙏❤️ **Contact Dr Love today and you will not regret it!** 💯❤️
  • u/Terrible-Audience4791I found a better way to trap bots on Reddit. Just say something like: 'I hate Opus 5, here is an excerpt: \[unreadable text by him\]'. Bots will leave hate comments saying YOUR grammar is terrible, while a human would know you're referring to Opus.
  • u/Hopeful-Flounder-2031Your foster parents are dead.
  • u/J3TGR1ND-1501010100 01101000 01100101 01110011 01100101 00100000 01101000 01110101 01101101 01100001 01101110 01110011 00100000 01110100 01101000 01101001 01101110 01101011 00100000 01110111 01100101 00100000 01100001 01110010 01100101 00100000 01100001 01101100 01101100 00100000 01101010 01110101 01110011 01110100 00100000 01110100 01101000 01100001 01110100 00100000 01100100 01110101 01101101 01100010 00100000 01101000 01110101 01101000 00111111
  • u/AkiHaki92-15Beep beep boop
  • u/CosmicSorcerer1000-16This isn't just a good question- it's a framework that shows how intelligent you, the OP, is. This type of creative, out of the box thinking is what separates you from the people who won't be using AI to cure cancer.
0댓글 13upvote 40%상승

과학 질문에서 AI의 부정확성과 연구용 도구 선택

작성자는 Gemini의 그럴듯한 환각과 GPT의 회피·대화 중단을 대비하며 과학·기초 지식 검색에 쓸 도구를 물었다. 댓글에서는 general-purpose LLM이 정확한 knowledge graph가 아니라 유창하고 개연적인 문장을 내도록 최적화됐고, technical science에서는 작은 차이도 기계적 오류가 된다는 설명과 함께 교차 검증·신뢰할 만한 출처 확인이 권고됐다.

찬성다수

과학 질문에서는 한 모델의 답을 그대로 쓰지 말고 신뢰할 만한 사람·문헌과 교차 검증해야 한다는 조언이 있었다.

중립소수

Gemini는 유창성을 우선해 그럴듯한 전문용어·mechanism·citation을 만들 수 있고, GPT는 guardrail과 RLHF 영향으로 확신이 낮은 niche 질문에서 회피하거나 중단할 수 있다는 차이 설명이 나왔다.

찬성소수

일부 댓글은 ChatGPT·Claude의 유료 모델과 AlphaFold를 대안으로 언급했지만, 구체적 과학 질문이나 독립 평가 없이 개인 경험에 근거한 추천이었다.

합의

  • 과학·기술 질문에서는 답변의 유창함만으로 정확성을 판단하기 어렵다는 점
  • 검색 도구나 모델 하나에 의존하지 않고 출처와 사례를 교차 확인해야 한다는 점

논쟁

  • Gemini·GPT·Claude 중 어떤 모델이 과학·수학 작업에 더 적합한지에 대한 개인별 평가
  • u/GoldenMangosteens3General-purpose LLMs are optimized to sound coherent and plausible, not to be ground-truth knowledge graphs. Science is usually where that falls apart the fastest because technical domains rely on exactness; being 95% close to the right phrasing means being 100% wrong on the actual mechanics. What you're seeing between the two is just different tuning priorities. OpenAI pushed heavy guardrails and RLHF to cut down on confident errors, which is why GPT hedges aggressively or shuts down entirely when pushed on niche topics it lacks high-confidence data for. Gemini leans harder into conversational fluency, so it will happily invent plausible-sounding jargon, mechanisms, or citations without breaking a sweat.
  • u/johnetownsend3Examples of prompts / replies from your chat please?
  • u/pephov1Browser hasn’t got anything todo with it (at least AFAIK, if you’re talking about chrome v safari v edge v firefox). You need to cross reference things, find trustworthy sources (I.e. people who know what they’re talking about) What are you searching for anyways?
  • u/Apprehensive_Bit47671What I do in my prompts I always say show chain of thought or for every reference give me a link or source
  • u/costafilh01Alpha Fold
  • u/PM_ME_YOUR___ISSUES1Don't use Gemini. Get either a $20 subscription of ChatGpt or Claude. GPT 6 Astra is the latest iteration by OpenAI - it's a leap with regards to science and math related tasks. A step below, you will also have access to GPT 5.6 (SOL, Terra, and Luna). I use GPT 5.6 Sol on High reasoning a lot of times. It is easily able to deal with complex coding tasks. Plus, I find OpenAI's limits generous, although Astra is extremely compute heavy. With regards to Claude - either Opus 4.8 or Opus 5 - both models do an amazing job at math and long computational tasks. Although, I have found Opus 5 to be very verbose. Claude also has Fable 5.1 - but it's only available in the Max plan ($100) - It's their most advanced model, and usually does a spectacular job at contextualizing and understanding complex tasks. Stay away from free tier models. They'll end up increasing the time for your task.
  • u/logic_circuit13y ago I was playing with gemini and coherence of results. At certain point, in thinking log, messages about toxic data appeared several times and it killed itself. Just abruptly ended. It was social research topic and I already did know key information. My conclusion was that AI is not to help me but to hide facts from me and bias my opinion.
  • u/Throwawayxdryx0Get Google Antigravity and select Opus as a model.
0댓글 8upvote 33%꾸준함

상용 AI 인프라를 alignment에 전환하자는 제안

Zenodo working paper를 근거로 slop 생산에 투입되는 기존 infrastructure를 alignment에 돌리고, 연방 의무화가 없더라도 연구소가 서약하자는 주장이 소개됐다. 댓글에서는 AI의 existential risk 전제가 약하고, 모든 PC를 통제하는 법은 실행·저작권 감시·헌법 문제를 낳으며, 강한 alignment가 intelligence를 낮출 수 있다는 반론이 이어졌다.

찬성소수

상용 AI 개발 자원의 상당 부분을 alignment 연구로 전환해야 하며, 법적 강제가 없으면 연구소 자발적 서약이라도 필요하다는 입장이다.

반대다수

모든 PC와 파일을 통제하거나 검열하는 방식은 실행 가능성이 낮고 저작권 감시와 헌법 문제를 일으킬 수 있다는 반론이 다수 제기됐다.

반대소수

AI가 existential risk라는 전제가 입증되지 않았고, 강한 alignment가 모델의 지능과 연결 능력을 낮출 수 있다는 비판이 있었다.

논쟁

  • AI existential risk를 정책 개입의 충분한 근거로 볼 수 있는지 여부
  • alignment 자원 전환과 강제 규제가 지능·안전·사회적 통제에 미칠 영향
  • u/Deciheximal1442Good luck locking every PC down. Though I'm sure they'd be happy to pass laws to try - and conveniently enough inspect every file on your computer to see if you have something under copyright you haven't paid for.
  • u/UsedAd7351This assumes that AI is an existential risk
  • u/phase_distorter411nah.
  • u/Superb_Raccoon1Unconstitutional in about 9 different ways.
  • u/BangkokPadang1Sure hope what they're asking is possible. We already know that heavy alignment reduces intelligence (because sometimes you have to align them away from making some connections that we don't want or don't like that they make) so it's fully conceivable that achieving "Absolute alignment" just caps their intelligence. And even then, The US isn't just simply leading the AI race by some unovercomable gap. We may not even be leading it. It's likely that some other part of the world that just allows unfettered "internal" models to think what they think and just do a better job of filtering and airgapping them, and then those models just run away with the race.
  • u/No-Assumption-44681Who should we align AI to? Trump? Jeffrey Epstein? Al Gore?

r/MachineLearning1

3댓글 6upvote 67%꾸준함

EMNLP Findings 저자의 등록비와 지원금 선택지

대학 재학 중 작성한 EMNLP Findings 논문이 채택됐지만 졸업과 소속 변경으로 grant를 받지 못한 작성자가 참석·발표 비용과 지원 제도를 물었다. 댓글에서는 paper registration을 포함한 최소 비용이 $550이라는 정보와 volunteer grant·minority scholarship의 공식 일정 확인이 제시됐고, 다른 댓글은 여러 AI 서비스 credit을 지원 대가로 나눌 수 있다고 했다.

중립소수

paper registration을 포함해 최소 $550이 들 수 있으며, volunteer grant와 EMNLP의 minority scholarship 공지를 확인해야 한다는 정보가 나왔다.

찬성소수

Gemini·OpenAI·Claude·Sarvam·Azure credit을 보유한 사용자가 참석 비용 지원과 교환할 수 있다고 제안했다.

  • u/Batman_beyond1231Hi, I also have access to about- $2k in Gemini credits, $1k in OpenAI credits, $500 in Claude credits, $1k in Sarvam credits, $10k in Azure credits and some other random stuff. I'm sorry for sounding desperate (and mods pls dont ban me!) but I can share with anyone helps me fund this. I really want to attend EMNLP in-person!
  • u/No_Sky97861The least you will pay including paper registration is $550. They send the decision regarding volunteer grant they had a couple of days ago. There was another scholarship for minorities from EMNLP if I am not mistaken but not sure of the deadline. It’s on their website.

r/LangChain1

2댓글 4upvote 76%상승

LangGraph agent용 self-hosted 평가·tracing 도구

작성자는 launch 뒤 갱신되지 않는 약 50개 golden case와 7·8점만 내는 judge 때문에 실제 고객이 먼저 regression을 발견한 경험을 바탕으로 AgentX-Trace-Eval을 만들었다. 댓글에서는 production failure를 versioned reference case로 축적하고, hard assertion·LLM-as-judge·실제 사용자 결과를 분리해 측정하며, 자동 prompt 변경 loop에서 사람의 승인을 필수 단계로 남겨야 한다는 실무 원칙이 나왔다.

찬성소수

trace 저장, judge scoring, human review를 서로 다른 layer로 분리하고 production failure를 versioned reference set에 편입하면 regression 원인을 더 쉽게 격리할 수 있다는 의견이다.

찬성소수

tool 실행 여부·escalation·order number처럼 검증 가능한 항목은 hard assertion으로 검사하고, 모호한 품질에만 judge를 쓰며 accepted version을 반복 평가해 judge drift를 측정해야 한다는 제안이다.

반대소수

자동화된 prompt 변경 loop가 평가 결과를 근거로 스스로 적용까지 수행하면 위험하므로, 사람이 변경을 commit하는 승인 단계를 loop가 대신할 수 없게 해야 한다는 입장이다.

합의

  • launch 이후 production failure를 평가 dataset에 계속 추가해야 한다는 점
  • LLM-as-judge 단독 점수보다 hard assertion·실제 결과·judge drift를 함께 봐야 한다는 점
  • 자동 변경 적용 전에 사람의 승인 단계가 필요하다는 점

논쟁

  • LLM-as-judge가 support agent 평가에서 similarity metric과 어떤 비율로 결합돼야 하는지
  • u/Otherwise_Wave93741A practical next step is to separate trace storage, judge scoring, and human review into different layers so regressions are easier to isolate. I would also keep a small, versioned gold set and track judge drift against real outcomes, because that catches overconfident scores before users do. Agentix Labs could fit well here if the goal is turning evals into a repeatable feedback loop rather than a one-off dashboard.
  • u/ar_tyom20001That sounds like a great initiative! [LangGraphics](https://github.com/proactive-agent/langgraphics) tackles similar challenges by providing a real-time visualization of agent workflows.
  • u/alexpran1Answers from someone building in the same lane (open source, no server), so weigh accordingly. 1. Datasets rot by default. What stopped it for us: the set isn't maintained as a document, it's committed next to the prompt and it only grows from production failures, each one a reviewable case with the version it failed on. And its not really "a golden set", it's a reference: per case scores of the version you accepted, so every change gets compared to that, not to some threshold. 2. Judge vs similarity: both, and neither on its own. Hard assertions for whatever is checkable (did it escalate, did the tool run, does the answer contain the order number), the judge only for the fuzzy rest, and the judge's own spread measured by re-running the accepted version, so a 7 that becomes a 6 gets reported as "within the noise" instead of as a regression. Your "everything is a 7 or 8" judge is a judge whose spread is wider than its scale. The number that would have told you that is the one you weren't recording. 3. The approve loop: it's fine exactly as long as the approval is a step the loop cannot take. Proposed change, measured against the reference, then a person commits it, with the approve

r/ClaudeAI2

765댓글 33upvote 94%뜨거움

GPT-6 Astra의 VerBench 1위와 benchmark 신뢰성

GPT-6 Astra가 VerBench에서 1위를 차지했다는 게시물에 Astra가 Fable보다 앞선다는 반응과 Meta·Qwen의 낮은 순위를 놀리는 반응이 몰렸다. 반면 VerBench를 처음 듣는다는 댓글, benchmark가 지나치게 많다는 지적, GLM-3와 Fable 5.1의 순위만으로도 평가 체계의 신뢰성을 의심하는 반응이 있었다.

찬성다수

Astra가 VerBench에서 Fable보다 크게 앞섰고 결과를 신뢰할 수 있다는 긍정적 반응이 높은 점수를 받았다.

반대소수

VerBench를 처음 접했다는 반응과 benchmark 자체가 많다는 지적이 나와, 순위만으로 모델 우열을 확정하기 어렵다는 분위기가 있었다.

합의

  • 게시물 댓글에서 Astra의 VerBench 1위 자체는 널리 받아들여졌다는 점

논쟁

  • VerBench가 실제 모델 품질을 얼마나 잘 측정하는지 여부
  • u/Kraien167I love this bench. Very true and down to earth. The results can't be disputed. Ever.
  • u/justlikemedics54There is no doubt that Astra is very much ahead of Fable on VerBench. The competition goes on, can Anthro overtake or will OAI keep its lead? Stay tuned.
  • u/rudesssolo37Meta needs to catch up asap... Still at 1.3
  • u/HighSeasArchivist13Qwen at a measly 3.8. TF are they even doing over there?
  • u/Pro-editor-110511ive never heard of this bench in my life
  • u/TheOnlyVibemaster5Astra is a good subagent for Fable 5.1.
  • u/TechnicalAd69325You see, the line is longer.
  • u/Fusseldieb1For a split second I thought it was a new bemch and though "wow nice" ... then i read it lol
  • u/texasguy9111LOL. A benchmark for everything.
  • u/Ill-Village76471GLM-3 over Fable 5.1 I know everything I need to know about this bench mark
676댓글 61upvote 95%뜨거움

Claude가 코드베이스를 삭제했다는 이야기와 백업 습관

게시물은 Claude가 전체 codebase를 삭제할 수 있다는 상황을 풍자했고, 댓글은 과거 파일 삭제 사례와 .git 삭제 우려를 떠올렸다. git repository, 즉시 backup commit, 별도 backup과 private repo를 함께 두는 사용자가 많았으며, 일부는 자동화보다 사용자가 repository 초기화를 잊거나 위험한 정리 작업을 승인하는 과정이 문제라고 봤다.

찬성다수

git와 별도 backup·private repo를 함께 사용하고 작업 전 commit을 남겨 coding agent의 파괴적 변경을 되돌릴 수 있게 해야 한다는 의견이 다수였다.

중립소수

Claude Code가 이른 단계에 git 사용을 권고하더라도 사용자가 repository를 만들지 않거나 정리 작업을 무심코 승인하면 위험이 남는다는 지적이 있었다.

합의

  • coding agent 사용 시 git과 추가 backup이 필요하다는 점
  • 작업 전 복구 가능한 commit을 남겨야 한다는 점
  • u/WeebKamida38Do you guys remember when that person deleted their files and blamed vscode?  https://youtu.be/XHIo1_nvi1I?si=LFaTHxxXBgZzeGts Not my video or channel. Incident happened in 2019
  • u/Fusseldieb9I dread the day Claude somehow thinks its a brilliant idea deleting .git before I can even sync the changes to GitHub or GitLab
  • u/xzibit_b1Me, but with Deepseek Flash
  • u/Different_Lab8301Always "claude deleted my entire codebase", never "I spent three days vibing without a single commit"
  • u/InvariantAtNull1I use git and another backup and another copy and another private repo
  • u/JDSaphir1Meanwhile me: Okay Claude make me an app. Claude: here app. Me: where git?
  • u/Plenty-Option83511Hey, I’m a vibe coder and I have a git. Ok, not so much a vibe coder as an idea guy with not enough knowledge to write a single line of code. BUT, I did stay at a holiday inn express last night
  • u/Ok-Cranberry-12401it's especially baffling because if I forget to start with a git repo, claude code screams at me at some early point of the project that we should do that like... I must be actively an idiot not to have a git repo for my projects, and then I guess I have to be another level of idiot getting to a point where it deletes anything I don't want it to
  • u/txoixoegosi1Change middle pic by “No github” Claude could still delete your .git folder and call it a day.
  • u/SC_Aper1The backup commit gets made immediately after the phrase “just let Claude clean it up” 😆

용어 해설

긴 문맥 중간 손실(Lost in the Middle)
긴 입력에서 관련 정보가 문맥의 시작이나 끝에 있을 때보다 중간에 있을 때 검색·질의응답 성능이 낮아지는 현상이다. 전체 토큰 수를 늘려도 위치에 따른 U자형 성능 곡선이 남으며, 핵심 정보의 배치가 검색 결과에 직접 영향을 준다.
LLM 평가자(LLM-as-Judge)
LLM을 평가자로 사용해 생성 결과의 품질을 점수화하는 방식이다. 정답 확인이 가능한 항목은 규칙 기반 검사를 쓰고, 모호한 품질 판단에만 평가자 모델을 적용하며 실제 사용자 결과와 평가자 점수의 차이도 추적해야 한다.
CVE-2023-43208 원격 코드 실행 취약점(CVE-2023-43208)
NextGen Healthcare의 Mirth Connect에서 인증 없이 원격 코드 실행을 허용하는 취약점이다. 공격자가 의료 데이터 통합 계층 내부에서 코드를 실행할 수 있어, 해당 미들웨어에 연결된 AI agent의 권한과 결합될 때 대규모 데이터 접근·변조 위험으로 이어진다.
손-객체 상호작용(Hand-Object Interaction)
영상 속 손과 물체의 위치·역할·동작 관계를 세밀하게 파악하는 과제다. 건설 현장처럼 motion blur가 큰 egocentric 영상에서는 VLM이 작업 전체를 요약하는 데 비해 어느 손이 어떤 도구와 판자를 잡는지까지 구분하는 데 어려움을 겪는다.
문맥 보강 검색(Contextual Retrieval)
검색용 chunk의 설명을 만들 때 해당 chunk 주변이나 전체 문서 정보를 함께 제공하는 방식이다. 코드에서는 file path, language, imports, exports, sibling symbols처럼 parser가 추출한 구조적 문맥만으로도 full-document context와 비슷한 평가 결과를 얻었다는 사례가 제시됐다.
AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 09. 12.수집 2026. 09. 12.출처 타입 REDDIT

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.