contextbench
ContextBench
정해진 파일 목록을 정답으로 삼아 도구가 반환한 파일 집합을 결정적으로 채점하는 평가 허브입니다. LLM 판정 없이 파일 수준 정합성으로 채점하므로 비결정적 출력에 영향을 받지 않는 비교가 가능하며, 튜닝 오염을 막기 위해 실험 전 인스턴스 분할과 봉인된 테스트셋을 사용합니다. 본 게시물에서는 토큰 기반 실험의 보조로 ContextBench를 사용해 도구의 실제 정보 회수 능력을 평가했습니다.
ContextBench
정해진 파일 목록을 정답으로 삼아 도구가 반환한 파일 집합을 결정적으로 채점하는 평가 허브입니다. LLM 판정 없이 파일 수준 정합성으로 채점하므로 비결정적 출력에 영향을 받지 않는 비교가 가능하며, 튜닝 오염을 막기 위해 실험 전 인스턴스 분할과 봉인된 테스트셋을 사용합니다. 본 게시물에서는 토큰 기반 실험의 보조로 ContextBench를 사용해 도구의 실제 정보 회수 능력을 평가했습니다.
