값싼 제안 모델과 기호 검증기 결합으로 τ²-bench 정답 오류를 찾아내고 비용을 크게 낮춘 사례

이 글은 은행 정책처럼 결정 가능한 규칙이 존재하는 도메인에서 값싼 생성 모델을 '제안자'로 쓰고 기호 기반 검증기를 '결정자'로 배치해 비용을 대폭 낮추고 채점 성능을 유지한 사례를 보고한다, 해당 시스템은 모델 제안→정책 인용 매핑→결정 테이블 적용→증명 생성의 흐름으로 작동하여 대화당 비용을 약 $0.05 수준으로 낮추고 일부 고가 모델보다 높은 점수를 기록했으며, 검증 과정에서 벤치마크의 gold answer 5건의 오류를 증명해 이슈로 제출하고 일부 과제를 런에서 제외했다. 이 접근법은 규칙을 기계적으로 적용할 수 있는 도메인에서 모델 고성능에 대한 의존도를 줄여 비용과 신뢰성을 동시에 개선하지만, 주관적 판단이 개입되는 과제나 사용자 수락 여부에 좌우되는 흐름에서는 적용이 제한되고, 정책을 결정 가능하게 정형화하는 초기 엔지니어링 비용이 필요하다.