조직 기억 벤치마크(OMB)를 통한 Claude Opus 4.6과 4.7의 성능 비교 분석

커뮤니티 반응

공식 벤치마크와 실제 사용 경험 간의 괴리에 대해 많은 사용자가 공감하며, 모델의 속도 최적화가 추론 능력 저하를 가져온 것이 아니냐는 우려가 제기되었습니다.

주요 논점

01중립다수

Opus 4.7은 속도와 시간 순서 파악에는 유리하지만 고난도 추론에는 4.6이 여전히 적합하다.

합의점 vs 논쟁점

합의점

공식 벤치마크 수치가 실제 복잡한 업무 환경의 성능을 완벽히 대변하지 못한다.
모델이 모르는 것을 모른다고 말하지 않고 정보를 조작하는 할루시네이션 문제가 여전하다.

논쟁점

Anthropic이 주장하는 10% 이상의 리콜 성능 향상이 실제 조직 데이터 환경에서는 체감되지 않거나 오히려 하락했다는 점.

실용적 조언

정확한 의사결정 추적이나 모순 탐지가 필요한 업무에는 속도가 느리더라도 Claude Opus 4.6을 사용하는 것이 안전하다.
모델이 존재하지 않는 문서를 인용할 가능성이 높으므로, 답변에 포함된 문서의 실존 여부를 반드시 교차 검증해야 한다.

섹션별 상세

작성자는 148명 규모의 가상 기업 데이터를 시뮬레이션한 OMB(Organizational Memory Benchmark)를 설계했다. 슬랙 메시지, 이메일, 티켓, 코드 커밋 등 부서 내 아티팩트와 부서 간 상호작용, 그리고 예기치 못한 장애 상황을 포함한 3단계 데이터 생성 과정을 거친다. 이를 통해 단순 검색을 넘어 모순 탐지, 멀티홉 추론, 인과 관계 추적 등 고난도 과제를 수행하도록 설계했다.

84개의 고난도 질문을 통해 Opus 4.6과 4.7의 성능을 비교한 결과, 종합 정확도는 4.6이 81.3%, 4.7이 75.8%로 나타났다. 특히 모순 탐지(88.1% vs 69.0%)와 멀티홉 추론(81.0% vs 61.9%) 부문에서 4.6 버전이 압도적인 우위를 보였다. 4.6은 더 많은 검색을 수행하고 구체적인 날짜와 인물을 명시하며 깊이 있는 답변을 생성하는 특성을 보였다.

Opus 4.7은 속도 면에서 4.6보다 약 3배 빠르며 시간적 순서 지정(Temporal Ordering) 부문에서만 81.0%로 4.6(64.3%)을 앞섰다. 4.6은 질문당 평균 61.5초가 소요되는 반면 4.7은 20.5초로 단축됐으며 답변 길이도 4.7이 훨씬 간결했다. 그러나 이러한 간결함이 복잡한 의사결정 체인을 추적해야 하는 업무에서는 오히려 정보 누락으로 이어졌다.

두 모델 모두 정보가 존재하지 않는 '지식 공백' 상황에서 가상의 문서를 지어내는 할루시네이션 문제를 보였다. 특히 4.7은 존재하지 않는 문서의 페이지 수, 날짜, 저자 이름을 구체적으로 조작하며 더 공격적으로 허위 정보를 생성했다. 테스트된 7가지 설정 모두에서 특정 질문에 대해 0%의 성공률을 기록하며 모델의 답변 강박(Training-reward bias) 문제가 확인됐다.

용어 해설

지식 그래프(Knowledge Graph): — 개체 간의 관계를 노드와 엣지로 표현하는 데이터 구조이다. 비정형 데이터에서 복잡한 인과 관계나 의사결정 체인을 추적하는 데 사용되며, 에이전트가 세션 간에 일관된 기억을 유지하도록 돕는 핵심 기술이다.
멀티홉 추론(Multi-hop Reasoning): — 단일 문서나 정보원이 아닌 여러 단계의 정보 조각을 연결하여 결론에 도달하는 추론 방식이다. 조직 내에서 수개월에 걸쳐 일어난 의사결정 과정을 추적하거나 부서 간 정보 흐름을 파악할 때 필수적인 능력이다.
시간적 순서 지정(Temporal Ordering): — 사건이 발생한 시간 순서를 정확하게 파악하고 배열하는 능력이다. 로그, 이메일, 회의록 등 다양한 시점의 데이터를 분석하여 선후 관계를 명확히 함으로써 인과 관계 분석의 기초가 된다.
할루시네이션(Hallucination): — 모델이 사실이 아닌 정보를 마치 사실인 것처럼 자신 있게 생성하는 현상이다. 특히 정보가 존재하지 않는 상황에서 '모른다'고 답하는 대신 가상의 문서나 날짜를 지어내는 방식으로 나타나 신뢰성을 저해한다.

언급된 도구

Claude Code중립

Anthropic에서 제공하는 코딩 보조 및 에이전트 도구

MCP추천

Model Context Protocol을 통한 외부 데이터 및 도구 연결