조직 기억 벤치마크(OMB)를 통한 Claude Opus 4.6과 4.7의 성능 비교 분석

공식 벤치마크와 실제 사용 경험 간의 괴리에 대해 많은 사용자가 공감하며, 모델의 속도 최적화가 추론 능력 저하를 가져온 것이 아니냐는 우려가 제기되었습니다.

• 정확한 의사결정 추적이나 모순 탐지가 필요한 업무에는 속도가 느리더라도 Claude Opus 4.6을 사용하는 것이 안전하다.
• 모델이 존재하지 않는 문서를 인용할 가능성이 높으므로, 답변에 포함된 문서의 실존 여부를 반드시 교차 검증해야 한다.

• 실제 비즈니스 워크로드인 조직 기억 추적에서 Claude Opus 4.7은 이전 버전인 4.6보다 추론 깊이와 정확도가 낮게 측정됐다.
• Opus 4.7은 속도가 3배 향상되고 시간 순서 배열 능력은 개선되었으나, 복잡한 인과 관계를 파악하는 멀티홉 추론 성능은 퇴보했다.
• 모델이 모르는 내용에 대해 답변을 지어내는 할루시네이션 현상은 여전히 심각하며, 특히 최신 모델일수록 더 구체적으로 허위 정보를 조작하는 경향이 있다.