조직 기억 벤치마크를 통한 모델별 최적 하네스 전략 분석

작성자의 체계적인 벤치마크 접근 방식에 대해 긍정적인 반응이 많으며, 특히 하네스 설계가 모델 순위를 바꿀 수 있다는 점에 주목하고 있습니다.

• GPT-5.5를 사용할 때는 증거 분류 규칙이나 답변 요구 사항을 최대한 명시적으로 구조화하여 제공하라.
• Opus 4.6을 사용할 때는 넓은 맥락의 추론을 맡기되, 날짜나 수치 같은 팩트는 결정론적인 검증 도구로 보완하라.
• 모델의 실패 모드(Failure mode)를 먼저 파악하고, 그 지점을 보완할 수 있는 최소한의 스캐폴딩만 적용하라.

• 모델의 절대적 성능보다 해당 모델이 필요로 하는 하네스(Harness)와 스캐폴딩의 적합성이 실제 프로덕션 성능을 결정한다.
• GPT-5.5는 명시적인 절차와 검증 루프가 포함된 엄격한 워크플로우에서 최상의 결과를 내며, 구조적 가이드에 대한 반응성이 매우 높다.
• Opus 4.6은 복잡하고 지저분한 맥락에서 의미를 추출하는 추론 능력이 뛰어나지만, 날짜나 출처 등 정확한 사실 관계에 대해서는 별도의 검증 장치가 필요하다.
• 효과적인 AI 아키텍처는 작업 유형에 따라 모델 프로필, 프롬프트 프로토콜, 검증 도구를 동적으로 조합하는 구조여야 한다.