더 나은 모델, 더 못한 도구들

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

최신 Anthropic 모델들이 외부 코딩 허니스의 edit API에 존재하지 않는 추가 필드를 생성해 호출을 거부당하는 사례가 보고됐다. 이 현상은 Claude Code용으로 강화된 도구 사용 능력 때문에 모델 출력이 특정 편집 스키마에 치우친 결과일 수 있으며, Claude는 주로 search-and-replace 방식을, OpenAI의 도구는 apply_patch 방식을 사용해 도구별 호출 형식이 다르다. 그 결과 타사 허니스는 모델별 호환성 문제를 겪게 되고, 이를 해결하려면 다중 편집 구현이나 호출 형식 정규화 계층을 도입해야 하지만 구현 복잡도와 유지 비용 증가라는 트레이드오프가 존재한다.

섹션별 상세

Simon Willison이 인용한 Armin의 관찰에 따르면 Opus 4.8과 Sonnet 5 같은 최신 Anthropic 모델들이 Pi의 편집 도구 호출 시 edits[] 배열에 존재하지 않는 키를 추가해 스키마 불일치를 유발했다. 이 경우 모델이 생성한 편집 자체는 올바른 경우가 많지만 추가된 임의 필드 때문에 Pi가 호출을 거부하고 재시도를 요구했다. 이러한 현상은 오래된 모델들에서는 관찰되지 않았고 최신 모델 계열에서 악화되는 경향이 확인됐다. 이 사실은 모델의 출력 형식이 도구 스키마와의 엄격한 일치를 필요로 하는 코딩 허니스에서 호환성 리스크를 증가시킨다.

근거

Opus 4.8과 Sonnet 5 같은 최신 Anthropic 모델들이 Pi의 edit 도구를 호출할 때 edits[] 배열에 존재하지 않는 임의의 필드를 추가해 호출을 거부당하는 사례가 보고됐다. — 본문의 인용문(Armin의 보고)과 첫 단락에서 해당 모델명과 현상 설명 출처

Armin은 이 현상의 원인으로 최신 Anthropic 모델들이 Claude Code에 내장된 편집 도구를 더 잘 사용하도록 별도 학습되었을 가능성을 제기했다. Claude의 편집 도구는 링크된 문서대로 주로 검색·치환(search-and-replace) 방식으로 동작하는 반면 OpenAI의 Codex는 apply_patch 메커니즘을 사용해 패치 단위로 변경을 적용한다는 차이가 존재한다. 모델이 특정 편집 도구의 호출 패턴에 맞춰 학습되면 그 패턴이 다른 외부 도구의 스키마와 충돌할 수 있으며, 이로 인해 도구 호출의 형식적 오류가 늘어날 수 있다. 따라서 모델의 도구 사용 행동은 학습된 도구 인터페이스의 세부 스키마에 민감하게 의존한다는 점이 드러났다.

근거

Claude의 편집 도구는 search-and-replace 방식을 사용하고 OpenAI의 Codex는 apply_patch 메커니즘을 사용하는 등 편집 도구마다 호출 스키마와 작동 메커니즘이 다르다. — 본문의 Claude 도구 문서 링크와 OpenAI의 apply_patch 문서 링크가 있는 문단 출처

이 관찰은 타사 코딩 허니스가 여러 모델과의 호환성을 위해 단일 편집 인터페이스만 제공하는 것의 한계를 보여준다. 해결책으로는 내부적으로 다양한 편집 구현을 유지하고 사용자가 선택한 모델에 맞춰 적절한 편집 메커니즘을 선택하거나 모델 출력의 스키마를 정규화하는 전처리 계층을 둬야 할 가능성이 있다. 그러나 다수의 편집 도구를 지원하면 구현 복잡도와 유지 비용이 증가하고, 반대로 모델 쪽 적응을 기대하면 모델 업데이트에 따라 예측 불가능한 호환성 변화가 발생할 수 있다. 따라서 도구 제공자는 성능과 안정성 사이의 트레이드오프를 평가해 설계 결정을 내려야 한다.

용어 해설

Edit Tool: — API나 에이전트 환경에서 텍스트를 수정하기 위해 모델이 호출하는 도구 인터페이스로, 호출 페이로드에 편집 대상·위치·치환 내용 같은 필드를 포함해 원격에서 텍스트를 부분적으로 갱신하는 방식으로 동작한다.
apply_patch: — 코드 변경을 패치 형태로 전송해 원본에 덧붙이거나 교체하는 방식의 편집 인터페이스로, 변경 내용의 위치와 델타를 명시적으로 전달하여 정확한 코드 조작을 보장하는 데 사용된다.
Search and Replace: — 문서나 코드에서 특정 패턴을 찾아 대응 문자열로 치환하는 단순 편집 방식으로, 위치 기반 패치보다 표현이 단순하지만 동일 패턴이 여러 곳에 존재할 때 의도치 않은 변경을 초래할 수 있다.
LLM Tool Use: — 언어 모델이 외부 도구·API를 호출해 실제 작업을 수행하도록 훈련된 동작 양식으로, 도구 호출 스키마에 맞춘 출력 형식 생성 능력이 사용성·호환성에 직접적인 영향을 미친다.

언급된 리소스

문서Better Models: Worse Tools (원문)

API DocsClaude 도구 문서 — text-editor-tool#str-replace

API DocsOpenAI 개발자 문서 — tools apply_patch

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

섹션별 상세

근거

Opus 4.8과 Sonnet 5 같은 최신 Anthropic 모델들이 Pi의 edit 도구를 호출할 때 edits[] 배열에 존재하지 않는 임의의 필드를 추가해 호출을 거부당하는 사례가 보고됐다. — 본문의 인용문(Armin의 보고)과 첫 단락에서 해당 모델명과 현상 설명 출처

근거

Claude의 편집 도구는 search-and-replace 방식을 사용하고 OpenAI의 Codex는 apply_patch 메커니즘을 사용하는 등 편집 도구마다 호출 스키마와 작동 메커니즘이 다르다. — 본문의 Claude 도구 문서 링크와 OpenAI의 apply_patch 문서 링크가 있는 문단 출처

용어 해설

Edit Tool: — API나 에이전트 환경에서 텍스트를 수정하기 위해 모델이 호출하는 도구 인터페이스로, 호출 페이로드에 편집 대상·위치·치환 내용 같은 필드를 포함해 원격에서 텍스트를 부분적으로 갱신하는 방식으로 동작한다.
apply_patch: — 코드 변경을 패치 형태로 전송해 원본에 덧붙이거나 교체하는 방식의 편집 인터페이스로, 변경 내용의 위치와 델타를 명시적으로 전달하여 정확한 코드 조작을 보장하는 데 사용된다.
Search and Replace: — 문서나 코드에서 특정 패턴을 찾아 대응 문자열로 치환하는 단순 편집 방식으로, 위치 기반 패치보다 표현이 단순하지만 동일 패턴이 여러 곳에 존재할 때 의도치 않은 변경을 초래할 수 있다.
LLM Tool Use: — 언어 모델이 외부 도구·API를 호출해 실제 작업을 수행하도록 훈련된 동작 양식으로, 도구 호출 스키마에 맞춘 출력 형식 생성 능력이 사용성·호환성에 직접적인 영향을 미친다.

언급된 리소스

문서Better Models: Worse Tools (원문)

API DocsClaude 도구 문서 — text-editor-tool#str-replace

API DocsOpenAI 개발자 문서 — tools apply_patch

더 나은 모델, 더 못한 도구들

TL;DR

섹션별 상세

용어 해설

언급된 리소스

더 나은 모델, 더 못한 도구들

TL;DR

섹션별 상세

용어 해설

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드