OpenCode의 top-p 설정 오류

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

OpenCode가 모델 유형과 무관하게 top-p=1.0을 전송해 thinking 모델의 권장값 0.95와 no-thinking 모델의 권장값 0.80을 적용하지 않는 문제가 지적됐습니다. ninfer는 요청별 sampler 설정을 로그로 남겨 이 차이를 확인할 수 있지만, llama.cpp나 derivatives에서는 문제가 잘 드러나지 않습니다. 현재 제시된 우회책은 agent.build.top_p에 0.95를 지정하는 방식이며, 모든 모델과 provider에 적용된다는 한계가 있습니다.

합의점 vs 논쟁점

논쟁점

모든 모델과 provider에 top_p=0.95를 적용하는 우회 설정은 thinking 모델에는 맞지만 no-thinking 모델의 권장값 0.80과 달라 모델별 동작을 보존하지 못합니다. 글은 provider별 또는 모델별 설정이 어렵다는 점을 문제로 남깁니다. 따라서 즉시 적용 가능한 단일 설정과 정확한 모델별 설정 사이에 선택의 문제가 있습니다.

실용적 조언

OpenCode에서 일괄적으로 top-p를 수정해야 한다면 agent.build.top_p에 0.95를 지정할 수 있습니다. 이 설정은 thinking 모델에 제시된 값과 일치하지만 모든 모델과 provider에 영향을 줍니다. no-thinking 모델에는 글에서 제시한 0.80이 적용되지 않는다는 점을 확인해야 합니다.

섹션별 상세

글은 llama.cpp나 derivatives에서는 드러나지 않는 OpenCode의 sampler 설정 문제를 ninfer 로그를 통해 확인했다고 설명합니다. ninfer는 각 요청의 sampler 설정을 기록하고 모델에 맞는 값을 자동 구성하므로, OpenCode가 실제로 어떤 파라미터를 전송하는지 비교할 수 있습니다. 이처럼 요청 단위 로그와 설정값을 근거로 삼아 단순한 체감 문제가 아닌 재현 가능한 구성 차이를 지적합니다.

OpenCode는 모든 요청에 top-p=1.0을 보내지만, 글에서 제시한 권장값은 thinking 모델에서 0.95, no-thinking 모델에서 0.80입니다. top-p=1.0이면 낮은 확률 토큰을 누적확률 기준으로 걸러내지 않고 top-k에 의존하게 되므로, 모델 유형에 맞는 샘플링 동작과 달라집니다. 따라서 동일한 모델이라도 thinking 여부에 따라 필요한 출력 분포 제어가 적용되지 않는 문제가 생깁니다.

문제의 원인으로 지목된 commit은 다른 수정 목적에서 추가된 것으로 보이지만, top-p 변경 이유를 설명하는 내용이 없다고 글은 지적합니다. 관련 commit은 https://github.com/anomalyco/opencode/commit/0b132c032aae15a99907a5979f471c3b5bb2e3dc에서 확인할 수 있습니다. 현재는 모델이나 provider별로 쉽게 고치기 어렵고, 제시된 설정을 사용하면 전체 모델과 provider에 영향을 준다는 제한도 함께 제시됩니다.

글에서 제시한 우회 방법은 OpenCode 설정의 agent.build.top_p에 0.95를 직접 지정하는 방식입니다. 이 값은 thinking 모델에 맞춘 설정이지만, 모델별로 0.95와 0.80을 구분하지 못하고 모든 모델과 provider에 일괄 적용됩니다. 따라서 일괄 수정이 필요한 경우에는 사용할 수 있지만, no-thinking 모델까지 동일하게 바뀐다는 부작용을 감수해야 합니다.

용어 해설

Top-p 샘플링(top-p): — 다음 토큰을 선택할 때 누적 확률이 설정값에 도달할 때까지 후보를 남기는 샘플링 방식입니다. 값이 낮을수록 낮은 확률의 토큰이 더 많이 제외되며, 이 글에서는 thinking과 no-thinking 모델에 서로 다른 설정이 필요하다는 맥락으로 등장합니다.
Top-k 샘플링(top-k): — 다음 토큰 후보를 확률이 높은 k개로 제한하는 샘플링 방식입니다. top-p가 1.0이면 누적확률 기준 필터링은 하지 않고 top-k만 적용될 수 있어, 글에서는 OpenCode의 잘못된 설정이 후보 제한에 미치는 영향을 설명하는 기준으로 쓰입니다.
샘플러 설정(Sampler Settings): — 모델이 다음 토큰을 고르는 과정에 사용하는 top-p 같은 추론 파라미터입니다. 모델의 thinking 여부와 제공자에 맞춰 값이 달라질 수 있으며, ninfer는 요청마다 이 설정을 기록하고 모델에 맞는 값을 자동으로 구성한다고 설명됩니다.

코드 예제

json

"agent": {
  "build": {
    "top_p": 0.95
  }
}

OpenCode의 build 설정에서 top_p를 0.95로 지정하는 우회 설정입니다. 글에 따르면 이 값은 모든 모델과 provider에 적용됩니다.

언급된 도구

llama.cpp중립

OpenCode의 잘못된 top-p 전송이 쉽게 드러나지 않는 추론 환경 또는 derivatives로 언급됩니다.

ninfer추천

각 요청의 sampler 설정을 로그로 기록하고 모델에 맞는 설정을 자동 구성하는 도구로 언급됩니다.

OpenCode비추천링크

모든 요청에 top-p=1.0을 전송하는 설정 문제가 발생한 도구로 언급됩니다.

언급된 리소스

GitHubignore: fix dev branch (#1529)