본문으로 건너뛰기

grammar-enforced-tools

문법 제약 도구

모델의 토큰 생성 범위를 문법 규칙으로 제한해 올바른 형식의 출력만 허용하는 기법을 뜻한다. 원문은 llama.cpp의 GBNF grammars 기능을 이용해 각 툴의 스키마를 문법 규칙으로 컴파일했다고 기술했다. 그렇게 하면 모델이 잘못된 JSON을 생성할 수 없게 된다고 주장했다.