LLM의 비결정론적 출력 문제와 해결 전략

섹션별 상세

Temperature 0 설정은 샘플링 단계의 확률성만 제거할 뿐, 전체 추론 시스템의 비결정론을 완전히 해결하지 못한다.

근거

Temperature 0은 샘플링 단계의 확률성만 제거할 뿐, 전체 추론 시스템의 비결정론을 해결하지 못한다. — 본문 'It gets worse' 섹션

부동소수점 연산은 결합법칙이 성립하지 않아, 동일한 연산이라도 하드웨어의 미세한 오차나 연산 순서에 따라 결과값이 달라질 수 있다.

근거

부동소수점 연산의 비결합성으로 인해 동일한 연산도 하드웨어 환경에 따라 미세한 오차가 발생한다. — 본문 'Imperfect computations' 섹션

실무 환경에서는 요청이 동적으로 배치 처리되면서 입력 컨텍스트가 매번 바뀌기 때문에, 동일한 프롬프트라도 추론 결과가 달라지는 현상이 발생한다.

고정 시드(Fixed seed)는 샘플링 단계의 확률성을 제어할 뿐 시스템 전반의 비결정론을 해결하지 못하므로, 테스트나 데모 환경에서만 제한적으로 효과가 있다.

vLLM과 같은 추론 엔진에서 재현성을 확보하려면 동시성을 제거하거나 배치 불변(batch invariance) 기능을 사용해야 하지만, 이는 처리량과 비용 측면에서 트레이드오프가 존재한다.

가장 실용적인 해결책은 모델의 비결정론을 제거하려 하기보다, 동일 입력에 대해 응답을 캐싱하여 인터페이스 수준에서 일관성을 보장하는 것이다.

온도 파라미터(Temperature): — LLM의 다음 토큰 선택 시 확률 분포를 조절하여 출력의 다양성을 제어하는 파라미터. 0으로 설정하면 가장 확률이 높은 토큰을 선택하여 확률성을 제거한다.
부동소수점 연산(Floating-point Arithmetic): — 컴퓨터에서 실수를 근사치로 표현하는 방식. 연산 순서에 따라 미세한 오차가 발생하며, 딥러닝 모델의 비결정론적 결과를 초래하는 주요 원인이다.
배치 처리(Batching): — 여러 요청을 묶어 한 번에 처리하는 방식. 효율성을 높이지만, 배치 구성에 따라 컨텍스트가 달라져 추론 결과의 일관성에 영향을 미친다.
결정론(Determinism): — 동일한 입력에 대해 항상 동일한 출력을 생성하는 성질. LLM 추론에서는 하드웨어 및 시스템 환경의 변수로 인해 완벽한 구현이 어렵다.