Bankai의 1비트 모델 수정 실험에 대한 재현 및 벤치마크 방법론 비판

작성자의 정밀한 재현 실험과 방법론적 비판에 대해 기술적인 신뢰도가 높다는 반응이며, 특히 하드코딩된 오답 토큰의 순위 분석이 설득력 있게 받아들여지고 있다.

• LLM의 성능을 프로브로 측정할 때는 하드코딩된 토큰 대신 모델의 실제 Logit 분포에서 상위권에 위치한 토큰들을 비교 대상으로 삼아야 한다.
• 데이터셋 구성 시 동일한 토큰 대비를 반복하는 프롬프트를 제거하여 평가 지표의 독립성을 확보해야 한다.

XOR Flip

— 비트 연산인 XOR를 사용하여 특정 비트의 값을 반전시키는 기법이다. 1비트 양자화 모델에서 가중치를 미세하게 조정하여 모델의 출력을 제어하거나 오류를 수정하는 실험적 방법론으로 활용된다.

Logit Gap

— 모델이 예측한 정답 토큰과 오답 토큰 사이의 확률 값 차이를 의미한다. 이 간격이 클수록 모델이 정답을 더 확신하고 있음을 나타내며, 모델의 의사결정 경계 강도를 측정하는 지표로 쓰인다.

1-bit Quantization

— 모델의 가중치를 단 1비트(0 또는 1)로 표현하여 메모리 사용량과 연산량을 극단적으로 줄이는 기술이다. PrismML의 Bonsai 8B와 같은 모델이 이 방식을 채택하여 효율성을 극대화한다.