Interpretable Bottleneck
해석 가능한 병목
계산 그래프의 중간 결과 중 사람이 의미를 확인할 수 있는 출력 지점입니다. 이 글에서는 자연어 출력을 내고 사전학습 prior에서 초기화된 노드를 병목 후보로 간주합니다. 병목이 계산 경로에 자주 등장할수록 모델의 내부 추론을 CoT 형태로 감시하기 쉬워집니다.
해석 가능한 병목
계산 그래프의 중간 결과 중 사람이 의미를 확인할 수 있는 출력 지점입니다. 이 글에서는 자연어 출력을 내고 사전학습 prior에서 초기화된 노드를 병목 후보로 간주합니다. 병목이 계산 경로에 자주 등장할수록 모델의 내부 추론을 CoT 형태로 감시하기 쉬워집니다.
