질문 내용 없이 추론 형태만 학습한 Latent Reasoning

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

Cymela는 Qwen2.5-3B에 Coconut 방식의 잠재 추론을 적용해 hidden state를 inputs_embeds로 되돌리는 반복 계산과 PonderNet halt head를 학습했습니다. 최적 사고 깊이는 2단계에서 4단계로 늘었고, 잠재 상태를 섞었을 때 비용이 +1.39 nats 증가하며 12개 프롬프트 모두 악화됐습니다. 그러나 다른 문제의 latent를 이식했을 때 비용 증가는 +0.055 nats에 그쳤고 12개 중 8개만 낮아졌으며, 선호 probe도 chance 수준이었습니다. 따라서 자기 상태 shuffle만으로는 질문 내용에 조건화된 추론을 검증하기 어렵고, 다른 입력의 상태를 이식하는 대조 실험이 필요하다는 결론입니다.

주요 논점

01찬성소수

잠재 추론의 효과를 확인하려면 자기 상태를 섞는 ablation과 함께 다른 문제의 latent를 이식하는 대조 실험이 필요하다는 주장입니다. 제시된 수치에서는 자기 상태의 순서 변화에는 큰 손상이 발생했지만 다른 문제 상태의 이식에는 손상이 작아, 추론 형태와 질문 내용의 조건화를 구분해야 한다는 결론이 나왔습니다.

합의점 vs 논쟁점

논쟁점

현재 결과만으로 모델이 질문 내용을 전혀 사용하지 않는다고 단정할 수 있는지는 확정되지 않았습니다. 질문별 특이성이 늦게 나타났거나 학습 부족으로 약하게 측정됐을 가능성과, 구조적으로 명시적 contrastive term이 필요할 가능성이 함께 남아 있습니다.

실용적 조언

Latent Reasoning이나 recurrent reasoning을 평가할 때 자기 latent를 섞거나 손상하는 ablation만 사용하지 말고, 다른 입력에서 나온 latent를 현재 문제에 이식하는 transplant control을 추가해야 합니다. 자기 상태의 순서 의존성과 다른 문제 상태에 대한 조건화 손상을 각각 측정하면 추론 패턴 학습과 질문 내용 활용을 구분할 수 있습니다. 이때 비용 변화, held-out prompt별 손상 수, latent 선호 probe의 결과를 함께 기록하는 방식이 게시물의 실험 설계를 따릅니다.

섹션별 상세

작성자는 Qwen2.5-3B를 Coconut 방식의 잠재 추론 목표로 Fine-tuning하고, 토큰을 출력하기 전에 hidden state를 inputs_embeds에 되돌려 K단계 반복했습니다. PonderNet halt head가 종료 시점을 학습하도록 구성한 결과 최적 사고 깊이가 2단계에서 4단계로 이동했고, 사고의 이득도 -1.11 nats에서 -3.56 nats로 커졌습니다. 잠재 상태를 순서대로 섞으면 비용이 +1.39 nats 증가하고 검증 프롬프트 12개 모두 성능이 낮아져 중간 상태의 순서가 기능적으로 사용됐다는 근거가 됐습니다.

작성자는 자기 문제의 latent를 섞는 실험만으로는 잠재 추론이 질문 내용을 활용하는지 판별하기 어렵다고 봤습니다. 완전히 다른 문제에서 나온 latent를 이식했을 때 비용 증가는 +0.055 nats에 그쳤고 12개 중 8개 프롬프트만 악화됐으며, 자기 latent와 чужой latent를 구분하는 선호 probe도 정확히 chance 수준이었습니다. 이는 모델이 질문에 맞는 내용보다 추론의 형식이나 진행 패턴을 학습했을 가능성을 뒷받침합니다.

게시물의 핵심 권고는 latent 또는 recurrent reasoning을 평가할 때 자기 중간 상태의 shuffle·corruption ablation에만 의존하지 말라는 것입니다. 다른 입력에서 얻은 상태를 현재 문제에 이식하면 단순히 추론 형태가 유지되는지, 실제로 입력 내용에 조건화되는지를 분리해 측정할 수 있습니다. 질문별 특이성이 늦게 나타나 아직 충분히 학습되지 않은 것인지, 아니면 구조적으로 부족해 명시적 contrastive term이 필요한지는 후속 과제로 남았습니다.

용어 해설

잠재 추론(Latent Reasoning): — 잠재 추론은 모델이 토큰을 바로 출력하지 않고 은닉 상태를 다음 입력의 임베딩으로 되돌려 여러 단계의 내부 계산을 수행하는 방식입니다. 이 과정은 추론의 중간 표현을 활용하지만, 그 표현이 실제 질문 내용에 맞게 달라지는지는 별도로 검증해야 합니다.
입력 임베딩(inputs_embeds): — inputs_embeds는 토큰 ID 대신 모델에 직접 전달하는 입력 벡터입니다. 이 실험에서는 이전 단계의 hidden state를 inputs_embeds에 다시 넣어 토큰을 출력하기 전 잠재 추론 단계를 반복했습니다. 이를 통해 텍스트로 드러나지 않는 중간 상태를 계산에 사용할 수 있습니다.
PonderNet: — PonderNet은 반복 계산을 언제 멈출지 학습하는 구조입니다. 여기서는 halt head가 잠재 추론 단계마다 종료 여부를 판단해 문제마다 필요한 사고 깊이를 조절했습니다. 따라서 모든 입력에 같은 횟수의 반복을 강제하지 않는 방식입니다.
상태 이식 대조 실험(Transplant Control): — 상태 이식 대조 실험은 한 문제에서 얻은 중간 latent를 다른 문제의 상태로 교체해 입력 조건화 여부를 검사하는 방법입니다. 자기 상태를 섞는 ablation만으로는 추론 형태의 학습과 질문 내용의 활용을 구분하기 어렵습니다. 다른 문제의 상태를 넣었을 때 성능이 크게 무너지면 질문별 정보가 latent에 반영됐다는 근거가 됩니다.

언급된 리소스

문서Cymela hyper-3b-latent 가중치와 작성 자료

문서Cymela 웹사이트