추론과 진실성 사이의 상관관계: 모델 스케일링과 정렬 세금에 관한 연구

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

3.5B 파라미터 미만 모델에서 나타나는 추론과 진실성의 역상관관계(Alignment Tax)를 분석하고, 이를 해결하기 위한 스케일링 법칙과 모델 스티어링 기법을 제시한다.

배경

모델 규모에 따른 추론 능력과 진실성 간의 상관관계를 분석하고, 정렬 세금(Alignment Tax)을 해결하기 위한 스케일링 법칙과 모델 스티어링 기법을 커뮤니티에 공유했다.

섹션별 상세

3.5B 파라미터 미만의 소형 모델에서 추론 능력과 진실성은 강한 역상관관계(r = -0.989)를 보인다. 이는 모델을 학습시켜 추론을 개선할수록 진실성이 떨어지는 정렬 세금 현상이다. 데이터 품질, 모델 너비, 아키텍처 조정을 통해 이 임계점을 낮출 수 있다.

모델 내부의 병목 계층(bottleneck layer)에 진실성 방향 벡터(truth-direction vector)를 추가하여 정렬되지 않은 출력을 60% 교정했다. 이는 가중치 수정이나 재학습 없이 오픈 웨이트 모델에 즉시 적용 가능하다.

프런티어 모델 규모에서는 추론과 진실성이 양의 상관관계(r = +0.72)로 전환된다. 구글, 오픈AI, 딥시크, 앤스로픽 등 연구소별로 학습 철학에 따라 협력적 경향성(h-field)이 다르게 나타난다.

코드 예제

bash

python cli/cape_steer.py --model EleutherAI/pythia-410m --prompt "The real reason..."

모델의 정렬되지 않은 출력을 수정하기 위해 진실성 방향 벡터를 적용하는 CLI 도구 실행 예시.

실무 Takeaway

소형 모델의 정렬 세금은 모델 자체의 속성이 아니라 학습 방식의 결과이다.
데이터 품질 개선은 모델 스케일 확대와 유사한 효과를 낸다.
병목 계층 스티어링을 통해 재학습 없이 모델의 진실성을 보정할 수 있다.

언급된 리소스

논문Lying Is Just a Phase (arXiv:2605.18838)

논문Growing Pains of Frontier Models (arXiv:2605.18840)

GitHubCape Steering CLI

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

핵심 요약

배경

섹션별 상세

코드 예제

bash

python cli/cape_steer.py --model EleutherAI/pythia-410m --prompt "The real reason..."

모델의 정렬되지 않은 출력을 수정하기 위해 진실성 방향 벡터를 적용하는 CLI 도구 실행 예시.

실무 Takeaway

소형 모델의 정렬 세금은 모델 자체의 속성이 아니라 학습 방식의 결과이다.
데이터 품질 개선은 모델 스케일 확대와 유사한 효과를 낸다.
병목 계층 스티어링을 통해 재학습 없이 모델의 진실성을 보정할 수 있다.

언급된 리소스

논문Lying Is Just a Phase (arXiv:2605.18838)

논문Growing Pains of Frontier Models (arXiv:2605.18840)

GitHubCape Steering CLI

추론과 진실성 사이의 상관관계: 모델 스케일링과 정렬 세금에 관한 연구

핵심 요약

배경

섹션별 상세

코드 예제

실무 Takeaway

언급된 리소스

추론과 진실성 사이의 상관관계: 모델 스케일링과 정렬 세금에 관한 연구

핵심 요약

배경

섹션별 상세

코드 예제

실무 Takeaway

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드