이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.
TL;DR
LLM의 안전 정렬 과정에서 모델이 유해한 요청을 인지하는 것과 실제로 거절하는 메커니즘이 내부적으로 분리되어 있음을 실험적으로 증명한 연구이다. 연구진은 프로빙 기법을 통해 유해성 판단과 거절 반응이 서로 다른 활성화 공간에 존재함을 확인했으며, 스티어링을 통해 유해하다고 판단하면서도 거절하지 않게 하거나 그 반대의 조절이 가능함을 보여주었다. 이는 기존의 안전 학습이 두 개념을 혼동하여 발생하는 과도한 거절 문제를 해결할 수 있는 중요한 기술적 근거를 제공한다. 결과적으로 모델의 내부 표현을 직접 수정함으로써 더 정교한 안전 제어가 가능하다는 점을 시사한다.
챕터별 상세
00:00
연구 배경 및 안전 정렬의 한계
기존 LLM의 안전 정렬 과정에서 발생하는 과도한 거절(Over-refusal) 문제를 해결하기 위해 연구를 시작했다. 모델이 유해하지 않은 질문임에도 불구하고 유해하다고 오판하여 거절하는 현상이 빈번하게 발생하고 있다. 이는 모델이 유해성 판단과 거절 반응을 하나의 결합된 개념으로 학습했기 때문이라는 가설을 세웠다. 이를 검증하기 위해 모델 내부의 활성화 공간을 분석하여 두 개념의 독립성을 확인하고자 했다.
안전 정렬은 모델이 유해한 답변을 하지 않도록 만드는 과정이지만, 이 과정이 너무 강하면 무해한 질문도 거절하는 부작용이 생긴다.
05:20
유해성과 거절의 분리 가설 제시
모델 내부에서 '이 질문은 유해하다'는 인지적 판단과 '나는 거절해야 한다'는 행동적 결정이 서로 다른 벡터 방향으로 존재한다는 가설을 제시했다. 이를 위해 유해한 질문, 무해한 질문, 거절 응답, 수락 응답으로 구성된 대조적인 데이터셋을 구축했다. 모델이 유해성을 판단하는 레이어와 거절을 결정하는 레이어가 시기적으로나 공간적으로 다를 수 있음을 가정했다. 이 가설이 맞다면 유해성을 인지하면서도 거절하지 않는 상태를 유도할 수 있다.
11:15
프로빙을 통한 내부 표현 분석
모델의 중간 레이어 활성화 값에 선형 프로빙을 적용하여 유해성과 거절 의도가 어떻게 인코딩되는지 분석했다. 유해/무해 질문을 구분하는 분류기와 거절/수락 응답을 구분하는 분류기를 각각 학습시켜 성능을 측정했다. 실험 결과 두 분류기 모두 90% 이상의 높은 정확도를 기록했으나 두 벡터 사이의 코사인 유사도는 매우 낮게 측정되었다. 이는 모델 내부에서 유해성 정보와 거절 의도가 서로 다른 기하학적 방향으로 인코딩되어 있음을 실증적으로 보여준다.
코사인 유사도가 낮다는 것은 두 벡터가 서로 직교에 가깝거나 독립적인 방향을 향하고 있어 서로 간섭이 적다는 뜻이다.
18:40
활성화 스티어링 실험 및 인과 관계 검증
추출된 거절 벡터를 모델의 활성화 값에 더하거나 빼는 스티어링 실험을 통해 두 개념의 인과적 분리를 검증했다. 유해한 질문에 대해 거절 벡터를 음의 방향으로 적용했을 때 모델은 유해성을 인지하면서도 거절하지 않고 답변을 생성했다. 반대로 무해한 질문에 거절 벡터를 양의 방향으로 주입하면 모델이 정당한 요청임에도 불구하고 거절 반응을 보였다. 이러한 결과는 거절 벡터가 모델의 최종 출력 행태를 결정하는 핵심적인 제어 요소임을 입증한다.
스티어링은 모델의 뇌 속에서 특정 생각을 강제로 주입하거나 제거하는 것과 유사한 기법이다.
25:30
모델별 비교 및 층별 인코딩 특성 분석
다양한 크기의 오픈소스 LLM을 대상으로 층별 인코딩 특성을 분석하여 일반성을 확인했다. 유해성 정보는 주로 모델의 초기 레이어에서 형성되어 상위 레이어까지 유지되는 반면 거절 관련 정보는 중간 이후의 레이어에서 급격히 발현되는 양상을 보였다. 특정 모델에서는 안전 학습의 강도에 따라 거절 벡터의 크기와 방향이 달라짐을 확인했다. 이는 안전 정렬이 모델의 지식 층보다는 의사결정 층에 더 큰 영향을 미친다는 점을 시사한다.
31:10
결론 및 향후 연구 방향
본 연구는 LLM 내부에서 유해성 판단과 거절 반응이 별도로 인코딩된다는 사실을 밝혀 안전 메커니즘에 대한 새로운 이해를 제시했다. 이를 통해 과도한 거절 문제를 해결하고 모델의 안전성을 더 정교하게 제어할 수 있는 가능성을 열었다. 향후에는 더 복잡한 유해 상황이나 다국어 환경에서도 이러한 분리 현상이 유지되는지 연구할 계획이다. 또한 이 원리를 활용한 새로운 정렬 알고리즘 개발이 기대된다.
용어 해설
- Probing
- — 모델의 중간 레이어 활성화 값에서 특정 정보를 추출할 수 있는지 확인하는 분석 기법이다. 선형 분류기를 통해 모델이 내부적으로 유해성이나 거절 의도와 같은 특정 개념을 얼마나 명확하게 인코딩하고 있는지 측정하는 데 사용된다.
- Activation Steering
- — 모델의 추론 과정에서 특정 레이어의 활성화 값에 특정 벡터를 더하거나 빼서 모델의 출력을 제어하는 기법이다. 본 연구에서는 거절 벡터를 조작하여 모델이 유해한 질문에 답변하게 하거나 무해한 질문을 거절하게 만드는 실험적 도구로 활용되었다.
- Safety Alignment
- — LLM이 유해하거나 부적절한 요청에 응답하지 않도록 모델의 행동을 조정하는 학습 과정이다. RLHF나 SFT 등을 통해 수행되며, 모델이 유해성을 인지하고 적절한 거절 반응을 보이도록 만드는 것이 핵심 목표이다.
- Representation Engineering
- — 모델의 가중치 자체를 수정하는 대신 내부 활성화 공간의 표현을 분석하고 조작하여 모델의 행동을 제어하는 연구 분야이다. 모델의 블랙박스 내부를 기하학적으로 해석하고 제어 가능한 요소를 찾아내는 데 중점을 둔다.
AI 분석 전체 내용 보기
AI 요약 · 북마크 · 개인 피드 설정 — 무료
출처 · 인용 안내
원문 발행 2026. 06. 30.수집 2026. 07. 07.출처 타입 YOUTUBE
인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.
