TRC: LLM을 위한 물리 기반 예측형 안전 프레임워크 (신뢰 규제 및 격리)

게시물은 매우 기술적이고 학술적인 내용을 담고 있으며, 저자는 정렬 커뮤니티의 협업자를 적극적으로 찾고 있음.

• LLM의 안전성을 높이기 위해 단순한 텍스트 필터링 대신 모델 내부의 활성화 벡터를 직접 제어하는 설계를 고려할 수 있음.
• 칼만 필터와 같은 고전적 제어 이론을 딥러닝 모델의 추론 안정화에 결합하는 시도가 유효할 수 있음.

잔차 스트림(Residual Stream)

— 트랜스포머 아키텍처에서 각 레이어의 출력이 다음 레이어로 전달될 때 원래 입력에 더해지는 경로이다. 모델 내부에서 정보가 보존되고 전달되는 핵심 통로이며, TRC는 이 스트림의 활성화 벡터를 직접 수정하여 안전성을 확보한다.

신경 상미분 방정식(Neural ODE)

— 신경망의 레이어를 연속적인 시간 단계로 해석하여 상미분 방정식으로 모델링하는 기법이다. 이 관점을 통해 이산적인 레이어 구조를 연속적인 흐름으로 파악하며, TRC에서는 레이어 깊이에 따른 확률 미분 방정식을 유도하는 기초가 된다.

칼만 필터(Kalman Filter)

— 잡음이 포함된 측정치를 바탕으로 동적 시스템의 상태를 추정하는 재귀적 필터이다. TRC에서는 모델의 모멘텀을 예측하고 교정하는 데 사용되며, 특히 칼만 클러치 메커니즘을 통해 급격한 변화 상황에서도 안정적인 추정을 가능하게 한다.

이토 안정성(Itô Stability)

— 확률 미분 방정식 시스템의 안정성을 판단하는 수학적 조건이다. 프레임워크가 발산하지 않고 안전한 상태로 수렴하기 위한 최소한의 이득 계수 하한선을 결정하는 데 사용되며, 시스템의 수학적 견고성을 보장하는 지표이다.

활성화 매니폴드(Activation Manifold)

— 고차원 공간에서 모델의 활성화 벡터들이 형성하는 기하학적 구조를 의미한다. TRC는 안전 실패를 이 매니폴드의 기하학적 왜곡으로 규정하고, 이를 물리적인 흐름을 통해 부드럽게 복구하여 모델의 논리적 일관성을 유지한다.