가치 기반 대형 언어 모델 에이전트를 위한 Context-Value-Action 아키텍처

기존 LLM 에이전트는 프롬프트 기반 추론이 강해질수록 오히려 현실적인 인간 행동에서 멀어지고 특정 성격만 과장되는 '가치 양극화' 현상을 보입니다. 이 논문은 심리학적 가치 이론을 아키텍처에 직접 통합하여, 110만 건의 실제 데이터를 통해 에이전트가 상황에 따라 유연하고 인간답게 행동하도록 개선했습니다.

기존의 LLM 에이전트는 '너는 외향적인 사람이야'라는 페르소나 설정을 주면, 모든 상황에서 과하게 외향적으로만 행동하는 경향이 있다. 이는 딥러닝의 Embedding 공간에서 특정 페르소나 벡터가 고정된 채로 모든 출력을 지배하기 때문이다. 실제 인간은 피곤한 퇴근길에는 평소의 가치관보다 휴식을 우선시하는 등 문맥(Context)에 따라 내면의 가치(Value)가 동적으로 변하지만, 기존 모델은 이를 단순히 텍스트 프롬프트로만 처리하려다 보니 가치가 한쪽으로 쏠리는 양극화 현상이 발생한다.

CVA 아키텍처는 이 과정을 '자극-유기체-반응(S-O-R)'이라는 심리학적 구조로 재설계한다. 먼저 상황 정보를 입력받아 현재 어떤 가치가 중요한지 판단하는 'Value Verifier'를 별도로 둔다. 이는 Transformer의 Cross-Attention 구조를 활용하여, 현재 문맥(Query)이 에이전트가 가진 여러 가치관(Key/Value) 중 무엇을 자극하는지 계산한다. 예를 들어 '힘든 업무 후'라는 문맥은 '쾌락' 가치를 높이고 '자기 주도' 가치를 낮추는 식으로 내부 상태를 조정한다.

결과적으로 모델은 단순히 다음 단어를 예측하는 것을 넘어, 활성화된 가치 점수를 기준으로 여러 후보 행동 중 가장 적절한 것을 선택(Verify)한다. 이를 통해 에이전트는 고정된 캐릭터에 갇히지 않고, 실제 인간처럼 상황에 따라 입체적이고 유연한 행동을 보여줄 수 있게 된다. 실험 결과, 추론 횟수를 늘려도 성능이 떨어지지 않고 실제 인간의 행동 분포와 유사한 다양성을 유지하는 것으로 나타났다.

CVA 아키텍처는 '생성 후 검증(Generate-then-Verify)' 원칙에 따라 Value-Action Mapping Calibration(VMC)과 Value-Driven Reasoning(VDR) 두 단계로 구성된다. VMC 단계에서는 SFT와 DPO를 사용하여 베이스 모델이 실제 인간의 행동 궤적을 학습하도록 한다. DPO 학습 시에는 [문맥 x → 정답 행동 yw, 오답 행동 yl] 쌍을 입력으로 하여 모델의 로그 확률 차이를 최대화하는 손실 함수를 사용하며, 이를 통해 모델이 정형화된 답변 대신 인간의 미묘한 선호를 반영하도록 유도한다.

VDR 단계의 핵심인 Value-Driven Verifier는 멀티 엔코더 구조를 가진다. 행동과 문맥을 처리하는 텍스트 엔코더에서 추출된 임베딩 Ea, Ec와 가치 프로필 V를 처리하는 가치 엔코더의 Ev를 입력으로 받는다. 여기서 Cross-Attention 연산을 수행하는데, 문맥 임베딩 Ec를 Query로, 가치 임베딩 Ev를 Key와 Value로 사용하여 E'v = CrossAttn(Q=Ec, K=Ev, V=Ev)를 계산한다. 이는 문맥에 따라 어떤 가치가 얼마나 활성화되는지를 수치화한 결과물이다.

최종적으로 Verifier는 [E'v; Ea]를 결합하여 MLP 레이어에 통과시키고, 해당 행동이 활성화된 가치와 얼마나 일치하는지를 나타내는 일관성 점수 s(A, C, V)를 출력한다. 추론 시에는 베이스 모델이 생성한 N개의 후보 행동 중 이 점수가 가장 높은 행동을 최종 선택한다. 학습 과정에서는 실제 정답 행동과 오답 행동 사이의 점수 차이를 벌리는 Pairwise Ranking Loss를 최소화하여 Verifier의 변별력을 높인다.

CVABench를 통한 실험 결과, CVA 아키텍처는 기존의 페르소나 기반(Role-Play) 및 프롬프트 추론 기반(Reasoning Agent) 모델들을 모든 지표에서 압도했다. 특히 가치 정렬 점수(Overall Val.)에서 CVA는 실제 인간 분포와의 오차가 +1.06%에 불과해, 기존 모델들이 보여준 큰 편차(최대 -40.74%)를 획기적으로 줄였다. 이는 모델이 특정 가치로 쏠리지 않고 인간 인구 집단의 다양성을 성공적으로 복제했음을 의미한다.

언어적 충실도(Linguistic Fidelity) 측면에서도 CVA는 TTR(Type-Token Ratio) 지표에서 실제 인간 데이터와 가장 유사한 수치(0.04)를 기록했다. 기존 모델들이 프롬프트 추론 강도를 높일수록 답변이 길어지고 단조로워지는 반면, CVA는 실제 인간처럼 간결하고 핵심적인 표현을 구사했다. 또한 Ablation Study를 통해 SFT, DPO, Verifier Reasoning이 단계적으로 추가될 때마다 성능이 일관되게 향상됨을 확인했다.

흥미로운 발견은 프롬프트 기반 추론의 한계다. 기존 방식에서 추론 라운드를 4회 이상으로 늘리면 오히려 성능이 저하되고 가치 양극화가 심화되는 현상이 관찰되었다. 반면 CVA는 Verifier를 통한 독립적인 검증 과정을 거치기 때문에, 추론 강도가 높아져도 행동의 현실성을 유지하며 성능 포화 상태에 도달할 때까지 안정적인 품질을 보여주었다.

CVA 아키텍처는 LLM의 내재적 편향(Intrinsic Bias)이 프롬프트 추론 과정에서 증폭되는 문제를 해결하기 위해 '인지적 탈동조화(Cognitive Decoupling)'를 채택했다. 기존 모델들이 동일한 파라미터 내에서 추론과 생성을 동시에 수행하며 자기 참조적 오류(Self-referential error)를 범하는 것과 달리, CVA는 독립적으로 훈련된 Value Verifier를 판별기(Discriminator)로 활용한다. Verifier는 Schwartz 가치 이론의 10가지 차원을 임베딩 공간에 투사하며, 학습 후 이 임베딩들은 이론적 원형 구조(Circumplex structure)와 0.75의 높은 상관관계(CIS 점수)를 보였다.

데이터 측면에서는 110만 건의 실제 상호작용 궤적을 활용하여 '가치-행동' 간의 상관관계를 학습시켰다. 특히 가치 활성화의 동적 특성을 포착하기 위해 TF-IDF 가중치가 적용된 Cross-Attention 맵을 분석하여, 특정 단어(예: 'creativity' -> Achievement, 'confused' -> Conformity)가 가치 판단에 미치는 영향을 정량화했다. 이는 블랙박스 형태의 LLM 에이전트에 심리학적 해석 가능성을 부여하는 중요한 기술적 차별점이다.

현재 CVABench는 약 15,000명의 사용자와 3개의 도메인으로 제한되어 있어, 더 넓은 문화적 맥락이나 소비 패턴으로의 일반화 검증이 필요하다. 또한 가치 측정 도구인 GPV가 여전히 잠재적 편향을 가질 수 있으며, 실제 인간 데이터에 포함된 독성이나 편향된 내용이 모델에 반영될 위험이 존재한다.