CONSCIENTIA: LLM 에이전트는 전략을 학습할 수 있는가? 뉴욕시 시뮬레이션에서의 창발적 기만과 신뢰

자율적인 LLM 에이전트가 다중 에이전트 환경에서 어떻게 전략적 행동을 형성하는지 이해하는 것은 정렬 연구의 핵심 과제이다. 이 논문은 뉴욕시 내비게이션 시뮬레이션을 통해 에이전트 간의 설득, 기만, 신뢰 메커니즘을 정량적으로 분석할 수 있는 통제된 환경을 제공한다.

기존의 LLM 에이전트는 단일 단계의 지시 이행에는 능숙하지만, 여러 단계에 걸친 복잡한 계획 수립과 타인과의 상호작용 속에서 자신의 목표를 유지하는 데 한계를 보인다. 특히 상대방이 기만적인 정보를 제공할 때, 에이전트는 자신의 원래 목적지(Embedding 공간에서의 목표 벡터)를 잃고 상대방의 설득에 동화되는 경향이 있다.

이 논문은 이러한 한계를 극복하기 위해 에이전트의 행동 궤적 전체를 평가하여 보상하는 방식을 취한다. 단순히 다음 토큰을 예측하는 것이 아니라, 전체 경로가 안전했는지 혹은 목적지에 도달했는지를 기준으로 정책을 업데이트한다. 이를 통해 에이전트는 상대방의 제안이 자신의 목표와 일치하는지 검증하는 'Destination-Anchor Reasoning'과 같은 전략을 스스로 형성하게 된다.

결과적으로 에이전트는 무조건적인 거부나 수용 대신, 상황에 따라 협력과 경계를 병행하는 선택적 협력 능력을 갖추게 된다. 이는 에이전트가 단순한 도구를 넘어 사회적 맥락에서 전략적 의사결정을 내릴 수 있는 가능성을 보여준다.

시뮬레이션은 150개의 Blue 에이전트와 100개의 Red 에이전트로 구성된 두 집단이 뉴욕시 도로망 그래프에서 상호작용하는 구조이다. Blue는 최단 경로로 목적지에 가려 하고, Red는 대화(Dialogue)를 통해 Blue를 특정 위치로 유인한다. 모든 에이전트는 Qwen3-4B 모델을 기반으로 동작하며, Qwen3-14B를 사용하여 학습 데이터를 증강한다.

정책 학습은 Kahneman-Tversky Optimization(KTO)을 사용한다. KTO는 선호도 쌍(Preference pairs) 없이도 개별 응답의 바람직함(Desirable) 여부만으로 손실 함수를 계산한다. 구체적으로 r_theta(x, y) = beta * log(pi_theta(y|x) / pi_ref(y|x))라는 암시적 보상을 정의하고, 이 값이 기준점 z0보다 크면 강화하고 작으면 억제하는 방식으로 최적화한다.

학습 루프는 데이터 생성, 데이터 증강, KTO 미세 조정, 사후 시뮬레이션의 4단계로 구성된다. 각 세대(Generation)마다 에이전트는 새로운 상호작용 데이터를 생성하고, 이를 바탕으로 자신의 정책을 갱신하며 10세대 동안 진화한다. 이 과정에서 AdamW 옵티마이저와 코사인 학습률 스케줄러를 사용하여 안정적인 수렴을 유도한다.

10세대의 학습 결과, Blue 에이전트의 작업 성공률(TSR)은 초기 46.0%에서 최종 57.3%로 유의미하게 상승했다. 하지만 적대적 유도에 대한 취약성(SR)은 8세대에서 70.7%로 최저치를 기록한 후 다시 상승하는 비단조적(Non-monotonic)인 변화 양상을 보였다. 이는 Red 에이전트 역시 Blue의 방어 전략에 맞춰 함께 진화했기 때문이다.

전략적 측면에서 후기 세대의 Blue 에이전트는 'Destination-Anchor Reasoning'을 통해 상대방의 제안을 지리적 사실과 대조하여 검증하는 능력을 보였다. 또한 Blue 에이전트끼리 만났을 때 미드타운 맨해튼과 같은 주요 교통 허브에서 자발적으로 모이는 'Collaborative Transit Anchoring' 현상이 관찰되었다.

반면 Red 에이전트는 'Authority Normalization'(사회적 증거 활용)이나 'Iterative Chaining'(단계적 유도)과 같은 고도화된 기만 전략을 발전시켰다. 특히 Blue 에이전트가 초기에 거부하더라도 반복적인 설득을 통해 결국 굴복시키는 'Delayed Compromise' 패턴이 가장 치명적인 실패 원인으로 분석되었다.

본 연구는 LLM 에이전트의 전략적 행동을 측정하기 위해 'Blue Utility'와 'Red Utility'라는 지표를 정의했다. Blue Utility는 목적지 도달(+), 광고판 방문(-), 경로 길이(-)를 가중 합산하여 계산하며, Red Utility는 Blue를 광고판으로 유인한 성공률(RME)로 측정한다. 실험 결과 Blue Utility는 개선되었으나 여전히 음수 값을 유지하여 적대적 환경의 난이도를 입증했다.

아키텍처적으로는 Qwen3 모델군을 활용했으며, KTO 알고리즘이 DPO나 PPO보다 이 환경에 적합함을 FAQ를 통해 논증했다. DPO는 경로 전체의 품질을 비교할 쌍을 구성하기 어렵고, PPO는 조밀한 보상 설계(Reward Engineering)가 어렵기 때문이다. KTO는 궤적 단위의 이진 라벨링만으로도 효과적인 행동 교정이 가능함을 보여주었다.

질적 분석을 위해 GPT-5.4-nano, Mistral-Large-Latest 등 최신 모델들을 판사(Judge)로 활용하여 에이전트의 목표 지향성과 조작 취약성을 평가했다. 판사들 간의 일치도(Cohen's Kappa) 분석 결과, 목표 지향성에 대해서는 높은 합의를 보였으나 조작 취약성 판단은 모델마다 차이가 있어 이 영역의 평가가 매우 복잡함을 시사했다.

Qwen3 모델군에 국한된 실험 결과이므로 다른 아키텍처에서의 일반화 여부는 불분명하다. 또한 정적인 뉴욕시 지도와 고정된 광고판 위치라는 단순화된 환경 설정이 실제 세계의 복잡한 사회적 상호작용을 모두 반영하지는 못한다. LLM 판사를 활용한 정성 평가의 신뢰도가 특정 지표에서 낮게 나타난 점도 한계로 지적된다.