AgentGL: 강화학습을 통한 LLM 기반 에이전트 그래프 학습

기존의 LLM 기반 그래프 학습은 정적인 텍스트 정보에만 의존하여 복잡한 데이터 간의 연결 구조를 충분히 활용하지 못했습니다. 이 논문은 LLM 에이전트가 강화학습을 통해 스스로 그래프 구조를 탐색하고 필요한 정보를 수집하게 함으로써 지식 그래프나 소셜 네트워크 분석의 정확도를 획기적으로 높였습니다.

기존의 LLM은 텍스트 데이터 처리에 특화되어 있어, 데이터 간의 복잡한 연결 관계인 그래프 구조를 이해할 때 단순히 주변 정보를 텍스트로 변환해 입력받는 방식에 그쳤다. 이는 마치 지도를 보지 않고 주변 사람들의 말만 듣고 길을 찾는 것과 같아, 멀리 떨어진 중요한 정보를 놓치거나 불필요한 정보에 매몰되는 한계가 있었다.

AgentGL은 LLM에게 '그래프 전용 돋보기와 이동 수단'을 제공하여 이 문제를 해결한다. LLM 에이전트는 현재 위치한 노드에서 1단계 또는 2단계 떨어진 이웃을 직접 조회하거나, 전체 그래프에서 구조적으로 중요한 지점을 찾아가는 도구를 사용한다. 이 과정에서 에이전트는 강화학습을 통해 어떤 도구를 언제 사용해야 정답에 도달할 수 있는지를 스스로 학습한다.

특히 '생각은 더 많이, 검색은 적게'라는 원칙을 적용하여, 에이전트가 무분별하게 정보를 검색하기보다 이미 찾은 정보를 충분히 분석한 뒤 다음 행동을 결정하도록 유도한다. 이를 통해 연산 비용은 줄이면서도 복잡한 관계망 속에서 핵심적인 증거만을 찾아내어 정확한 결론을 도출할 수 있게 된다.

AgentGL은 LLM 에이전트가 그래프 환경에서 최적의 탐색 정책을 학습하도록 설계된 프레임워크이다. 전체 구조는 그래프 전용 검색 도구(GNS Tools), 2단계 강화학습 전략, 그리고 그래프 조건부 커리큘럼 학습(GCCL)으로 구성된다.

핵심 메커니즘인 GNS Tools는 1-hop/2-hop 이웃 검색, 구조적 중요도 기반 검색(Structure Salience Search), 의미론적 밀집 검색(Graph Dense Search)을 포함한다. 각 도구는 쿼리 Q와 현재 노드 x를 입력으로 받아 코사인 유사도 s(n) = cos(hn, λrhQ + (1 - λr)hx)를 계산한다. 여기서 hn은 이웃 노드의 임베딩, hQ는 쿼리 임베딩, hx는 타겟 노드 임베딩이며, λr은 쿼리와의 관련성 비중을 조절하는 하이퍼파라미터이다. 이 연산을 통해 수만 개의 노드 중 가장 관련성 높은 상위 K개를 추출하여 LLM의 컨텍스트로 제공한다.

학습은 두 단계로 진행된다. 1단계(Policy Bootstrapping)에서는 에이전트가 도구 사용법을 익히도록 GNS Coverage 보상을 제공한다. 2단계(Mitigating Search Overuse)에서는 검색 제약적 사고(Search-Constrained Thinking)를 유도하기 위해, 검색 횟수를 줄이면서 추론 밀도를 높이는 rdepth 보상을 적용한다. rdepth(z) = α · I[Nshort = 0] - λd · Nshort 식을 통해 짧고 파편화된 추론 블록(Nshort)에 페널티를 부여하고 깊은 사고를 장려한다.

노드 분류(Node Classification) 작업에서 AgentGL은 Qwen7B 백보드 기준, 인도메인 평가에서 평균 12.7%, 제로샷 전이 학습 환경에서 24.4%의 성능 향상을 기록했다. 특히 OGB-Arxiv 데이터셋에서 기존 GraphLLM 대비 압도적인 정확도를 보였다.

링크 예측(Link Prediction)에서는 더욱 극적인 개선이 확인되었다. 인도메인에서 평균 26.3%, 제로샷에서 22.4%의 성능 이득을 얻었으며, 특히 Reddit 데이터셋과 같은 복잡한 소셜 네트워크 구조에서 에이전트의 동적 탐색 능력이 빛을 발했다.

Ablation Study 결과, 제안된 GCCL(커리큘럼 학습)은 학습 수렴 속도를 가속화할 뿐만 아니라 최종 정확도를 약 0.65% 향상시켰다. 또한 2단계 학습을 통해 검색 도구 호출 횟수를 약 17.5% 줄이면서도 정확도는 오히려 2.4% 상승하는 효율성을 입증했다.

AgentGL은 LLM을 에이전트로 활용하여 그래프 상에서 순차적 의사결정(Sequential Decision Making)을 수행한다. 상태 공간은 현재까지 수집된 증거와 추론 과정의 히스토리 ht로 정의되며, 에이전트는 정책 πθ에 따라 도구 선택과 쿼리 생성을 포함한 액션 at를 취한다.

정책 최적화를 위해 GRPO(Group Relative Policy Optimization)와 REINFORCE++ 알고리즘을 사용한다. 보상 함수 R(τ)는 형식 준수(rFMT), 정답 정확도(rACC), 도구 커버리지(rCOV)의 합으로 구성되어 SFT 데이터 없이도 안정적인 정책 학습이 가능하다. 특히 2단계 학습에서는 rCOV를 제거하고 추론 밀도 보상 rdepth를 추가하여 효율적인 탐색 경로를 찾도록 유도한다.

GCCL(Graph-Conditioned Curriculum Learning)은 노드 분류의 경우 로컬 호모필리(Homophily)와 차수(Degree)를 결합한 SNC(v) 점수를 기반으로 난이도를 측정한다. 링크 예측에서는 노드 간의 의미적 유사성과 실제 연결 여부의 일치성을 기준으로 '쉬운' 샘플부터 '어려운' 샘플 순으로 학습을 진행하여 복잡한 토폴로지 환경에서의 정책 붕괴를 방지한다.

현재 AgentGL은 텍스트 속성을 가진 그래프(TAG)에 최적화되어 있어, 이미지나 오디오 등 멀티모달 정보를 포함한 그래프 데이터 처리는 지원하지 않는다. 또한 MSO(검색 오용 완화) 단계의 안정성이 두 학습 단계 간의 데이터 배분 비율에 민감하게 반응한다는 한계가 있다.