LLM 에이전트는 세계 모델을 추론할 수 있는가? 에이전트 기반 오토마타 학습을 통한 검증

섹션별 상세

에이전트 기반 오토마타 학습은 LLM 에이전트의 환경 탐색 능력을 측정하는 확장 가능한 테스트베드이다. 에이전트는 멤버십 쿼리와 등가성 쿼리를 통해 숨겨진 DFA를 복원한다.

최신 LLM 평가 결과, DFA 복잡도가 증가함에 따라 에이전트의 성공률이 급격히 감소한다. 추론 모델이 비추론 모델보다 나은 성능을 보이나, 고전적인 알고리즘의 효율성에는 미치지 못한다.

근거

에이전트의 실패는 쿼리 계획 수립, 수집된 증거의 통합, 가설 구성 과정에서의 반복적인 오류에 기인한다. 이는 현재의 LLM 에이전트가 복잡한 환경에서 세계 모델을 구축하는 데 한계를 지님을 나타낸다.