LangChain/LangGraph에서 도구 호출과 구조화된 출력을 동시에 사용하는 방법

커뮤니티 반응

작성자가 발견한 해결책에 대해 긍정적인 반응이며, 특히 PydanticAI와의 비교나 실제 운영 환경에서의 신뢰성에 대한 추가 논의가 이루어지고 있다.

주요 논점

01찬성다수

response_format이 도구 호출과 구조화된 출력을 결합하는 가장 깔끔한 방법이다.

합의점 vs 논쟁점

합의점

단일 API 호출 수준에서 도구 호출과 구조화된 출력을 동시에 처리하는 것은 모델 제공업체의 제한으로 인해 불가능하다.
프레임워크 수준의 시퀀싱(Sequencing)이 현재로서는 최선의 해결책이다.

논쟁점

실제 프로덕션 환경에서의 신뢰성과 PydanticAI의 result_type 대비 성능 차이에 대해서는 추가 검증이 필요하다.

실용적 조언

에이전트에서 구조화된 최종 응답이 필요하다면 create_react_agent의 response_format 매개변수를 우선적으로 고려한다.
모델이 네이티브 구조화 출력을 지원하지 않는 경우 ToolStrategy가 자동으로 적용되므로 범용적인 구현이 가능하다.

섹션별 상세

기존 LangChain 사용자들은 도구 호출과 구조화된 출력을 한 번에 처리하는 데 어려움을 겪었다. model.bind_tools()와 with_structured_output()을 동시에 연결하면 내부 API 충돌로 인해 제대로 작동하지 않는 문제가 발생했다. 이를 해결하기 위해 개발자들은 도구 응답을 수동으로 가로채거나, 두 번의 LLM 호출을 연결하는 등 복잡하고 지연 시간이 발생하는 우회 방법을 사용해야 했다.

LangChain 1.0 및 LangGraph의 create_react_agent에 도입된 response_format 매개변수가 이 문제의 해결책으로 확인됐다. 이 기능은 내부적으로 ToolStrategy 또는 ProviderStrategy를 사용하여 에이전트의 추론 루프와 최종 응답 형식을 분리한다. ToolStrategy는 Pydantic 스키마를 가상의 도구로 변환하여 에이전트가 작업을 마친 후 해당 '도구'를 호출하도록 유도함으로써 구조화된 데이터를 얻는 방식이다.

SQL 분해(SQL Decomposition) 예시를 통해 이 방식의 실용성이 확인됐다. 에이전트는 먼저 도구의 args_schema를 통해 구조화된 입력을 받고, 도구 내부에서 LLM을 호출하여 중간 결과를 구조화하며, 마지막으로 response_format을 통해 최종 결과를 정해진 스키마로 출력한다. 이 과정에서 각 단계의 데이터 무결성이 Pydantic에 의해 보장되는 구조이다.

용어 해설

도구 호출(Tool Calling): — 모델이 특정 작업을 수행하기 위해 외부 함수나 API를 호출할 수 있도록 인자를 생성하는 메커니즘이다. 이를 통해 LLM은 학습 데이터에 없는 실시간 정보나 계산 기능을 활용할 수 있다.
구조화된 출력(Structured Output): — LLM의 출력을 JSON이나 특정 객체 구조로 제한하여 프로그램에서 즉시 처리 가능하게 만드는 기술이다. 데이터의 일관성을 보장하고 후속 처리의 오류를 줄이는 데 필수적이다.
파이던틱(Pydantic): — 파이썬 타입 어노테이션을 기반으로 데이터 검증과 직렬화를 수행하는 라이브러리이다. LLM의 입력 및 출력 스키마를 정의하고 검증하는 표준 도구로 널리 사용된다.
리액트 에이전트(ReAct Agent): — 추론(Reasoning)과 행동(Acting)을 반복하며 문제를 해결하는 에이전트 아키텍처이다. 모델이 생각을 먼저 하고 그에 따라 도구를 사용하는 루프를 형성한다.

언급된 도구

LangChain추천

LLM 프레임워크

LangGraph추천

에이전트 오케스트레이션

PydanticAI중립