멀티스텝 LLM 워크플로우의 84% 실패율과 '가능성 공간'의 함정

커뮤니티 반응

작성자의 분석에 대해 많은 사용자가 공감을 표하며, 특히 에이전트 시스템에서 발생하는 '조용한 실패'와 신뢰성 문제에 대한 심도 있는 논의가 이어지고 있습니다.

주요 논점

01찬성다수

LLM은 확률적 도구이므로 결정론적 워크플로우를 기대하는 것 자체가 설계 오류이며 외부 통제가 필요하다.

02중립소수

프롬프트 엔지니어링으로 어느 정도 개선은 가능하지만, 복잡한 단계에서는 한계가 명확하다는 점에 동의한다.

합의점 vs 논쟁점

합의점

LLM은 본질적으로 비결정론적이며 확률에 기반하여 작동한다.
단순히 모델 체급을 높이는 것만으로는 워크플로우의 신뢰성 문제를 완전히 해결할 수 없다.
멀티스텝 시스템에서 단계별 오류 누적은 심각한 프로덕션 장애 요인이다.

논쟁점

프롬프트 엔지니어링의 한계치가 어디까지인가에 대한 의견 차이
외부 상태 관리를 구현하는 구체적인 방법론과 복잡도 증가 문제

실용적 조언

워크플로우의 각 단계 사이에 출력값을 검증하는 가드레일이나 체크포인트를 설정하십시오.
모델의 자율성에만 의존하지 말고, 결정론적인 코드로 상태를 관리하여 가능성 공간을 강제로 제한하십시오.
에이전트 루프를 설계할 때 각 단계의 성공 여부를 판단할 수 있는 외부 피드백 루프를 포함하십시오.

섹션별 상세

작성자는 멀티스텝 워크플로우 실험에서 84%의 실패율을 기록했다. 모델은 매번 자신감 있고 형식이 올바른 출력을 내놓았지만, 실제 기대치와는 일치하지 않는 결과가 반복적으로 발생했다. 이는 모델이 중단되거나 에러를 내는 '충돌'이 아니라, 논리적으로 틀린 답을 내놓는 '실패'의 문제였다.

LLM은 프롬프트에 담긴 사용자의 의도를 완벽히 파악하는 것이 아니라 작성된 텍스트를 기반으로 가능성 공간을 탐색한다. 모델은 문맥에 따라 가장 확률이 높은 다음 토큰을 생성하도록 설계되었으므로, 매 실행마다 조금씩 다른 경로를 시도하게 된다. 결과적으로 수많은 시도 중 우연히 정답에 도달하는 '로또'와 같은 구조가 형성된다.

멀티스텝 파이프라인에서는 각 단계가 독립적인 확률적 추첨이 되며 실패가 누적된다. 에이전트 루프 내에서는 잘못된 가정이 시각적인 오류로 드러나기 전까지 여러 번의 잘못된 결정을 연쇄적으로 유발한다. 21만 건의 API 호출을 분석한 연구에 따르면, 더 강력한 하위 모델일수록 오답을 바로잡기보다 오히려 오답에 대한 확신을 증폭시키는 경향이 확인됐다.

개별 에이전트가 준수하는 거버넌스 제약 조건이 전체 시스템으로 결합될 때 위반되는 구성성 실패가 기본값으로 나타난다. 이는 더 나은 모델을 사용한다고 해결되는 문제가 아니며, 오히려 성능이 좋은 모델일수록 가능성 공간을 더 설득력 있게 탐색할 뿐이다. 해결책은 각 단계 사이에 무엇이 참이어야 하는지 정의하고 검증하는 일관된 외부 상태를 도입하는 것이다.

용어 해설

가능성 공간(Possibility Space): — LLM이 주어진 프롬프트에 대해 생성할 수 있는 모든 잠재적 출력값의 범위를 의미합니다. 모델은 확률에 따라 이 공간 내의 토큰을 선택하며, 제약 조건이 없으면 매 실행마다 다른 결과를 내놓을 수 있습니다.
결정론적 정확성(Deterministic Correctness): — 동일한 입력에 대해 항상 동일하고 정확한 결과를 보장하는 성질입니다. 확률 기반인 LLM은 본질적으로 비결정론적이기 때문에, 외부 상태 관리 없이 매번 일관된 정답을 도출하기 어렵습니다.
구성성 실패(Compositionality Failure): — 개별 단계나 에이전트는 올바르게 작동하더라도, 이들이 결합된 전체 시스템에서 예상치 못한 오류가 발생하는 현상입니다. 멀티스텝 워크플로우에서 각 단계의 확률적 오류가 복합되어 전체 성공률을 급격히 떨어뜨립니다.
외부 상태(External State): — LLM 외부에서 유지되는 데이터나 검증 로직으로, 모델의 출력이 특정 조건을 만족하는지 강제하는 장치입니다. 모델의 확률적 탐색 범위를 제한하여 워크플로우의 신뢰성을 높이는 핵심 요소로 작용합니다.