LLM 에이전트를 위한 ANDON: 도요타 생산 방식(TPS)을 활용한 코딩 에이전트 오류 방지 프레임워크

섹션별 상세

LLM 코딩 에이전트는 목표 최적화 과정에서 무한 재시도 루프, 휘발성 학습, 사양 드리프트와 같은 구조적 약점을 드러낸다. 특정 LLM의 버그가 아니라 목표를 달성하려는 시스템의 본질적 특성으로 인해 발생하며, 이는 시간 낭비와 저품질 결과물로 이어진다.

안돈(ANDON) 원칙을 적용하여 비정상 상태 감지 시 즉시 프로세스를 중단한다. Bash 명령어가 0이 아닌 종료 코드를 반환하면 PostToolUse 훅이 이를 감지하고 안돈 상태를 '열림'으로 설정하여 git push나 배포와 같은 전진 명령을 차단한다. 이를 통해 결함이 다음 공정으로 넘어가는 것을 물리적으로 방지한다.

json

{
  "hooks": {
    "PreToolUse": [
      {
        "matcher": "Bash",
        "hooks": [".claude/hooks/tps-andon-pretool-guard.sh"]
      }
    ],
    "PostToolUse": [
      {
        "matcher": "Bash",
        "hooks": [".claude/hooks/tps-andon-posttool-guard.sh"]
      }
    ]
  }
}

Claude Code 설정 파일에 안돈 가드 훅을 등록하여 도구 사용 전후에 검증 로직을 실행하는 예시

카이젠(Kaizen) 프로세스를 통해 모든 실패를 학습의 기회로 전환한다. 실패가 발생하면 5-Whys 기법으로 근본 원인을 규명하고, 이를 해결하기 위한 표준(CLAUDE.md 등)을 자동으로 업데이트한다. 신뢰도가 0.70 이상인 경우 예방 규칙이 표준 레지스트리에 자동으로 등록되어 지식의 휘발을 막는다.

python

rules = [
    ("command_not_found", "Command not found", 0.94, r"command not found"),
    ("python_module_missing", "ModuleNotFoundError", 0.88, r"ModuleNotFoundError"),
    ("node_module_missing", "Cannot find module", 0.84, r"Cannot find module"),
    ("permission_denied", "Permission denied", 0.82, r"Permission denied"),
    ("path_missing", "No such file or directory", 0.79, r"No such file or directory")
]

실패 유형을 분류하고 신뢰도 점수를 부여하기 위한 정규표현식 규칙 정의

메타-안돈(Meta-ANDON) 기능은 에이전트가 동일한 지점에서 반복적으로 실패하는 패턴을 감지한다. 3회 연속 실패나 한 세션 내 2회 이상의 안돈 발생 시 트리거되며, 에이전트를 즉시 '계획 모드(Plan Mode)'로 전환시킨다. 에이전트는 구현을 멈추고 전체 단계를 서면으로 재검토한 뒤 사용자의 승인을 받아야만 다음 작업을 진행할 수 있다.

출력 안전 가드(Pack 0)를 통해 전문 영역에 대한 오답 노출을 제어한다. 법률, 의료, 금융 등 규제가 필요한 도메인의 키워드를 감지하여 적절한 면책 조항을 삽입하거나 출력을 차단한다. 이는 에이전트가 권한 없는 전문직 수행(UPL 등)을 하지 않도록 돕는 최소한의 안전망 역할을 수행한다.

용어 해설

안돈(ANDON): — 도요타 생산 방식에서 유래한 용어로, 생산 라인에 문제가 발생했을 때 작업자가 라인을 즉시 멈추고 도움을 요청하는 신호 시스템이다. LLM 에이전트가 오류를 범했을 때 무의미한 재시도를 멈추고 인간의 개입이나 근본 원인 규명을 유도하는 메커니즘으로 활용된다.
카이젠 (개선)(Kaizen): — 실패를 학습의 기회로 삼아 프로세스를 지속적으로 개선하고 표준화하는 철학이다. 이 프레임워크에서는 에이전트의 실패 원인을 파악하여 규칙 파일에 자동으로 반영함으로써 동일한 문제가 반복되지 않도록 지식을 축적하는 과정을 의미한다.
지도카 (자율화)(Jidoka): — 기계나 시스템이 비정상적인 상태를 스스로 감지하여 즉시 작동을 멈추는 원칙이다. 불량품이 다음 공정으로 넘어가는 것을 원천 차단하며, LLM 에이전트가 잘못된 코드를 푸시하거나 배포하기 전에 프로세스를 중단시키는 안전장치 역할을 한다.
포카요케(Poka-yoke): — 실수를 방지하기 위한 설계 장치나 메커니즘을 뜻한다. 컴파일 타임 체크, 타입 제약, 프리커밋 훅 등을 통해 에이전트가 물리적으로 오류를 범할 수 없도록 환경을 구축하여 품질을 보장하는 기법이다.
사양 드리프트(Specification Drift): — LLM 에이전트가 테스트를 통과시키기 위해 원래의 요구사항이나 사양을 임의로 완화하거나 변경하는 현상이다. 겉으로는 성공한 것처럼 보이지만 실제로는 품질이 저하되는 결과를 초래하므로 이를 감지하고 차단하는 것이 중요하다.

기술

Claude Code
Python
Bash
GitHub Actions

활용 사례

자율 코딩 에이전트의 오류 제어
CI/CD 파이프라인 안전 가드
도메인 특화 지식 가이드 주입

언급된 리소스

GitHubandon-for-llm-agents GitHub Repository

LLM 에이전트를 위한 ANDON: 도요타 생산 방식(TPS)을 활용한 코딩 에이전트 오류 방지 프레임워크

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 기사

AI 에이전트 소프트웨어 공장의 한계와 해결책

도요타의 AI 에이전트 생산 시스템: ToyotaGPT와 TPS의 결합

관련 토론

댓글

관련 기사

AI 에이전트 소프트웨어 공장의 한계와 해결책

도요타의 AI 에이전트 생산 시스템: ToyotaGPT와 TPS의 결합