Revision Prompting으로 변경분만 처리하는 LLM 파이프라인

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

자동화된 LLM 파이프라인은 입력이 조금만 바뀌어도 지시문을 전체 입력에 다시 적용해 완성된 출력을 재생성하므로, 변경과 무관한 부분의 일관성이 흔들리고 시간과 토큰 비용이 반복해서 발생합니다. Revision Prompting은 기존 Input과 Output을 프롬프트에 넣은 뒤 diff(Input, UpdatedInput)만 전달하고, LLM이 생성한 OutputPatch를 원본 Output에 적용해 UpdatedOutput을 만듭니다. 이 방식은 바뀐 부분만 다시 생성해 기존 번역이나 구조를 유지하며, 출력 길이에 비례하는 처리 시간을 줄이고 비싼 출력 토큰을 상대적으로 저렴한 입력 토큰으로 옮깁니다. 작성자가 제시한 산업용 프롬프트 사례에서는 처리 시간이 약 80%, 비용이 약 65% 감소했으며, 재실행 간격이 짧으면 prompt caching으로 입력 비용도 일부 낮아집니다.

섹션별 상세

자동화된 산업용 프롬프팅은 송장 정보 추출이나 문서 번역처럼 동일한 Instruction을 여러 입력에 적용하는 구조이며, Input이 갱신될 때마다 UpdatedInput 전체를 다시 처리합니다. LLM의 비결정성 때문에 변경되지 않은 내용까지 원본 Output과 달라질 수 있고, 결과 전체를 재생성하므로 일부만 바뀐 경우에도 최초 실행과 비슷한 처리 시간과 출력 토큰 비용이 듭니다. Revision Prompting은 전체 입력과 출력을 반복 처리하는 대신 입력 변경분과 기존 출력에 집중해 두 문제를 동시에 줄입니다.

Revision Prompting은 먼저 Instruction과 Input을 LLM에 넣어 Output을 만들고, 이후 갱신된 입력에 대해 기존 Input과 Output을 프롬프트에 함께 제공합니다. 여기에 diff(Input, UpdatedInput)을 추가하고 출력 갱신용 패치를 요청하면, LLM은 OutputPatch를 반환하며 시스템은 이 패치를 원본 Output에 적용해 UpdatedOutput을 얻습니다. 따라서 입력에서 바뀌지 않은 부분은 패치 대상에서 빠지고 기존 결과에 그대로 남습니다.

e-bike 제품 페이지를 독일어로 번역한 사례에서 배터리 주행거리가 80 km에서 100 km로 바뀌자 전체 페이지를 재번역하지 않고 해당 문장 하나를 삭제·추가하는 두 줄짜리 OutputPatch만 생성했습니다. 기존 번역의 나머지 문장은 그대로 유지되므로 변경과 무관한 표현이 달라지지 않습니다. JSON 출력에는 JSON Patch를, 일반적인 텍스트 변경에는 POSIX diff를 사용할 수 있어 Instruction에 맞춰 Revision Format을 선택할 수 있습니다.

이 방식은 기존 Output을 입력 토큰으로 다시 보내는 대신 짧은 OutputPatch만 출력하게 만들어 처리 시간을 출력 길이에 따라 줄입니다. 원문은 자체 산업용 프롬프트에서 처리 시간이 약 80%, 비용이 약 65% 감소했다고 밝히며, 절감 폭은 입력 변경량과 출력이 입력 변화에 민감한 정도에 따라 달라진다고 설명합니다. 최초 실행 후 몇 분 안에 재실행하면 prompt caching이 반복 입력 비용의 일부를 더 낮출 수 있어 반복 갱신이 잦은 번역·문서 자동화 파이프라인에 의미가 있습니다.

용어 해설

Revision Prompting: — 변경된 입력과 기존 출력의 차이만 LLM에 전달해 전체 결과 대신 수정 패치를 생성하는 프롬프팅 방식입니다. 패치를 기존 출력에 적용하므로 입력과 무관한 부분의 일관성을 유지하고, 출력 토큰과 처리 시간을 줄이는 데 목적이 있습니다.
diff: — 원본과 수정본 사이에서 추가되거나 삭제된 내용을 나타내는 형식입니다. Revision Prompting에서는 입력의 변경 범위를 LLM에 전달해 어떤 출력 부분을 바꿔야 하는지 제한하며, POSIX diff 같은 형식을 일반적인 선택지로 활용할 수 있습니다.
출력 패치(Output Patch): — 기존 출력에 적용할 변경 내역만 담은 짧은 결과물입니다. LLM은 전체 UpdatedOutput을 다시 생성하지 않고 입력 변경에 대응하는 삭제·추가 행을 반환하며, 이를 원본 출력에 적용해 갱신된 결과를 만듭니다.
프롬프트 캐싱(Prompt Caching): — 이전에 처리한 프롬프트의 반복 입력 일부를 캐시해 후속 요청에서 입력 처리 비용을 낮추는 방식입니다. Revision Prompting은 원본 Output을 프롬프트에 다시 넣기 때문에 짧은 시간 안에 재실행하면 입력 토큰 비용 일부를 추가로 줄일 수 있습니다.

기술

LLM
POSIX diff
JSON Patch
prompt caching

활용 사례

송장 정보의 구조화 추출
제품 페이지와 문서의 다국어 번역
릴리스 과정에서 문서 페이지 갱신
입력 변경에 대응하는 자동화된 산업용 프롬프팅