LLM 0.32 공개

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

LLM 0.32은 모델의 내부 추론 흔적을 표준 오류로 노출하고, 여러 공급자의 서버사이드 도구 호출과 OpenAI Responses 호환성을 추가했으며, 메시지 중복 로그를 줄이기 위해 내용 주소형 메시지 저장소를 도입했습니다. 파이썬 API는 model.prompt(messages=[])와 스트리밍 이벤트를 통해 reasoning·text·tool call 같은 혼합 출력에 대응하도록 바뀌었고, 이로 인해 플러그인은 새로운 이벤트 스트림 모델에 맞춰 업데이트가 필요합니다. 결과적으로 개발자는 모델의 사고 과정을 더 쉽게 확인하고 서버사이드 도구를 단일 요청 흐름 안에서 안전하게 활용할 수 있게 됩니다.

섹션별 상세

LLM 0.32은 모델의 내부 추론 과정을 개발자가 실시간으로 확인할 수 있게 reasoning traces를 표준 오류(stderr)에 출력하도록 설계되어 있습니다. 이 방식은 모델 응답 텍스트와 추론 흔적을 분리해 파이프라인으로 후처리할 때 불필요한 중간 텍스트가 섞이지 않도록 하며, -R/--hide-reasoning 옵션으로 추적 출력을 숨길 수 있습니다. 디버깅과 도구 호출 흐름 분석에서 이러한 분리는 모델이 왜 특정 도구를 호출했는지 혹은 어떤 내부 단계에서 잘못된 판단이 생겼는지를 밝히는 데 실질적 도움을 줍니다.

터미널에서 llm 명령으로 모델에 프롬프트를 실행한 결과를 애니메이션으로 보여주는 스크린샷. — Screenshot이 GIF는 모델의 추론 흐름과 최종 출력 텍스트를 동시에 보여줘 reasoning traces를 stderr로 노출하는 새 동작을 시각적으로 전달합니다. 화면 상단의 회색 텍스트는 모델이 내부적으로 생성한 탐색·생각 텍스트로 보이며, 마지막의 흰색 단락은 실제 사용자에 돌아갈 표준 출력 결과로 분리되어 나옵니다. 이 이미지는 본문에서 설명한 추론 흔적 분리의 작동 방식과 효용을 직관적으로 확인시켜 줍니다.

근거

LLM이 추론 흔적(reasoning traces)을 표준 오류(stderr)에 출력해 내부 사고 과정을 확인할 수 있게 되었다. — 본문의 'Running LLM against reasoning models now displays their reasoning traces to standard error' 문장과 '-R/--hide-reasoning' 옵션 언급.

이번 릴리스는 서버사이드 도구 호출을 여러 공급자에 대해 지원함으로써 모델이 원격 코드 실행, 웹 검색, 파일 처리 같은 작업을 API 레벨에서 요청할 수 있게 했습니다. 기사에서는 OpenAI의 CodeInterpreter와 WebSearch, llm-anthropic 플러그인이 제공하는 WebSearch·WebFetch·CodeExecution·AnthropicMCP 같은 도구 사례를 제시하며, 실제 호출은 llm 명령행에서 --tool 또는 -T 인수로 지정해 단일 요청 흐름으로 처리됩니다. 이런 통합은 모델이 외부 정보를 검색하거나 안전하게 샌드박스된 코드 실행을 요청하는 워크플로우를 단순화해 복합 작업을 한 번의 응답으로 해결할 수 있게 합니다.

bash

uvx --with llm-tools-quickjs \
  llm openai endpoint http://localhost:1234/v1 -m google/gemma-4-12b \
  -T QuickJS 'Use QuickJS to multiply 3434 * 2434' --td

이 셸 커맨드는 로컬 LM 스튜디오(API) 엔드포인트에 대해 llm openai endpoint를 사용해 단행성(prompt) 요청을 실행하면서 QuickJS 도구 플러그인으로 자바스크립트를 서버사이드에서 실행하는 예시입니다. 입력으로 곱셈 JavaScript 코드를 전달하면 도구가 실행되어 결과를 반환하고, 클라이언트는 표준 출력에서 계산 결과를 확인합니다. 로컬 또는 호환 가능한 OpenAI 엔드포인트에 대해 일회성 요청을 신속히 시험할 때 유용합니다.

QuickJS 도구를 통해 자바스크립트 곱셈을 서버사이드에서 실행한 터미널 출력 스크린샷. — Screenshot이 스크린샷은 llm openai endpoint 명령과 QuickJS 도구 플러그인을 결합해 원격으로 자바스크립트를 실행하고 그 결과를 받아오는 전형적 흐름을 보여줍니다. 툴 호출 라인과 계산 결과가 함께 표시되어 도구 호출이 모델 응답의 일부로 어떻게 통합되는지를 확인할 수 있습니다. 본문에 등장한 도구 통합 사례의 행동 증거로서 직접적인 활용 사례를 제공합니다.

근거

LLM 0.32은 여러 공급자의 서버사이드 도구 호출을 통합해서 단일 요청에서 도구 실행을 가능하게 한다. — 본문의 OpenAI CodeInterpreter, WebSearch 및 llm-anthropic 플러그인의 WebSearch·WebFetch·CodeExecution·AnthropicMCP 예시와 llm --tool 사용 예.

파이썬 API는 기존의 대화 추상을 넘어서서 model.prompt(messages=[]) 형태의 완전한 메시지 시퀀스 전달과 스트리밍 이벤트(stream_events) 처리를 지원하도록 바뀌었습니다. 이 구조는 단일 응답이 reasoning 텍스트, 도구 콜, 일반 텍스트, 이미지 첨부 등 혼합 형태로 올 수 있다는 현실을 반영하며, 클라이언트는 이벤트 타입별로 다른 로직을 적용해 중간 추론을 표시하거나 도구 호출을 처리할 수 있습니다. 결과적으로 플러그인과 서버는 이러한 이벤트 스트림에 적응해야 하므로 기존 플러그인은 0.32와의 호환성을 위해 업데이트가 필요합니다.

python

import llm
from llm import user, assistant, system

model = llm.get_model("gpt-5.6-luna")
response = model.prompt(messages=[
    system("You are a helpful pirate."),
    user("What is the capital of France?"),
    assistant("Paris, matey."),
    user("And Germany?"),
])
print(response.text())

이 파이썬 예제는 model.prompt(messages=[]) API를 통해 이전 메시지 히스토리를 한 번에 전달하는 새로운 호출 방식을 보여줍니다. 입력으로 시스템·유저·어시스턴트 메시지 배열을 주면 모델이 그 전체 문맥을 바탕으로 응답을 생성합니다. 이런 방식은 대화 상태를 외부에서 구성해 보다 유연한 흐름 제어와 재현 가능한 요청을 가능하게 합니다.

python

for event in model.prompt("Explain cats").stream_events():
    if event.type == "reasoning":
        print(f"[thinking] {event.chunk}", end="", flush=True)
    elif event.type == "text":
        print(event.chunk, end="", flush=True)
    else:
        print(f"Other event: {event}")

이 스니펫은 모델이 반환하는 스트리밍 이벤트를 처리하는 방법을 보여줍니다. event.type에 따라 reasoning, text 등 서로 다른 이벤트를 구분해 적절히 출력하거나 추가 처리를 수행하도록 설계되어 있으며, 도구 호출이나 이미지 첨부 같은 혼합 출력 형태에도 대응할 수 있습니다. 스트리밍 이벤트 처리로 클라이언트는 중간 출력과 도구 콜을 실시간으로 받아 반응을 제어할 수 있습니다.

반복되는 전체 메시지 로그를 줄이기 위해 LLM은 Git 유사 패턴의 content-addressable message store를 도입해 메시지 본문을 해시로 참조하도록 변경했습니다. 이 접근은 매 턴 전체 JSON을 중복 저장하지 않고도 대화 기록을 재구성할 수 있게 하며, llm logs와 llm logs --json 명령은 이 형식을 사람이 읽기 쉬운 형태로 역변환할 수 있게 설계되어 있습니다. 대화형 API를 서버로 노출할 때 기록 비용과 저장 공간을 절감하고, 채팅 완성 서버 플러그인 같은 장기 대화 기록을 다루는 컴포넌트와 더 잘 연계됩니다.

근거

중복되는 대화 로그 문제를 해결하기 위해 내용 주소형(content-addressable) 메시지 저장소를 도입했으며, 로그 명령들이 이를 역변환해 읽기 쉬운 형식으로 만든다. — 본문의 'content-addressable message store, modeled after Git' 및 llm logs/llm logs --json 업그레이드 관련 문장.

용어 해설

추론 흔적(Visible reasoning traces): — 모델이 내부적으로 생성하는 사고 과정 텍스트를 표준 출력과 분리해 표준 오류(stderr)에 노출하는 방식으로, 디버깅과 개발자가 모델의 중간 생각을 확인하는 용도로 사용됩니다.
서버사이드 도구(Server-side tools): — 모델 요청 처리 중 외부 서비스에서 코드를 실행하거나 웹검색·파일 처리 같은 작업을 수행하도록 모델이 호출하는 원격 도구 인터페이스로, LLM은 다양한 공급자의 도구를 하나의 요청 흐름에서 호출할 수 있게 지원합니다.
내용 주소형 메시지 저장소(Content-addressable message store): — Git과 유사한 방식으로 메시지 본문을 해시해 중복을 제거하고 참조로 관리하는 로그 구조로, 매 턴 전체 JSON을 반복 저장하지 않고도 대화 기록을 재구성할 수 있게 설계됩니다.
스트리밍 이벤트(Streaming events): — 모델 응답을 단일 문자열이 아닌 여러 유형의 이벤트(reasoning, text, tool call 등)로 분할해 순차적으로 전달하는 출력 형식으로, 클라이언트가 이벤트별로 다르게 처리할 수 있게 합니다.
OpenAI 채팅 완성 호환성(OpenAI chat completions compatibility): — 기존 OpenAI chat completions API의 메시지-앱엔드포인트 패턴을 모방해 외부 도구와의 호환성을 유지하면서 LLM을 서버로 노출하는 패턴이며, llm-chat-completions-server 플러그인이 이를 제공하는 예시입니다.

기술

GPT-5.6 Luna
QuickJS
OpenAI Responses API
uvx
google/gemma-4-12b
SQLite
Datasette
llm-chat-completions-server

활용 사례

모델 추론 과정을 실시간으로 관찰해 도구 호출과 판단 근거를 디버깅하는 작업.
서버사이드 도구를 활용해 코드 실행·웹크롤링·데이터베이스 쿼리를 모델 응답 흐름에 통합하는 자동화.
로컬 또는 호환 엔드포인트에 대해 일회성 실험을 빠르게 실행하고 결과만을 파이프라인으로 전달하는 워크플로우.
에이전트형 시스템에서 도구 체인을 구성하고 인간 승인 지점을 두어 작업을 안전하게 중단·재개하는 운영.

언급된 리소스

API Docsdatasette-mcp

Demollm-chat-completions-server

API DocsLocal LM Studio endpoint (예시)

bash

uvx --with llm-tools-quickjs \
  llm openai endpoint http://localhost:1234/v1 -m google/gemma-4-12b \
  -T QuickJS 'Use QuickJS to multiply 3434 * 2434' --td

근거

LLM 0.32은 여러 공급자의 서버사이드 도구 호출을 통합해서 단일 요청에서 도구 실행을 가능하게 한다. — 본문의 OpenAI CodeInterpreter, WebSearch 및 llm-anthropic 플러그인의 WebSearch·WebFetch·CodeExecution·AnthropicMCP 예시와 llm --tool 사용 예.

import llm from llm import user, assistant, system model = llm.get_model("gpt-5.6-luna") response = model.prompt(messages=[ system("You are a helpful pirate."), user("What is the capital of France?"), assistant("Paris, matey."), user("And Germany?"), ]) print(response.text())

for event in model.prompt("Explain cats").stream_events(): if event.type == "reasoning": print(f"[thinking] {event.chunk}", end="", flush=True) elif event.type == "text": print(event.chunk, end="", flush=True) else: print(f"Other event: {event}")

LLM 0.32 공개

TL;DR

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

LLM 0.32 공개

TL;DR

섹션별 상세

용어 해설

기술

활용 사례

언급된 리소스

관련 토론

댓글

관련 피드

관련 토론

댓글

관련 피드