zoom 도구 업데이트와 28×28 픽셀 기반 비주얼 토큰 규격

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

다운스케일 과정에서 작은 시각적 세부가 손실되는 문제를 해결하기 위해 Claude는 이미지를 28×28 픽셀 패치 단위로 토큰화하고 필요할 때 원본에서 관심 영역을 재요청하는 zoom 도구를 도입했다. 이 도구는 모델이 관심 영역 좌표를 생성하거나 사용자가 영역을 지정하면 서버가 원본에서 해당 크롭을 반환하고 모델이 그 부분을 재토큰화해 세부를 회복하는 방식으로 작동한다. 28×28 패치 규격은 시각 토큰 비용 산정의 기준이 되어 해상도와 비용 사이의 트레이드오프를 결정하며, 빈번한 영역 요청은 네트워크와 스토리지 비용을 증가시킬 수 있어 캐싱과 요청 정책이 병행되어야 한다.

섹션별 상세

01

원본 이미지의 다운스케일 과정에서 작은 디테일이 손실되는 문제가 제기되었고 이 게시물은 그 문제를 해결하기 위해 모델이 특정 영역을 원본에서 다시 요청하는 워크플로를 도입했다고 알렸다. 해당 워크플로는 사용자가 관심 영역 좌표를 지정하거나 모델이 영역을 식별하면 서버가 원본 고해상도에서 그 영역을 잘라 전송하는 방식으로 작동한다. 이미지 입력은 28×28 픽셀 패치 단위로 토큰화되며 이 수치는 손실 발생 임계치와 비용 산정에 직접 영향을 준다는 근거를 함께 제시했다. 결과적으로 전체 이미지를 고해상도로 전송하지 않고도 작은 텍스트나 세부를 확인할 수 있는 균형을 확보할 수 있다.

02

게시물은 Claude가 이미지를 28×28 픽셀 패치로 인식한다는 기술적 규격을 명시하였고 이 규격이 작은 디테일이 패치 한 개보다 작을 경우 정보 소실로 이어진다고 지적했다. 패치 단위 토큰화는 입력 해상도를 시각 토큰 비용으로 환산하는 방법으로, 패치 크기가 작을수록 세부 표현력이 높아지지만 토큰 비용이 증가하는 구조적 트레이드오프가 존재한다. 이미지 예시와 그래프는 패치 기반 토큰 계산이 실제 인터페이스에서 어떻게 비용에 반영되는지 시각적으로 보완하는 근거로 제시되어 있다. 따라서 해상도와 비용 사이의 균형을 운영상 의사결정 변수로 삼아야 한다는 정책적 시사점이 도출된다.

03

zoom 도구의 작동 원리는 모델이 시각 입력에서 관심 영역을 탐지하면 해당 좌표로 원본 이미지를 인출해 그 부분만 고해상도로 공급받아 재토큰화하는 것이다. 이 과정은 입력-처리-출력 흐름으로, 클라이언트 또는 서버에서 영역 요청을 생성하고 원본 저장소에서 크롭을 반환한 뒤 모델이 재해석하는 순서로 수행된다. 게시물에 나온 수치적 근거는 패치 크기(28×28)가 시각 토큰 한 개에 대응한다는 점이며 이 사실이 구현 상의 요청 빈도와 대역폭 요구를 산정하는 기준이 된다. 운영 관점에서는 빈번한 영역 요청이 네트워크·스토리지 비용을 유발할 수 있으므로 요청 정책과 캐싱 전략이 중요하다.

이미지 분석

Infographic
이미지는 상단 텍스트로 패치 기반 비주얼 토큰 규격을 명시하고 있어 모델의 입력 해상도 규칙을 직접적으로 전달한다. 이미지 하단의 예시 그래프는 고해상도와 다운스케일된 뷰에서 세부 식별의 차이를 시각적으로 보완하며, 패치 하나가 시각 토큰 하나에 대응한다는 수치적 근거를 함께 제공한다. 이 자료는 구현자가 토큰 비용과 해상도 손실을 계산하는 데 필요한 근거로 활용될 수 있다.
슬라이드형 이미지로 Claude가 이미지를 28×28 픽셀 패치 단위로 인식하며 작은 세부는 패치 크기보다 작으면 손실된다는 규격을 텍스트와 예시로 제시하고 있다.

Screenshot
두 번째 이미지는 첫 번째와 내용이 중복되지만 해상도 차이로 인해 그래프 축과 선의 시각적 디테일이 강조되어 있으며 이는 다운스케일 시 손실 문제의 실용적 사례를 보강한다. 이 이미지는 패치 기반 토큰 계산의 시각적 결과를 보여주므로 문서의 기술적 주장을 뒷받침하는 증거 이미지 역할을 한다. 구현자는 이 이미지를 근거로 패치 크기, 요청 빈도, 대역폭 추정치를 설계 단계에 반영할 수 있다.
프리뷰 버전의 동일한 슬라이드 이미지로, 28×28 패치 규격과 그래프 예시를 포함하여 동일한 기술 정보를 중복 표기하고 있다.

용어 해설

비주얼 토큰(Visual token): — 이미지 입력을 처리할 때 이미지의 일정 크기 패치 하나를 하나의 단위 토큰으로 취급하는 개념으로, 각 패치는 모델의 시각 입력 차원에서 하나의 값으로 간주된다. 이 방식은 큰 이미지를 다운스케일하거나 패치화할 때 세부 정보가 단일 패치에 포함되지 못하면 손실로 이어질 수 있음을 의미한다. 모델이 이미지의 특정 영역을 더 정밀하게 보려면 원본 해상도에서 그 영역을 재요청하여 해당 패치를 다시 취득해야 비용과 해상도 관점에서 균형을 맞출 수 있다.
패치 토크나이제이션(Patch tokenization): — 이미지를 일정한 크기의 격자 패치로 분할하여 각 패치를 입력 토큰으로 변환하는 처리 방식으로, 입력 해상도를 일정한 토큰 예산으로 환산하는 데 사용된다. 패치 크기는 모델의 시각적 해상도를 결정하며 패치 하나보다 작은 세부는 토큰화 과정에서 표현이 희석될 수 있다. 패치 단위 처리는 비용 산정과 처리량에 직접적인 영향을 주므로 해상도 관리 전략과 연계되어 설계되어야 한다.
줌 도구(Zoom tool): — 다운스케일된 이미지에서 손실된 상세 정보를 회복하기 위해 모델이 원본 고해상도 이미지에서 특정 영역을 요청하여 해당 영역의 크롭을 받아오는 기능으로, 요청-응답 형태로 필요한 부분만 고해상도로 재조회한다. 이 도구는 전체 이미지를 고해상도로 처리하는 비용을 줄이면서도 작은 텍스트나 세부를 정확히 확인해야 할 때 해상도 손실 문제를 완화한다. 구현 관점에서는 영역 좌표를 전송하고 원본에서 크롭을 반환받아 모델의 시각 토큰 입력을 갱신하는 워크플로를 포함한다.