BDH-CQ: 반복 잠재 추론을 활용한 문맥 내 학습

BDH-CQ는 시연 예시로 새 시각 변환을 습득하는 In-Context Learning과 자연어 중간 추론 없이 잠재 상태를 반복 갱신하는 추론을 하나의 구조로 결합합니다. 150M 파라미터 모델이 ARC-AGI-1에서 작업당 0.00070달러로 29.5% pass@2를 기록해, 정확도와 비용을 함께 고려한 기존 파레토 프론티어를 넘어섰다는 점에서 의미가 있습니다. 동시에 어떤 변환은 안정적으로 일반화하고 어떤 변환은 시연 범위와 구성 방식에 민감한지 세부적으로 확인할 수 있습니다.

일반적인 Chain-of-Thought는 시연 예시가 규칙을 지정하고, 모델이 생성한 중간 토큰이 계산용 작업 공간 역할을 합니다. 그러나 각 중간 상태를 vocabulary의 토큰으로 직렬화한 뒤 다시 입력으로 읽어야 하므로 추론 단계가 늘수록 토큰 수와 지연 시간, 계산량이 함께 증가합니다. BDH-CQ는 이 중간 결과를 언어로 내보내지 않고 연속적인 hidden state 안에 유지하는 방향을 택합니다.

BDH-CQ는 먼저 시연 쌍 $D_t=(x_t,y_t)$를 하나씩 읽으며 recurrent memory를 갱신합니다. 메모리 업데이트는 $S_t=U_\theta(S_{t-1},D_t)$로 표현되며, $S_t$는 이전 메모리와 t번째 시연의 내용으로 계산되고 파라미터 $\theta$는 추론 중 고정됩니다. 예를 들어 세 번째 시연을 처리할 때의 상태는 첫 번째와 두 번째 시연에서 축적한 연관성까지 포함하므로, 마지막 시연만 보는 단일 task vector와 다른 방식으로 규칙을 보존합니다.

시연을 모두 읽은 뒤 질의는 $H_0=E_\theta(x^\star,S_K)$로 잠재 작업 공간에 들어갑니다. 이어서 $H_{r+1}=F_\theta(H_r,S_K)$를 r=0부터 R−1까지 반복하고, 최종 상태를 $\hat{y}=G_\theta(H_R)$로 디코딩합니다. 즉 입력과 시연 메모리가 초기 상태를 만들고, 반복 변환이 부분 가설을 갱신하며, 마지막 디코더가 정확한 출력 grid를 생성합니다.

이 구조에서 S는 여러 시연이 지정한 작업 규칙을 저장하고 H는 현재 질의를 풀기 위한 진행 중인 계산을 저장합니다. ARC의 색상·위치·대칭 같은 변환은 시연에서 메모리에 결합되고, 질의의 새 grid는 반복 latent 연산을 거쳐 출력으로 변환됩니다. 따라서 성능은 단일한 추론 능력보다 시연이 변환을 얼마나 충분히 덮었는지, 여러 연산을 어떤 표현으로 조합하는지, 출력 전체를 구성할 수 있는지에 좌우됩니다.

모델은 ARC 형식의 작업을 시연 쌍 K개와 테스트 입력 Q개로 받으며, 학습 중 앞선 예시를 recurrent context에 반영한 뒤 정확한 target grid를 예측하도록 훈련됩니다. 150M 파라미터 모델은 ARC-AGI-1 학습 데이터와 RE-ARC, ConceptARC, ARC-Heavy, ARC-GEN100K의 ARC-style 데이터를 결합한 혼합물에 추가 augmentation을 적용해 학습합니다. 내부 학습 recipe와 정확한 update rule은 공개되지 않았습니다.

평가는 ARC-AGI-1 공개 evaluation split의 400개 작업에서 수행하며, 기본 설정은 최대 두 개의 순위 후보 중 하나가 맞으면 성공하는 pass@2입니다. 비용은 leaderboard가 제공한 API 가격을 그대로 쓰지 않고 측정한 H200 실행 시간을 비용으로 환산하며, 0.85 H200 GPU-seconds에 H200 시간당 3달러를 적용해 작업당 0.00070달러를 계산합니다. 별도 black-box audit에서는 가중치 접근 없이 배포 시스템의 29.5% pass@2를 재현했습니다.

능력 분석에는 16개 개념군을 가진 ConceptARC를 사용하고, 모든 세 test input을 맞힌 경우를 strict task success로 계산합니다. 개별 입력의 test-pair accuracy도 함께 산출해 규칙을 한 번 맞힌 것과 작업 전체에 일관되게 적용한 것을 구분합니다. 모델을 고정한 뒤에는 전파 거리, 복사 위치 수, 정렬할 막대 수, 중첩 깊이만 바꾼 새 ARC-like 작업을 생성해 일반화 경계를 측정합니다.

추가 실험은 색상 대응 수를 2개에서 8개로 늘리는 dense mapping, relocation과 reflection·rotation·color swap의 조합, semantic ID를 opaque ID로 교체한 복제 평가를 포함합니다. 또 테스트 복잡도보다 짧은 시연과 목표 복잡도를 직접 포함한 supported 시연을 같은 입력에 적용해 실패 원인이 실행 용량인지 외삽인지 분리합니다. LOW, MEDIUM, HIGH latent reasoning effort도 비교해 계산량 증가가 pass@2에 미치는 영향을 측정합니다.

ARC-AGI-1에서 BDH-CQ는 29.5% pass@2를 작업당 0.00070달러에 달성했으며, 이는 약 0.85 H200 GPU-seconds에 해당합니다. GPT 5.6 Luna (Low)의 34.2%와 0.040달러를 기준으로 하면 ARC Prize의 2026년 7월 비용 자료에서는 약 57배 저렴하고, 7월 30일 OpenAI의 80% 공개 API 가격 인하를 반영하면 약 11배 저렴합니다. ConceptARC에서는 semantic ID 기준 160개 작업 중 95개가 pass@2였고, 480개 test pair 중 374개가 정답이었습니다.

ConceptARC의 능력은 변환군마다 크게 달랐습니다. opaque ID 복제에서 FilledNotFilled, TopBottom2D, ExtendToBoundary는 각각 9/10 pass@2였지만 Copy와 Order는 각각 2/10이었습니다. 전파는 거리 2에서 8까지 48/48 held-out 출력, 복사는 목표 위치 1개에서 4개까지 48/48을 유지했으며, ordering은 길이 6에서 29/36, 길이 7에서 8/24, 길이 8에서 1/24로 감소했고 nesting은 깊이 5에서 29/36으로 하락했습니다.

실패 형태도 변환마다 달랐습니다. ordering 길이 8에서는 24개 중 3개만 출력 크기가 정확했지만, nesting 깊이 5에서는 36개 모두 크기가 맞고 평균 최선 후보 cell accuracy가 99.9%를 넘었으며 오류가 대체로 하나의 containment 판단에 국한됐습니다. 목표 복잡도를 포함한 supported 시연은 nesting을 19/24에서 24/24로, ordering을 0/24에서 13/24로 높여 시연 범위가 외삽 성능을 좌우함을 나타냈습니다.

색상 대응은 2개에서 8개까지 96개 held-out 출력 모두를 rank one에서 맞췄습니다. relocation·reflection·rotation은 각각 72/72의 단독 성능을 냈고, relocation과의 조합에서는 rotation 72/72, reflection 47/72, color swap 0/72를 기록했습니다. latent reasoning effort를 LOW에서 MEDIUM, HIGH로 높일 때 pass@2는 21%, 27%, 29.5%로 상승했고, 비용 절감률은 각각 22%, 11%, 0%였습니다.

BDH의 기본 구조는 고차원 positive activation, low-rank communication, recurrent associative state를 사용하며 BDH layer는 ReLU-low-rank 변환과 large feature space의 linear attention을 결합합니다. BDH-CQ는 이 계열 위에 시각 입력 변환, candidate construction, ranking, inference pipeline을 추가합니다. 논문은 고수준 인터페이스를 공개하지만 차원과 정확한 내부 update rule은 proprietary로 남겨 둡니다.

시연 메모리와 질의 작업 공간은 서로 다른 상태입니다. $S_t=U_\theta(S_{t-1},D_t)$에서 $D_t$는 t번째 입력·출력 시연이고 $S_t$는 그때까지의 누적 연관성입니다. 선형 보정의 단순한 특수 사례는 $S_t=S_{t-1}+U_\theta(D_t)$이며, 입력 시연이 순차적으로 더해져 이후 질의가 참조할 task-specific state를 만듭니다.

질의 계산은 $H_0=E_\theta(x^\star,S_K)$로 시작하고 $H_{r+1}=F_\theta(H_r,S_K)$를 R회 반복한 뒤 $\hat{y}=G_\theta(H_R)$를 산출합니다. 여기서 $x^\star$는 질의 입력, $S_K$는 K개 시연을 처리한 메모리, $H_r$는 r번째 latent reasoning 상태, $E$·$F$·$G$는 각각 인코딩·반복 변환·출력 디코딩 함수입니다. 입력과 메모리가 H0를 만들고 F가 상태를 반복 변환한 뒤 G가 최종 grid를 출력하므로 중간 reasoning state를 discrete vocabulary로 직렬화하지 않습니다.

정확도 집계는 작업 단위와 test-pair 단위를 구분합니다. ConceptARC semantic ID 조건에서 pass@2는 160개 작업 중 95개인 59.38%였지만 test-pair 기준으로는 480개 중 374개인 77.92%였습니다. 160개 작업 가운데 52개는 세 입력 중 한두 개만 맞혔으므로, 개별 출력 생성 능력과 하나의 규칙을 모든 입력에 유지하는 능력 사이에 18.5 percentage-point gap이 생겼습니다.

통제 실험에서 propagation은 시연 거리 1–3에서 학습한 규칙을 held-out 거리 2–8까지 확장했고 48/48 출력을 맞혔습니다. ordering은 공간적으로 분리된 막대 8개의 높이를 순서화해야 하므로 길이 8에서 출력 크기 자체가 맞는 결과가 3/24에 그쳤고, nesting은 깊이 5에서 대부분 구조를 유지한 채 containment 한 곳을 잘못 선택했습니다. supported 시연이 목표 복잡도를 직접 포함하면 nesting은 24/24, ordering은 13/24 pass@2로 회복되어 표현된 연산의 실행과 미표현 복잡도의 외삽이 서로 다른 병목임을 구분합니다.

추론 effort는 학습 중 서로 다른 latent reasoning 수준을 노출한 모델에서 선택합니다. LOW는 pass@2 21%와 비용 22% 절감, MEDIUM은 27%와 11% 절감, HIGH는 29.5%와 0% 절감을 기록했습니다. 따라서 반복 latent 계산을 늘리면 정확도가 상승하지만, 이 평가에서는 높은 effort가 계산 비용 절감을 유지하지 못합니다.

논문은 BDH-CQ의 내부 차원과 정확한 recurrent update rule을 공개하지 않으며, 완전한 내부 training recipe도 proprietary로 남겨 둡니다. ConceptARC 평가에는 학습 또는 checkpoint 선택 과정에서의 노출 가능성을 배제할 수 없고, semantic ID와 batch composition을 동시에 바꾼 복제라 두 요인의 효과를 factorial하게 분리하지 못합니다. 또한 개념군마다 작업이 10개뿐이어서 9/10과 2/10의 Wilson 95% 구간이 넓게 겹치며, 일부 능력 순위의 통계적 신뢰도가 제한됩니다.