지능 효율성: 더 비싼 토큰이 항상 더 나은 결과를 보장하지 않는 이유

지능 효율성은 모델의 성능(Intelligence)을 비용(Compute/Token)으로 나눈 개념으로 이해할 수 있다.

Ramp는 기업용 비용 관리 플랫폼으로 대규모의 금융 데이터를 AI로 처리하며 발생하는 실제 비용 데이터를 보유하고 있다.

엔트로피가 낮아진다는 것은 정보의 불확실성이 제거되어 명확한 답에 가까워진다는 의미이다.

컨텍스트는 모델에게 주어지는 배경 지식이나 예시를 의미하며 이를 통해 모델은 '제로' 상태가 아닌 유리한 지점에서 추론을 시작한다.

멀티 에이전트 시스템에서 '공유 상태(Shared State)'는 모든 에이전트가 동일한 최신 정보를 참조할 수 있게 하는 메모리 역할을 한다.

Sparse Attention은 어텐션 연산의 복잡도를 O(N^2)에서 그 이하로 낮추어 긴 문장을 빠르게 처리하게 돕는다.