메타인지 오케스트레이션: 자율 검증 및 동적 가중치 업데이트를 위한 모듈형 프레임워크

작성자가 제안한 프레임워크에 대해 연구 커뮤니티의 피드백을 요청하는 RFC(Request for Comments) 단계이며, 기술적 타당성과 아키텍처 간 이식성에 대한 논의가 예상된다.

• GGUF 형식을 사용하는 로컬 추론 환경에서 mmap을 활용하면 모델 가중치를 동적으로 수정하는 실험이 가능하다.
• 모델의 출력에 엔트로피 기반의 확신도 점수를 포함시켜 에이전트의 도구 호출 로직을 설계하라.

Metacognition

— AI 모델이 자신의 내부 지식 상태와 추론 과정의 확실성을 스스로 인식하고 평가하는 능력이다. 모델이 내부 지식으로 답할 수 있는지 아니면 외부 도구가 필요한지를 판단하게 하여 불필요한 도구 호출과 지연 시간을 줄이는 핵심 기법이다.

Epistemic Uncertainty

— 모델이 특정 정보에 대해 알고 있는 지식이 부족하여 발생하는 불확실성이다. 이를 측정함으로써 모델이 단순히 확률적으로 다음 토큰을 생성하는 대신, 자신이 모르는 부분에 대해 외부 검색을 요청하거나 추론 모드로 전환하도록 유도할 수 있다.

Steering Vectors

— 모델의 가중치를 직접 수정하지 않고 활성화 단계에서 특정 방향의 벡터를 더해 모델의 행동을 제어하는 기법이다. 본문에서는 논리적 추론과 관련된 어텐션 헤드를 강화하고 사실 추출 헤드를 억제하여 모델을 '추론 모드'로 전환하는 데 사용된다.

Memory-Mapped File (mmap)

— 디스크의 파일을 프로세스의 가상 메모리 주소 공간에 직접 매핑하여 입출력 성능을 극대화하는 방식이다. GGUF 형식의 모델 가중치를 실시간으로 수정할 때 밀리초 단위의 빠른 업데이트를 가능하게 하여 추론 중 학습을 구현하는 기반이 된다.