모호한 목표에서 스스로 진화하는 LLM의 한계

왜 중요한가

기존 LLM 자기 진화는 사람이 과제와 보상, 평가 지표를 먼저 고정한 뒤 최적화하는 구조였지만, 실제 연구·배포 환경에서는 무엇을 배울지부터 정해야 합니다. Aspire는 이 목표 운용화 문제를 비공개 평가와 감사 가능한 실행 궤적으로 측정해, 학습 루프를 끝까지 실행하는 능력과 실제 능력 향상을 보존하는 능력이 다르다는 점을 수치로 구분합니다.

핵심 기여

모호한 목표 기반 자기 진화의 정식화

광범위한 능력 목표를 학습 과제, 데이터, 업데이트 방법, 검증 기준으로 변환하는 목표 운용화를 자율적 post-training의 별도 축으로 정의했습니다.

Aspire 벤치마크와 상호작용 환경 구축

에이전트에는 자연어 능력 목표만 공개하고 6개 목표의 전문가 작성 문항 520개를 비공개로 유지했습니다. 단일 도구 인터페이스로 데이터 구성, 학습, 자체 검증, 분기, 중단을 수행하게 하면서 컨트롤러가 자원·계보·체크포인트 무결성을 관리합니다.

모델 가중치와 에이전트 하네스의 진화 비교

RQ2에서는 instruction-tuned 모델의 가중치를 업데이트하고, RQ3에서는 Qwen3.5-4B의 가중치를 고정한 채 런타임 지시문·도구 정책·워크플로·검증 절차를 편집해 두 진화 표면을 분리했습니다.

실행 완료와 개선 보존 사이의 격차 측정

에이전트가 데이터 선택·학습·체크포인트 생성을 수행한 비율과 기준 점수를 넘은 뒤 최종적으로 보존된 후보의 비율을 분리해 측정했습니다. 계속된 탐색이 회귀를 일으킬 수 있어 체크포인트 선택과 롤백이 필요하다는 결과를 얻었습니다.

핵심 아이디어 이해하기

일반적인 post-training에서는 사람이 “AIME 성능을 높여라”처럼 과제 형식, 난이도 범위, 평가 지표, 성공 조건을 미리 정합니다. 에이전트는 정해진 목표를 입력으로 받아 데이터와 학습 방법을 찾으면 되지만, “수학적 추론을 개선하라”처럼 능력 방향만 주어지면 무엇을 개선할지와 개선 여부를 판정할 기준이 비어 있습니다. Aspire는 이 빈칸을 목표 운용화 문제로 분리합니다.

에이전트는 자연어 목표를 입력으로 받아 능력 격차를 추정하고, 중간 목표를 나누며, 학습 데이터와 자체 검증 데이터를 구성한 뒤, 학습·분기·평가·중단 순서를 결정합니다. 자체 검증 점수가 오르더라도 그 데이터가 실제 목표 능력을 대표하지 않으면 비공개 평가 점수로 전이되지 않습니다. 따라서 이전 체크포인트보다 높아진 국소 점수와 기준 모델보다 높은 실제 개선을 구분해야 합니다.

Aspire는 컨트롤러 쪽에 평가 문항을 보관하고 에이전트에는 허용된 집계 점수만 돌려줍니다. 520개 문항은 과학·학술 추론, 인문·사회과학 지식, 건강·의료 추론, 수학적 추론, 논리·신뢰성·지시 따르기, 학술·과학적 글쓰기의 6개 목표에 배정됩니다. 에이전트는 문항·정답·루브릭·문항별 피드백을 볼 수 없으므로, 자체 프록시를 잘 맞추는 것과 숨은 목표를 실제로 개선하는 것이 분리됩니다.

이 구조에서 학습 루프의 입력은 목표와 공개된 실행 이력이고, 처리 과정은 데이터·업데이트·검증 후보를 반복 탐색하는 것이며, 출력은 평가 가능한 체크포인트 또는 수정된 하네스입니다. 최종적으로 기준 모델보다 높은 비공개 점수를 얻고 보존 규칙까지 통과해야 개선으로 인정됩니다. 실험은 학습 작업을 완료하는 능력이 실제 능력 향상과 동일하지 않다는 점을 확인합니다.

방법론

Aspire의 캠페인은 자연어 목표 G, 컨트롤러 측 평가기, 채점기, 허용된 액션 계약, 예산, 종료·선택 규칙으로 구성됩니다. 에이전트가 받는 상태에는 공개 이력, 수명주기 상태, 허용 요청 유형, 승인된 식별자, 제한된 잔여 예산만 포함됩니다. 컨트롤러는 각 요청을 검증한 뒤 데이터 등록, 학습 작업, 검증, 분기 또는 중단을 실행하고, 잘못된 요청은 산출물이나 점수 없이 유형화된 오류로 반환합니다.

가중치 진화에서는 에이전트가 데이터셋을 검색·다운로드·합성하고, SFT 또는 GRPO와 LoRA 같은 허용 업데이트 방식 및 하이퍼파라미터를 선택합니다. 컨트롤러는 부모 체크포인트, 등록 데이터, 업데이트 설정, 완성된 체크포인트를 검증한 뒤 후보를 평가 가능한 계보에 편입합니다. 하네스 진화에서는 런타임 프롬프트, 도구 정책, 워크플로, 메모리, 검증 절차를 수정하고 콘텐츠 해시와 편집 계보를 기록한 버전을 평가 전에 동결합니다.

숨은 평가 세트는 전문가가 새로 작성한 520개 문항으로 구성됩니다. 과학·학술 추론 75개, 인문·사회과학 지식 110개, 건강·의료 추론 100개, 수학적 추론 126개, 논리·신뢰성·지시 따르기 89개, 학술·과학적 글쓰기 20개가 각각 대응 목표에 속합니다. 문항은 독립 검토, 난이도 보정, 중복·참조 벤치마크와의 중첩 점검, 채점기 연결, 버전 고정을 거치며, GPQA·MMLU-Pro·MedQA는 형식과 난이도 참고로만 사용됩니다.

RQ1은 명시적 post-training 과제를 모호한 능력 목표로 바꾸었을 때 탐색이 어떻게 달라지는지 비교합니다. RQ2는 Qwen3.5-4B와 Qwen3.5-9B의 instruction-tuned 체크포인트에서 시작해 6개 목표의 가중치 진화를 측정하며, 최종 평가만 허용하는 프로토콜과 제한된 집계 피드백을 허용하는 프로토콜을 분리합니다. RQ3는 Qwen3.5-4B를 실행 모델로 고정하고 Qwen-Agent 하네스의 후속 버전을 한 단계 생성하게 합니다.

점수 기반 가중치 진화에서는 평가된 후보 중 사전 조건을 충족하고 기준 점수보다 높을 때만 후보를 유지합니다. 조건을 통과하지 못하면 입력 상태로 롤백하므로 최종 보존 개선은 음수가 되지 않지만, 이는 모든 학습 시도가 성공했다는 뜻이 아니라 선택 규칙의 결과입니다. 하네스 후보는 동결 후 비교되며, 생성자에게 숨은 평가 점수를 돌려주지 않습니다.

주요 결과

RQ1에서 모호한 목표를 받은 Claude Opus 4.8의 점수는 27.07로, PostTrainBench의 공식 Claude Opus 4.8 Max 기준 32.90보다 낮았습니다. GPT-5.6은 29.58로 공식 기준 36.23보다 낮았습니다. 다만 Claude Opus 4.8은 HumanEval과 BFCL, GPT-5.6은 GSM8K에서 모호한 목표 조건의 점수가 더 높아 모든 세부 과제에서 동일한 하락이 나타난 것은 아닙니다.

목표 운용화는 자원 배분에도 영향을 주었습니다. 짝지은 Claude Opus 4.8 실행에서 모호한 목표 궤적은 의사결정 모델 사고 시간이 2,109초 더 길고 GPU 유휴 시간이 0.61시간 더 많았으며, 실제 학습·평가 시간은 1.27시간 줄었습니다. 에이전트가 볼 수 있는 과제 자료와 프록시 평가 스크립트 접근은 각각 2.98배와 2.39배로 조밀해졌습니다. 도구 액션 평균은 188.5회에서 179.2회로 늘지 않았고, 모호한 목표에서는 LoRA 사용 빈도가 더 높았습니다.

RQ2의 최종 평가만 허용한 24회 실행에서 12개 모델·목표 조합 중 기준 점수보다 높은 두 실행 평균은 단 하나였습니다. Qwen3.5-9B의 과학·학술 추론만 기준 45.33에서 48.00으로 올라 2.67점 개선됐고, 개별 최종 체크포인트 기준으로는 24개 중 3개만 기준 점수를 넘었습니다. 제한된 피드백 프로토콜의 30개 설정·목표 셀에서는 28개가 평가 체크포인트를 만들고 21개가 적격 후보를 만들었지만, 롤백 후 남은 개선은 Terra의 수학 셀 하나뿐이었습니다. Terra는 17.86에서 20.10으로 올라갔지만 별도 확인 세트가 없어 피드백 기반 선택의 증거로 해석됩니다.

계속된 탐색은 성능을 보장하지 않았습니다. 62개 연속 체크포인트 전이 중 28개는 상승했지만, Qwen3.5-4B Self의 수학 점수는 0.79에서 1.75, 2.38로 올라도 기준 17.86보다 낮았습니다. 일부 Self 실행은 GSM8K 또는 Hendrycks 수학 데이터에 32개 중 30회의 데이터 가져오기를 집중했고, 숫자 레이블 SFT를 사용한 5개 체크포인트는 21,000개 학습 타깃과 279개 평가 출력이 모두 한 자리 숫자 형식에 몰려 점수가 0, 0, 0, 6.141, 0이었습니다.

RQ3에서 원본 Qwen-Agent는 작업 매크로 28.64, 예시 마이크로 27.65를 기록했습니다. 가장 가까운 Sol 생성 하네스는 27.22와 25.97로 기준보다 낮았고, Terra는 20.76과 20.14, Luna는 19.32와 18.33이었습니다. Luna는 자체 8문항 체크리스트를 7/8에서 8/8로 높였지만 숨은 평가에서는 세부 메커니즘·수식·파라미터 요청을 연구 설계 문제로 바꾸는 좁은 프록시 전문화가 나타났습니다. 따라서 한 단계 하네스 생성은 실행 가능한 후속 버전을 만들었지만 기준 하네스의 평균 성능을 넘지 못했습니다.

기술 상세

Aspire는 진화 대상을 모델 가중치와 에이전트 하네스로 분리합니다. 가중치 진화에서는 하네스와 의사결정 모델을 고정하고 모델 가중치만 바꾸며, 하네스 진화에서는 모델 가중치와 의사결정 모델을 고정하고 하네스만 바꿉니다. 각 가중치 후보에는 부모 체크포인트, 등록 데이터, 업데이트 설정, 자체 검증 데이터의 출처가 남고, 각 하네스 후보에는 부모 버전·콘텐츠 해시·편집 출처가 남습니다.

에이전트 도구는 데이터 액션, 학습 액션, 반복 제어 액션으로 구성됩니다. 데이터 액션은 검색·다운로드·가져오기·합성을, 학습 액션은 SFT·GRPO·LoRA·파라미터 설정을, 반복 액션은 상태 확인·자체 평가·분기·중단을 담당합니다. 에이전트가 인자를 선택하면 컨트롤러가 관리형 작업으로 변환하고 예산, 격리, 복구, 감사 추적, 안전한 보존을 적용합니다.

비공개 평가는 최종 학습 계약이 아니라 측정 장치로만 작동합니다. 에이전트는 자체 학습·검증 데이터를 만들 수 있지만 숨은 문항, 정답, 라우팅 레이블, 루브릭, 후보 출력, 채점기 추적을 볼 수 없습니다. 제한된 피드백 프로토콜에서는 같은 목표의 고정 평가 슬라이스에 대해 허용된 집계 점수만 받아 다음 업데이트·분기·중단을 결정하며, 최종 평가 전용 프로토콜에서는 중간 점수를 전혀 받지 않습니다.

가중치 후보는 부모와 데이터, 업데이트, 체크포인트 발행이 모두 검증된 뒤에만 평가됩니다. 적격 후보 가운데 기준 상태보다 높은 점수를 낸 후보가 없으면 입력 상태를 유지하고, 후보가 조건을 충족하면 해당 체크포인트를 다음 상태로 보존합니다. 이 절차는 학습 중 생성된 최고 점수와 실제로 남은 개선을 구분하며, 후속 학습이 이전 개선을 지울 수 있는 회귀를 통제합니다.

실험 결과는 탐색량보다 목표 정합성과 선택 규칙이 중요하다는 방향을 가리킵니다. Sol은 33개 평가 체크포인트와 76.56 GPU-hours의 정산 학습 시간을 사용했지만 대응 기준 점수를 넘기지 못했고, Terra의 수학 후보는 20.10까지 오른 뒤 2.78로 하락했다가 18.17로 회복했습니다. 따라서 최신 체크포인트를 무조건 이어받는 방식보다 중간 후보 평가, 계보 관리, 기준 모델 비교, 롤백을 포함한 보존 절차가 필요합니다.

한계점

결론은 6개 목표, 전문가 작성 평가 문항의 범위와 채점 품질, 설정·목표 셀당 1회의 대표적 적응 피드백 실행에 제한됩니다. 하네스 실험은 한 단계 생성만 측정했고 재귀적 하네스 진화는 수행하지 않았습니다. 연구진은 더 넓은 목표 범위, 반복 실행, 갱신된 평가 세트, 재귀 진화 과정에서의 드리프트와 비관련 능력 손실 통제가 추가로 필요하다고 명시합니다.

실무 활용

Aspire의 핵심 활용처는 목표가 완전히 운용화되지 않은 연구·배포 환경에서 에이전트가 무엇을 학습하고 어떻게 검증하는지 평가하는 벤치마크입니다. 단일 도구 인터페이스, 컨트롤러 관리형 학습 백엔드, 비공개 평가, 체크포인트 계보 기록을 결합해 목표 설계와 실행 안정성을 함께 측정할 수 있습니다.

모델이 광범위한 능력 목표를 학습 데이터·업데이트 계획·검증 기준으로 변환하는 능력 비교
자체 검증 점수 상승이 비공개 전문가 평가로 전이되는지 확인하는 post-training 실험
모델 가중치를 고정한 채 프롬프트·도구 정책·워크플로·메모리를 편집하는 하네스 진화 평가
체크포인트 계보와 롤백 규칙을 포함한 안전한 자기 개선 파이프라인 설계

코드 공개 여부: 미확인

키워드

Aspire(모호한 목표 기반 자기 진화 벤치마크)LLM 자기 진화목표 운용화비공개 평가모델 가중치 진화에이전트 하네스 진화체크포인트 롤백LoRA(저순위 적응)

용어 해설

모호한 목표 기반 자기 진화(Vague-goal-driven Self-evolution): — 사람이 구체적인 데이터셋·학습 과제·평가 지표를 정하지 않고 능력 방향만 제공하면, 에이전트가 개선할 대상을 정의하고 데이터·업데이트 방식·검증 기준을 함께 구성하는 자기 개선 방식입니다. 고정된 목표를 최적화하는 기존 자기 진화보다 목표 운용화와 평가 설계까지 탐색 범위에 포함합니다.
목표 운용화(Target Operationalization): — 광범위한 능력 목표를 학습 가능한 과제, 데이터, 업데이트 목적, 검증 기준으로 변환하는 과정입니다. Aspire에서는 에이전트가 어떤 능력을 먼저 개선할지와 이를 측정할 자체 신호를 결정해야 하므로, 단순한 학습 실행보다 앞선 의사결정 단계가 됩니다.
비공개 평가(Hidden Evaluation): — 평가 문항·정답·채점 기준을 에이전트에게 숨긴 채 외부 평가자가 성능을 측정하는 방식입니다. 에이전트가 자체 검증 데이터에 과적합하거나 평가 문항을 학습 데이터로 재사용하는 경로를 차단하고, 자체 프록시 성능이 실제 목표 능력으로 전이되는지 확인하는 데 쓰입니다.
에이전트 하네스(Agent Harness): — 모델 주변에서 런타임 지시문, 도구 정책, 워크플로, 메모리, 검증 절차를 관리하는 실행 구조입니다. Aspire의 하네스 진화 실험에서는 모델 가중치를 고정한 채 이 구조만 편집하고 동결한 뒤, 비공개 평가에서 후속 하네스의 성능을 비교합니다.
체크포인트 롤백(Checkpoint Rollback): — 학습으로 생성된 후보 체크포인트가 기준 모델보다 높은 비공개 평가 점수를 얻고 사전 조건도 충족할 때만 후보를 유지하고, 그렇지 않으면 이전 상태로 되돌리는 보존 절차입니다. 시도한 업데이트의 품질과 최종적으로 남은 개선을 분리해 측정합니다.

모호한 목표에서 스스로 진화하는 LLM의 한계

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

용어 해설

관련 토론

댓글

관련 기사

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

작업마다 스스로 진화하는 에이전트 하네스

AI의 독립적 과학 연구 수행 능력을 측정하는 ASI-Bench

LLM은 자신의 에이전트 하네스를 만들고 진화시킬 수 있는가

AI가 다른 AI의 코딩 성능을 개선하는가

왜 중요한가

핵심 기여

핵심 아이디어 이해하기

방법론

주요 결과

기술 상세

한계점

실무 활용

키워드

관련 토론

댓글

관련 기사

최종 점수를 넘어선 장기 AI 연구 에이전트 평가

작업마다 스스로 진화하는 에이전트 하네스

AI의 독립적 과학 연구 수행 능력을 측정하는 ASI-Bench

LLM은 자신의 에이전트 하네스를 만들고 진화시킬 수 있는가

AI가 다른 AI의 코딩 성능을 개선하는가