본문으로 건너뛰기
Latent Space (swyx)조회 1회

LLM이 인간 역할을 대체하는 경로

보상·데이터·교사·연구·환경이 모델 생성으로 이동하고 물리 실험만 마지막 경계로 남았다.

이 요약은 AI가 원문을 분석해 생성했습니다. 정확한 내용은 원문 기준으로 확인하세요.

TL;DR

이 글은 2022년 이후 기계 지능 파이프라인의 보상 신호, 학습 데이터, 교사, curriculum, 연구자, 환경, 인간 대상이 차례로 인간 제작에서 모델 제작으로 이동했다는 관점을 제시한다. InstructGPT와 LLM-as-Judge는 평가를, Phi와 Knowledge Distillation은 데이터와 교사를, autoresearch는 실험 선택을, GLM-5.3 계열의 합성 환경은 강화학습의 gym과 verifier를 모델 중심으로 바꾼다. Simile의 digital twin은 인터뷰와 RCT 자료로 인간의 행동과 선호를 재현해 focus group과 A/B 테스트를 inference workload로 전환하려 한다. 다만 물리 세계는 실제 실험 피드백이 필요해 완전히 합성하기 어렵고, 합성화의 진척은 생성 품질보다 oracle 검사, 테스트, RCT, wet-lab loop처럼 결과를 믿을 수 있게 만드는 검증 기술에 달려 있다.

섹션별 상세

01
2022년부터 기계 지능을 만드는 파이프라인의 구성 요소가 하나씩 인간 제작에서 모델 제작으로 이동했다. 첫 전환은 InstructGPT와 Constitutional AI에서 시작된 reward model과 AI feedback으로, 사람의 선호를 한 번 학습한 모델이 정책을 평가하고 최적화하도록 만든 구조였다. MT-Bench와 AlpacaEval처럼 LLM-as-Judge가 평가의 기본 방식이 되면서 보상, 비평, 판정이 모두 모델 간 상호작용으로 처리됐다는 점이 이 전환의 의미다.
근거
  • 2022년에는 reward signal과 평가 장치가 인간의 판단에서 모델의 판단으로 이동했다. — 본문의 Stage 1에서 InstructGPT, Constitutional AI, RLAIF, MT-Bench, AlpacaEval을 연결한 설명
02
2023년에는 학습 데이터와 교사의 역할이 합성화됐다. Microsoft의 Phi 계열은 LLM이 만든 교재형 데이터로 작은 모델을 학습했고, Apple의 WRAP은 웹 전체를 LLM으로 다시 표현해 사전학습 효율을 약 3배 높이는 방향을 제시했으며, NVIDIA Nemotron-4 340B는 합성 데이터 생성 파이프라인을 제공했다. 같은 시기에 Alpaca, Vicuna, Orca와 DeepSeek-R1의 증류 모델은 강한 모델의 지시문, 대화, 설명, reasoning trace를 작은 모델의 학습 신호로 사용해 교사가 반드시 인간일 필요가 없다는 전제를 굳혔다.
근거
  • Microsoft Phi의 합성 교재형 데이터와 Apple WRAP의 웹 재작성은 모델 생성 데이터가 학습 파이프라인의 핵심 입력이 될 수 있음을 보였다. — 본문의 Stage 2에서 Textbooks Are All You Need, phi-1.5, WRAP, 약 3배 효율 수치
03
2024년에는 모델이 다음에 무엇을 배울지 선택하는 curriculum까지 자기 생성 구조로 넘어갔다. Self-Instruct와 STaR이 모델에게 지시문과 reasoning trace를 만들게 한 초기 사례라면, Meta의 Self-Rewarding Language Models와 SPIN은 모델이 과제를 만들고 결과를 평가하며 선호 데이터의 한계를 넘어 개선하도록 연결했다. 이에 따라 사람이 취향과 경험으로 고르던 학습 순서가 모델이 생성한 과제와 자기 평가의 반복 과정으로 바뀌었다.
04
2025년부터는 연구자 역할도 자동화 루프 안으로 들어갔다. AlphaEvolve와 AI Scientist는 알고리즘 발견이나 논문 작성의 일부를 자동화했고, Karpathy의 autoresearch는 coding agent가 실제 LLM 학습 설정을 수정하고 5분 실험을 실행한 뒤 validation loss가 좋아질 때만 변경을 유지하는 ratchet을 반복했다. 한 확장 실행에서는 하룻밤 동안 700개 실험 중 20개 개선을 보존했고, GPT-2에 도달하는 시간이 2.02시간에서 1.80시간으로 줄어 연구자의 선택이 실행 가능한 코드 변화로 대체되는 모습을 보였다.
근거
  • autoresearch는 coding agent가 실험을 실행하고 validation loss 개선 여부로 변경을 선택하는 연구 자동화 루프를 구현했다. — 본문의 Stage 5에서 5분 실험, 700개 실험, 20개 개선, 2.02시간에서 1.80시간으로의 변화
05
2026년에는 강화학습의 환경과 검증기까지 합성되는 단계에 도달했다. Z.ai의 파이프라인은 실제 업무 패턴을 장기 작업 환경으로 변환하고, judge agent가 과제 해결 가능성을 확인하며, reference solution을 보지 않은 verifier를 만든 뒤 oracle·no-op·unsolved-state 검사로 보상 신뢰도를 시험한다. 이 구조에서는 모델이 과제를 수행하는 gym, 성공 여부를 판단하는 referee, 점수를 부여하는 scoreboard가 모두 모델 기반이므로 RL의 병목이 모델 크기에서 실행 가능하고 검증 가능한 환경의 공급으로 이동한다.
06
인간 자체를 시뮬레이션하는 흐름은 연구 참여자와 사용자를 모델로 대체하려는 시도다. Generative Agents에서 출발한 digital twin 연구는 두 시간의 전기 인터뷰로 만든 1,000명 규모의 가상 인물이 원래 사람의 설문·행동 반응을, 사람이 2주 뒤 자신의 반응을 재현한 정확도의 85% 수준으로 재현했다고 보고했다. Simile은 인터뷰, 거래 데이터, Open Science Framework의 등록 RCT를 후학습에 사용해 모델이 가진 이상적인 agent 성향 대신 인간의 편향, 불일치, 인과적 반응을 회복하려 하며, 그 결과 focus group과 A/B 테스트 패널이 inference workload로 바뀔 가능성을 제시한다.
07
합성화의 최종 경계는 물리 세계이며 아직 완전히 대체되지 않았다. Poolside의 구분처럼 지능 확장만으로 해결되는 문제와 실제 실험 피드백이 필요한 문제는 다르고, 가상 세포와 Human Cell Atlas는 후자를 계산 모델로 압축해 in vivo 탐색의 비용과 시간을 약 1000분의 1 수준으로 낮추려 한다. 따라서 이 글의 결론은 생성 능력이 아니라 검증 속도가 합성화의 진척을 결정한다는 것이며, 실험실과 embodied ground truth처럼 검증이 느리고 비싼 영역이 앞으로의 핵심 제약으로 남는다는 의미다.
근거
  • Simile의 digital twin 연구는 1,000명 규모 가상 인물이 원래 사람의 설문과 행동 반응을 85% 정확도로 재현했다고 보고했다. — 본문의 Stage 7에서 Generative Agent Simulations of 1,000 People과 두 시간 인터뷰, 85% 수치

용어 해설

합성 데이터(Synthetic Data)
— 모델이 생성한 학습용 데이터로, 사람이 직접 작성하거나 수집한 자료를 보완하거나 대체한다. 이 글에서는 Textbooks Are All You Need의 교재형 데이터, 웹 재작성, reasoning trace처럼 모델의 학습 효율과 범위를 넓히는 입력으로 쓰인다.
LLM 평가자(LLM-as-Judge)
— LLM이 다른 모델의 답변을 기준에 따라 채점하거나 비교하는 평가 방식이다. 사람의 선호 데이터를 한 번 학습한 reward model이나 별도의 평가 프롬프트를 통해 보상, 비평, 벤치마크 판정을 모델 중심으로 처리한다.
지식 증류(Knowledge Distillation)
— 성능이 높은 교사 모델의 출력이나 중간 정보를 사용해 더 작은 학생 모델을 학습하는 기법이다. 이 글에서는 GPT가 만든 지시문과 설명, reasoning trace를 학생 모델의 학습 신호로 사용해 작은 모델이 교사의 행동을 모방하도록 만든다.
온폴리시 지식 증류(On-Policy Distillation)
— 학생 모델이 실제 추론 과정에서 생성한 상태와 출력을 기준으로 교사 모델의 지식을 전달하는 증류 방식이다. 학습 데이터와 실제 추론 분포의 차이를 줄여 긴 작업에서 발생하는 train/inference mismatch를 완화한다.
검증 가능한 보상 기반 강화학습(Reinforcement Learning with Verifiable Rewards)
— 모델의 결과를 정답 판정기, 테스트, 증명 검사기처럼 자동 검증 가능한 기준으로 채점해 강화학습 보상으로 사용하는 방식이다. 사람의 주관적 평가 대신 이진 또는 명확한 보상을 제공하려면 환경과 verifier가 실제 작업의 성공 여부를 안정적으로 판정해야 한다.
디지털 트윈(Digital Twin)
— 실제 사람이나 시스템의 특성과 행동 패턴을 모델 안에 재현한 가상 대리자다. Simile의 사례에서는 인터뷰, 거래 데이터, 등록된 RCT 자료를 사용해 사람의 선호와 불일치, 인과적 반응까지 시뮬레이션하려 한다.
인 실리코 실험(In Silico Experiment)
— 실험실이나 생체 환경에서 직접 수행하는 대신 계산 모델 안에서 생물학적 현상과 실험 조건을 재현하는 방식이다. 글에서는 Human Cell Atlas와 가상 세포를 연결해 in vivo 실험보다 약 1000배 저렴하고 빠른 탐색을 시도하는 흐름으로 제시된다.

기술

  • InstructGPT
  • Constitutional AI
  • RLAIF
  • MT-Bench
  • AlpacaEval
  • Phi
  • WRAP
  • Nemotron-4 340B
  • Alpaca
  • Vicuna
  • Orca
  • DeepSeek-R1
  • Self-Instruct
  • STaR
  • SPIN
  • AlphaEvolve
  • AI Scientist
  • autoresearch
  • GLM-5.3
  • Simile
  • SimGym
  • Human Cell Atlas

활용 사례

  • 합성 데이터와 reasoning trace를 활용한 LLM 사전학습 및 중간학습
  • LLM-as-Judge를 활용한 모델 평가와 reward model 운영
  • coding agent를 이용한 LLM 학습 설정 자동 탐색
  • 실행 가능한 환경과 verifier를 이용한 장기 작업용 강화학습
  • digital twin을 이용한 설문, focus group, 사용자 행동 시뮬레이션
  • 가상 세포와 in silico 모델을 이용한 AI for Science 실험
AI 분석 전체 내용 보기

AI 요약 · 북마크 · 개인 피드 설정 — 무료

출처 · 인용 안내

원문 발행 2026. 08. 22.수집 2026. 08. 22.출처 타입 RSS

인용 시 "요약 출처: AI Trends (aitrends.kr)"를 표기하고, 사실 확인은 원문 보기 기준으로 진행해 주세요. 자세한 기준은 운영 정책을 참고해 주세요.